计次策略上线的项目复盘
从一开始的方案设计到平台落地,到最后的顺利开流量,整个计次策略的过程都不容易。本文作者对本次经历进行了复盘,供大家参考学习。
最近的两周感觉自己工作上尝试了很多过去没有经历过的事情,从策略方案设计到落地平台落地,再到遇到困难的对比分析,最终开启策略顺利开流量,每一步都不容易,幸运的是都逐个儿落地,有句话讲功不唐捐,非常有感触,看看为此我都做了些什么?
#01 策略调研期
接手这套策略之前对相应风险域了解并不多,组织结构刚调整完成,对于主端内容分发出现的各类问题也发生了接近重新洗牌似的迭代。从我这来举例,由风险发酵的时机切换成为风险本身的挖掘,并拆解为五个阶段:定义、规则、识别、处置、沟通。
举个具体的例子:
过去我们识别一套风险,从初、复、三来做风险召回,初审意味着要对召回的内容确保绝对不会在内容大盘中放出,复审则会对应相当宽松尺度的放出,比如当内容产生一定量曝光才会看看是否有风险,三审则发生在高热举报,高热再度召回(扩展不同地区继续分发)。在这一整套风险域之中,会存在比如公序良俗、违法违规、辱骂谩骂等各类风险维度,每次召回都从各类风险中识别发现各种问题。
而现阶段,我们从源头定义要控的是哪类风险,这些风险下又分为几种大类,如前面提到的公序良俗、违法违规、辱骂谩骂,每个大类下划分至最细描绘某类内容特征,如果是公序良俗,可能要探讨地域歧视、人种歧视、男女对立这类问题。围绕这个逻辑,每个投稿内容都横向拉通不同风险域的判断,统一过规则、识别,并落地相应处置。这意味着每个内容都有可能被多种召回拉回来看,依靠分类模型的准确率,也依赖各风险域定义层面的MECE逻辑。同时,还会给不同风险域带来直接的影响就是,一旦某个风险域召回率出了问题,会影响整个大盘。围绕这个目标,我所在的风险域决定从用户的视角尝试更有效的召回能力,减少漏放风险。
因此在新定义的风险域做策略,就得调研清楚这类风险域在大盘的整体影响、现阶段的识别处置为何不够用、如何设计策略方案能够更有效论证收益等问题。整个策略方案,从+1 对到+4,我竟然没想到一套策略规划要经手到集团产品负责人来评。
#02 对不同平台的能力进行精细化调研
由于前面的原因,理论上要依赖平台能力实现策略有效落地,而目前可以支持的有三个平台,但从策略完整性上来说都有些许的问题,围绕不同平台做了横向调研,该推迭代的提需,可以尽快落地为原则,先把实验开起来。
然后,问题就出在实验期间的几个核心问题,因为时间紧迫,需要拉研发、平台产品确认核心关键问题:
理论上账号处罚主要原因是内容受到管控,而想要验证完整的流程,发现没有已有的机制去验证送人审队列结果正常计次的逻辑,于是只好依托1%流量,先跑跑数据,看看从圈人到落罚数据是否可以对应上
流量开启之后发现主要处罚都是违规1次的用户,内心又在犯嘀咕,思考是不是策略配错了。仔细复盘数据发现违规两次以上用户占比20%的情况下,如果只灰度1%的用户大概率是触及不到2次及以上的
流量开到30%开始约数分串流程,发现有很多字段对不上,如何把账号视角的数据跟处置内容对应上?同时带着分组的违规三级标签信息?跟平台产品一起聊了好多次才最终找到解决办法,原本想着给我的数分交代清楚即可,但感觉大部分工作都做了,因为交代不清晰反而没有把这件事情搞定,于是认认真真盘点了字段文档给了数分,给自己周全的思考跟扎实的交付力点赞
对齐数据口径后,跟平台产品看case发现放量1%灰度的用户没有计次,但是放量30%被计入次数,我提了一个问题——目前平台上的流量灰度是按照次数灰度,还是UID?平台产品竟然跟我说次数,仔细想想逻辑似乎不通顺,于是让她拉了研发同学一起排查。还得是研发同学,给出了专业准确符合预期的解答,按照UID末尾两位数来灰度
总体来说,这次上线虽然磕磕绊绊,但顺利完成了关键节点的确认。
#03上线一周后的数据复盘
虽然上线后才产出数据,不过数据输出之前必然要先跟数分对齐观测的口径,按照预期,风险收益、成本收益、体验收益在这个场景都需要讨论且列明数据计算方式。之所以拆分三个视角就是要讨论清楚,风险治理不能只看治理收益,同时需要评估用户体验有无折损,直接对应大盘投稿率、消费内容用户LT,以及对于持续违规用户来说,他们再次违规的成本高低(累犯率)
以上策略总算上线,但策略的工作仍然没结束,比如目前满足实验的平台A,后续架构调整后都需要迁移到平台B,那么平台B是否能完全支持这套策略安全无误的跑下来?实验过程中拿到业务收益的同时是否存在误伤?如何结合其它特征减少无辜用户的打扰率?对于治理预期没那么严的内容,有没有可能做柔性处理只对特定用户做精准分发?同时平台B管理策略的方式不同,这些策略落地也依赖跟回查平台的部分联动,如此这类数据项的部分都需要策略产品站在相对宏观的视角盘点并给出最终的解法。