字节二面模型比较问题请教

二面没有coding，问了做过的项目和a/b test相关的问题

有一个问题是说我们现在有两个模型

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

来想了想 n-fold 或许可以

想请教一下其他思路

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

offline测一下模型本身预测能力的提升 (ML model eval) 具体的数据怎么贴标签 用什么offline metrics 需要进一步讨论
online测一下用户对新模型的反馈 (online a/b test) 怎么调参数 看用户的什么指标 run多久 etc 需要进一步讨论

可以请问楼主面的哪个组吗？

求微信交流：christie201310

如果"不好"代表 illegal/regulation violation这样，建议是在这个test-set上 做online AB test 看1-precision(模型未能鉴别出的“不好”的视频) 和report数量?