如何徒手实现ensemble method

LZ想请教如何manually implement 一些简单的bagging / boosting

task是二元分类 data heavily imbalanced

base classifier 是decision tree  并且由于production env和compliance的限制 后续weak learners也必须是DT


已经有了Tree 1，performance还不错 应该已经达到了一棵树的上限了，这里可以看作tree 1是一个strong base learner，LZ想额外找1-2个tree试图提升它的performance


A. 用bagging ("random" forest)
1. 需不需要resample training data

2. 我必须在Tree 2用不同的feature吗？不然应该就没意义了？假设我在Tree 1几乎把好的feature都用了 (ABCD)，可能还剩一个feature E还凑合，Tree 2可不可以用A*B+E？（试图减小与Tree 1的correlation）
3. Tree 2需要调参吗？还是用和Tree 1一样的model

4. 必须要奇数个tree (3)吗？ 不然没办法决定最终的class？ 可是第三个tree我实在找不出feature了。。

B. 用boosting

1. data 怎么re-assign weight？ 我们的target是找出所有positive (1)

manger建议快捷做法是 remove所有被Tree 1 label成pos的 用Tree 2找剩下data里的pos
细想觉得不妥 因为pos包括true positive和flase positive 而boosting核心思路是调节incorrectly classified sample的weight （增加FP和FN的weight）
增加FP的weight 会让他们更容易变成TN？增加FN的weight 会让他们更容易变成TP？是这个意思嘛
2. 我必须在Tree 2用相同的feature吗？Tree 2可不可以用featureA*featureB+featureE？
3. 同A3
4. 如果只用两个tree怎么决定最终的class 我可以说tree 1 or tree 2 = 1, then final = 1, else 0吗？（Tree 1 performance较好，是否不应该用majority vote？）


除了feature engineering 还有什么别的方法可以提升 model performance？

总的model必须是人能看懂的rule-based, 可以翻译成例如if conditionA then class1, if conditionB then class0

感谢大佬们指点 如果可以回答一部分问题也非常感谢 会回来加米的~

catcatsecond 发表于 2023-3-28 00:17
这样手写进production感觉是大坑，不知道你production是什么级别的production，为啥不调包再lime or shaple ...

感谢回答。抱歉这个问题问的不好 问的时候我也很迷

prod确实是大坑 金融公司的infra弱 governance严格 导致我们model一年才install一次 一次install一年

目前model就是modeling team (DS)做的一个score 然后封包进prod 我们DA没法自己install一个model 且由于有real-time serving的要求 我们也不能调包 实际使用时就是model score+一些别的attributes做rule 最简单的那种 like if-then-else 去detect fraud (来自于单决策树)

. 1point 3acres 我们就在想如何在明年DS弄出新的model score之前 enhance我们的rule

像你所说single DT调参调出花也没啥用 所以我们准备绕过prod env和一些policy 也做一个score 然后只用于offline rule （不上线，自己偷偷用）这样就没有什么限制了。。。

这样手写进production感觉是大坑，不知道你production是什么级别的production，为啥不调包再lime or shapley value?  或这LR，调参调出花提高都不大，还是得尽量多找feature， 有些问题feature太少，天花板很低performance也不会太好。