求问大家一道长问题，如何处理categorical变量很多level问题，比如state

请教lz一下呢，如果是target encoding，假设train里面每个state有一个比例的数值，test里面还是用一样的数值吗？如果test有train里面没有出现的state，怎么处理？

categorical很多level，我感觉是one hot encoding+pca，如果是像state这样没有大小含义的又不适合用integer encoding的

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

liyuan 发表于 2019/07/04 18:34:21
我觉得你的理解已经很好了 我觉得有以下几点或可一试
1. 只对train做target encoding 如果test里面有新的类出现 一种方法是可以把新类的值设成一个很小的数（这里借用了Naive...

谢谢谢谢 太牛了。看你是统计phd 好厉害

但我还是觉得embedding也很说得通呢，虽然要求大样本而去不是很统计

不知道楼主有没有搜到这个帖子 https://www.reddit.com/r/Machine ... _variable_encoding/

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

X^2 分箱，合并

huixingzhijia 发表于 2019/07/04 21:31:07


谢谢谢谢 太牛了。看你是统计phd 好厉害

感觉类似state的categorical variable可以被某种numerical替代？比如average income，population density等等

别想太多…直接string encoding
扔进xgboost直接当做numberic来处理
相信我 效果惊人