如何把ID当成ML model input feature？

lliquid 发表于 2021-1-23 01:51
用 user id 做feature 要注意避免 data leakage problem https://www.cs.umb.edu/~ding/history/470_670_fa ...

嗯嗯，对的，这是关于pii的问题

可以先clustering，然后再embedding，不然直接embedding维度太高了。

garyzccisme 发表于 2021-1-23 03:08
可以先clustering，然后再embedding，不然直接embedding维度太高了。

clustering用什么feature做呢？如果有100个id，什么类型的id归到一个cluster吗？

dacainiao 发表于 2021-1-23 02:24
本质是one hot encoding做成embedding，但全部id都用dim太大，所以一般要用hashing，比如zero collison has ...

我这也是我的理解，模式跟tensorflow那个api比较像

capybara9673 发表于 2021-01-22 09:30:24
Why does word2vec apply to this situation? Neither CBOW nor Skipgram works here, since all the ids a

The entire idea of item embedding is borrowed from word embedding

我觉得有个帖子可能可以解答楼主在楼上提出的很多问题，比如怎么用word2vec训练embedding，比如怎么cluster再做embedding。楼主直接百度搜 ”Embedding 在Airbnb房源排序中的应用 （KDD2018 best paper“ 这个帖子就好。  或者直接看airbnb的那篇paper。

川川唔 发表于 2021-1-28 13:40
我觉得有个帖子可能可以解答楼主在楼上提出的很多问题，比如怎么用word2vec训练embedding，比如怎么cluster ...

多谢推荐这篇paper

其实我本来想知道是id ·本身· 为什么可以作为feature？

我现在也没有找到答案，不过通过楼上这些讨论，我对embedding有了另外一些层次的理解。大致有三个方法

1. 利用不同类型id之间的 “相关性” 生成embedding，比如 (user_id, tweet_id) interacted or not -> user_embedding * tweet_embedding, 对应的CF的matrix factorization

2. 利用同类型id之间的 “时序性” 生成embedding， 比如 浏览历史 (id1, id3, id5, id7) ， 将其看作text，用word2vec 或者 更fancy的self attention bert 生成 embedding

3. 将id进行hash，让若干id变到同一个bucket下，用bucket id作为feature。除了降维，我还是不太理解这个操作的实际意义

brtt13 发表于 2021-01-25 07:57:51
The entire idea of item embedding is borrowed from word embedding

你对embedding的理解太狭隘了

Tyrant89 发表于 2021-01-22 10:18:52
你可以用collaborative filtering, matrix factorization等组成user2item之类的矩阵然后 svd出来做embedding输入到model中，或者用tf/

工业界做这个不现实，矩阵太大了

capybara9673 发表于 2021-1-28 14:07
多谢推荐这篇paper

其实我本来想知道是id ·本身· 为什么可以作为feature？

可以考虑找找fb的blog，应该有怎么把id当sparse feature用的