一亩三分地

 找回密码 注册账号

扫描二维码登录本站

BBS
Offer多多
Salarytics
交友
Learn
Who's Hiring?
Visa Tracker
疫情动态
指尖新闻
Instant
客户端
微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
Youtube频道
留学博客
关于我们
查看: 1201|回复: 7
收起左侧

为什么我看到feature embedding 是往高维发展的例子

[复制链接] |只看干货 |机器学习
我的人缘0

升级   1%


分享帖子到朋友圈
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   95% (160)
 
 
4% (8)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
我看到有一个model,model 有很多feature,有一个float feature, 这个feature非常的discrete,取值范围很广然后这个例子做了一个feature embedding 把这个feature变成了一个二十维的 embedding vector
这难道不是把一维变成了高维吗?


我的人缘0

升级   13.35%

solomonking 2020-7-17 21:17:39 | 显示全部楼层
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   89% (103)
 
 
10% (12)    👎
因为LZ你忽略了 将discrete feature one hot encoded 的过程

评分

参与人数 1大米 +2 收起 理由
hcchen + 2 给你点个赞!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   10.75%

大龙猫 2020-7-12 11:17:24 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   96% (183)
 
 
3% (6)    👎
你说的不就是One hot encoding呗,维度上来看是增多了,但本质上还是一个feature。这是因为很多模型(例如NN)都需要这样的输入,如果是树模型的话就不需要这样的操作。
回复

使用道具 举报

我的人缘0

升级   15.29%

evelin3 2020-7-12 10:06:22 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   100% (25)
 
 
0% (0)    👎
你想的可能是比较GENERAL的FEATURE ENGINEERING 其中包括降维.

embedding 不是为了降维(当然有时候维度会变小,举个例子,像是word2vec, 如果每个英语单词都是onehot vector, 那么这个Feature spance就可能是50k, word embedding 会大大降低维度)
主要是为了让feature space里的input更meaningful, and computationally more efficient (如这几个单词 queen, king, women, men 他们之间会有相似性)
回复

使用道具 举报

我的人缘0

升级   15.43%

kittycerry 2020-7-12 11:13:28 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   93% (86)
 
 
6% (6)    👎
就是矩阵维度的变化,根据自己的需求
回复

使用道具 举报

我的人缘0

升级   2.14%

MichaelLee123 2020-7-13 03:02:04 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   94% (944)
 
 
5% (52)    👎
一个float变成了20个float。这个embedding看起来不是很对呀。
回复

使用道具 举报

我的人缘0

升级   1%

 楼主| xiaobaimao 2020-7-13 08:12:43 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   95% (160)
 
 
4% (8)    👎
谢谢大家的积极讨论  我仔细琢磨了一下  这个应该是算降维了 , 就如同上面有位同学说的,
这个feature虽然只有一个  但是他是discreet的  值没有连续性 不代表任何意义, 所以他其实是个很高维的feature, embedding之后确实降了
回复

使用道具 举报

我的人缘0

升级   1%

 楼主| xiaobaimao 2020-7-18 06:37:43 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   95% (160)
 
 
4% (8)    👎
solomonking 发表于 2020-7-17 21:17
因为LZ你忽略了 将discrete feature one hot encoded 的过程

对的 正解  谢谢你
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://pay.1point3acres.com/tools/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表