查看: 1462| 回复: 8
跳转到指定楼层
上一主题 下一主题
收起左侧

[统计--软件] R vs Python for decision tree

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
DS 普遍使用的工具中Python越来越占主导地位。许多原本只有R版本的统计方法也都有了Python的版本。 但是仔细比较会发现, R版本和Python版本在细节处理上有不少差异。 以下举几个decision tree的例子。 由于random forest, gradient boosting 基于decision tree, 所以也都有类似的问题。  .1point3acres

Categorical variable
. 1point 3 acres
rpart 可以自动处理categorical variable。.google  и
sklearn DecisionTreeRegressor/DecisionTreeClassifier 不能, 需要事先在data preprocessing时做one hot encoding。

Missing values in predictors

rpart assume missing not at random, 可以通过surrogate split自动处理missing values in predictors, 这一方法利用了correlation among predictors。  
sklearn DecisionTreeClassifier/DecisionTreeRegressor 不能自动处理missing values。 sklearn 有impute module 可以预处理数据,不过值得注意的是SimpleImputer 往往只是使用mean/median 来impute missing values, 这种方式无法利用变量之间的关联性。 如果missing values 比较多的话, 不同的imputation方法对model performance 影响很大。. .и

总结: 许多的统计方法最初都是以R package的方式面世的, python module 作为re-implementation难免会有所不同。 在使用中需要注意细节有很多, 这个帖子讨论的比较有限, 也希望看到有更多这方面的总结。

..




..

上一篇:关于机器学习的一些想法
下一篇:两个跟数学有关的问题,困扰了大半生
全局:
学了R也还是要学Python,还不如直接学Python。估计说过“R就够了”的人,以后都会被打脸。

补充内容 (2021-08-18 10:57 +08:00):
. 1point 3 acres这有什么好踩的。踩的人要更新自己技能了。
回复

使用道具 举报

全局:
python 有package 可以读R code
回复

使用道具 举报

全局:
别学R了,找起工作来很吃亏,而且偏应用不底层,还不如python java c什么的走起
回复

使用道具 举报

全局:
但是你可以不用sklearn,其他很多包都解决了你说的问题。
回复

使用道具 举报

全局:
python 的决策树包很naive 至少几年前是这样的,缺了不少功能。可以尝试自己撸一个。我当时就魔改过 实现了个卡方统计。
回复

使用道具 举报

🔗
zwh_rsc 2021-10-27 20:48:26 | 只看该作者
全局:
很有意思的话题!
回复

使用道具 举报

🔗
szxszxszx 2021-11-23 06:59:19 | 只看该作者
全局:
说句实话,大家都在用Python(虽然我也在用)但是R的优点确实Python比不来的,很多统计的内建包很丰富python都没有,vcov(),devariance()就是很好的例子。另外一些纯统计模型虽然工作中用的少但是需要的时候还是R顶用,简单来说MLR里面各个predictor的parameter,Skearn和R api都没有。

BTW,为啥现在还要用decision tree,RF不香吗
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表