查看: 1005| 回复: 1
跳转到指定楼层
上一主题 下一主题
收起左侧

How to write testing files for functions implementing ML algorithms

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
For a lot of the rule-based algorithms, it is relatively straightforward to write testing files, as there is usually a clear expectation of what the functions should return in various cases.
However, for machine learning algorithms, more specifically, algorithms for fitting probabilistic models, it does not seem to be straightforward, at least to me. Even when we have the generating model with known parameters for data simulation, the model fitting solutions to different simulated datasets will be different, and very often there is no clear expectation of what one should get. For example, if one decides to use Cyclic Coordinate Descent (CCD) for the maximal likelihood estimate of a statistical model, it's hard to know what value one should expect, exactly. And for Bayesian models, the posterior draws are not even deterministic.


Could anyone share any insight/experience?

上一篇:机器学习的分类
下一篇:AI公开课大全
🔗
gloriasuns 2019-10-11 02:49:03 | 只看该作者
全局:
虽然我没写过,但我觉得是否可以根据expected的结果设定一套,并给出可以接受的的答案范围,这样不管是什么model,只要跑出的结果差的太远就过不了。
不管这个model本身的accuracy以及其他的metrics怎样,test case是根据实际情况设计出来的需要达到的一套标准。
不过,这个test case真的需要很有行业经验的人来设计,不然test case覆盖不全面,或者答案不对的话,过与不过都没什么意义,model accuracy再高也没用啊。

评分

参与人数 2大米 +13 收起 理由
typical_libra + 3 "T
K叔 + 10

查看全部评分

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表