查看: 4392| 回复: 10
跳转到指定楼层
上一主题 下一主题
收起左侧

data validation的意思

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
想请教一下 对于data analyst来说,data validation应该怎么解释比较好呢?感觉DS建模的过程中才有data validation这一说?

上一篇:整理了leetcode上SQL题目创建表格时的code
下一篇:如何跳出线性模型的能力圈?
全局:
Shhaaawwn 发表于 2020-06-27 10:20:02
感觉听上去像data cleaning ?
还没到clean的地步,初级validate就是按照逻辑查错,譬如时间不应该为负值,格式是否一致啊等等,等到clean的那一步才会讨论如果错了怎么办,不同的model对错值的处理不一样,所以要clean也得看看会不会影响model的result,譬如一个missing value是留着missing呢,还是#呢,还是-999呢,还是直接整个record都不要呢,还是interpolate呢等等
回复

使用道具 举报

🔗
dajiangdongqu 2020-6-25 09:44:15 | 只看该作者
全局:
data validation: 给的数据和数据代表的意思是不是对的上。
model validation, 预测pk实际
回复

使用道具 举报

🔗
BobbyBear 2020-6-26 04:18:31 | 只看该作者
全局:
楼上说的很对。我还第一次听analyst要做validation。
回复

使用道具 举报

🔗
dajiangdongqu 2020-6-26 07:47:58 | 只看该作者
全局:
validation其实也挺重要的, 比如实际中实验组控制组经常搞混, 药给错了, 经常发生; 日期出了个2020-04-31,时间07:36:62, 付款是负值,货币没有单位等等。
所谓大千世界无奇不有
回复

使用道具 举报

🔗
 楼主| Shhaaawwn 2020-6-28 01:19:22 来自APP | 只看该作者
全局:
dajiangdongqu 发表于 2020-06-24 18:44:15
data validation: 给的数据和数据代表的意思是不是对的上。. 1point3acres
model validation, 预测pk实际
OKOK 想问下validation这个过程是不是发生data从warehouse拿出来之后的一个数据清理过程?
回复

使用道具 举报

🔗
 楼主| Shhaaawwn 2020-6-28 01:20:02 来自APP | 只看该作者
全局:
dajiangdongqu 发表于 2020-06-25 16:47:58
validation其实也挺重要的, 比如实际中实验组控制组经常搞混, 药给错了, 经常发生; 日期出了个2020-04-31,时间07:36:62, 付款是负值,货币没有单位等等。
所谓大千世界
感觉听上去像data cleaning ?😯
回复

使用道具 举报

🔗
dajiangdongqu 2020-6-28 03:28:28 | 只看该作者
全局:
validation也好,cleaning也罢,还有数据仓库什么的,都是'说辞', 说到底还是终极问题 : 你有多少把握这套数据是'对'的 ? 100%? 凭啥是100% ?  我的实际经验如下:
1.你的同事都这么用, 用了好几年,做出来的东西从来没出过问题
2.你找了本数据字典,字典把该变量定义的很清楚。 有点像面试,面试官给你题目的同时把定义也告诉你了。-baidu 1point3acres
3.和你的经验是否相符。 比如负值是不是代表refund ? 0值是免费? 这一万块是美元? 日元?还是卢布 ?连续一星期没人购买这款产品是因为网站坏了,还是数据坏了 ?还是产品下线了?连续一星期没有新客户是怎么回事? 连续一星期没有客户流失是怎么回事?连续一星期客户激增是怎么回事 ?连续一星期客户大量流失又是怎么回事?

曾经碰到过某vp问, 10年前我们有多少客户 ?结果一星期都做不出来, 因为公司收购兼并啊,数据库都换了几茬,十年前多少客户鬼才知道。

补充内容 (2020-6-28 09:37):
罗嗦了这么多, 走过路过的给加点大米吧。

评分

参与人数 1大米 +2 收起 理由
Jackie2931 + 2 很有用的信息!

查看全部评分

回复

使用道具 举报

🔗
 楼主| Shhaaawwn 2020-6-28 06:11:13 来自APP | 只看该作者
全局:
cutekitty 发表于 2020-06-27 12:46:03
还没到clean的地步,初级validate就是按照逻辑查错,譬如时间不应该为负值,格式是否一致啊等等,等到clean的那一步才会讨论如果错了怎么办,不同的model对错值的处理不一样,所以要clea
牛逼 专业
回复

使用道具 举报

全局:
BobbyBear 发表于 2020-06-25 13:18:31
楼上说的很对。我还第一次听analyst要做validation。
一般什么职位会负责做data validation呀
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表