关于unsupervised learning 问题

想向各位大牛请教一下 ： 当我明确我需要用unsupervise learning techniques建模（KNN)的时候，我在read in 数据之后，一定要做一个summarystatistics 吗（ 去看 有没有missing value， SD之类的）？假设 - 我不需要进行variable selection(variable 是根据SME的domain knowledge 从EDW里选出来的，我只是在建模之前把highly corr 的variable去掉，免得影响KNN模型效果）

我觉得你很多概念混淆不清 不管你用什么模型 做一下eda也是必要的 你需要了解你的数据 不了解你的数据光套用模型是很没意义的事 至于要不要做data cleaning 这个要你自己判断 一般来说 都还是要检查一下的 data cleaning并不是你做eda的目的 至少不完全是 还有高相关度的freature并不一定影响你的模型 比如两个features相关度是1 说明这俩是一个东西 你用一个还是都用 应该对你结果影响不大 去掉他是因为冗余

qinxi0117 发表于 2020-3-1 00:12
我觉得你很多概念混淆不清 不管你用什么模型 做一下eda也是必要的 你需要了解你的数据 不了解你的数据光套 ...

我赞成你说的建模之前先看summary statistics， 这是建模，尤其是建立 supervised ML 模型时候的general practice
从你的回答来看，我觉得你误解了我问题的点

模型的选择并不是我问的重点。我问的是 - 对于unsupervised ML类问题， 如果我在很清楚的了解我的features前提下，summary statistics 是不是绝对必须？ 因为在通常做supervise learning 类问题的时候， summary statistic 这一步是必要的，查看feature 的data type 有哪些， 哪些 features有>50% 的missing value, 哪些feature 需要除去. 可是在我对每一个feature都非常了解，并且不准备除去任何feature的情况下，summary statistics这一步似乎显得有些没有必要。
况且，clustering, PCA 这一类 unsupervised ML 模型，可以单独使用，亦可以作为在建predictive ML模型之前的EDA过程。
再进一步， 我觉的clustering类问题，EDA应该放在建模后面， 对每一个cluster group进行分析

Celineromero 发表于 2020/03/01 01:00:47
我赞成你说的建模之前先看summary statistics， 这是建模，尤其是建立 supervised ML 模型时...

你的具体情况我也不清楚 我就是按照你的描述理解了一下 你要是完全了解你的数据 也许你就不需要做统计了

Celineromero 发表于 2020-3-1 01:00
我赞成你说的建模之前先看summary statistics， 这是建模，尤其是建立 supervised ML 模型时候的general  ...

从没听说过对于unsupervised ML, EDA应该放在建模的后面并对每个cluster单独分析。

事实上不管是哪种learning，先做EDA都是很自然而且应该的。你说你对feature完全了解，那在不做EDA的情况下是怎么做到的？你可以说是SDE告诉你的，那实际上是SDE做了EDA，帮你省了这一步。况且EDA也不只是为了做variable selection或者处理missing value。通过EDA可以有个sense大概什么样的模型或者learning paradigm会更合适。