关于DS take home的问题

最近面试的take home和自己的project都遇到了一些需要处理free text format的数据。比如有些用户survey里会有optional的feedback，或者有些healthcare data里，病人可以选择性填写自己的过去病史。这些数据一般都有一半以上的missing value，之前做project的时候一半都直接把这种column扔掉了，但感觉有些不妥。想请问一下大家，一般都是怎么处理这类数据的呢，如果要用含有free text这个column的话，怎么样处理那些含有missing values的row呢？

我来写个我通常针对这种column的做法哈

从简单到复杂的做法有以下几种

(0) 直接扔掉就好了。：）个人认为病人自行填写的病史数据过于难处理，还是focus在别的column上更高效。

(1) 分词，找关键词，先统计整个survey里最常出现的关键词，看看一些关键的noun和verb，是否能够根据关键词重建成show disease的column

(2)  bag 这样的方法词模型、TFIDF 向量和（简单的 n-gram）语言模型，做feature extraction。这类简单的模型通常是做machine learning很好用的training set。具体performance要取决于machine learning question定义。

(3) Named entity recognition，相当于能够更加仔细的抓出各种词性的区别。病史数据比较常见的是各种disease name, years of history, intensity, hospital visiting times的类别。给每一种类别定义一个词库，里面列出对应可能出现的词。然后把每条病史数据判断一下，是否出现过每个词库里相应的词语，如果有的话再转换成单独的column feature。