非cs人求问如何统计每个词的频率

有一个1g的数据，每一行是一个人的爱好，比如iron man, c++, baseball,各种各样的字符串。但是这5万个人的爱好是有重复的，目的就是build a histogram of every 'likes', I can choose a cut off in order to ignore some low frequency ones.....
the second one is build a histogram for pair wise 'likes', for example, I want the frequency of the pairs (basketball, baseball)...there are too many pairs for me to consider, not even record the frequencies.
I'm from stat and I only know R. it's not possible for me to read the whole data in to R all at once.
Anyone has some suggestions on which direction I should work on?
Thanks....

去看下 MapReduce 吧，通常的大数据题都是用 MR 来做处理

也有用 R 来写 MapReduce 程序的方法：

http://blog.kuan0.com/2013/09/ba ... example-with-r.html

blueiceni 发表于 2014-4-9 01:08
去看下 MapReduce 吧，通常的大数据题都是用 MR 来做处理

也有用 R 来写 MapReduce 程序的方法：

谢谢，这就去看看

才1G的话完全不用map reduce。。如果只有这个需求的话直接随便写个小东西parse一下就行了

tobyljj 发表于 2014-4-9 01:28
才1G的话完全不用map reduce。。如果只有这个需求的话直接随便写个小东西parse一下就行了

能具体些吗。。或者哪方面知识

tobyljj 发表于 2014-4-9 01:28
才1G的话完全不用map reduce。。如果只有这个需求的话直接随便写个小东西parse一下就行了

我目前的想法是一个数据一个数据读
if 新数据 in 已有的数据 then 对应数据count +1
else 把新的数据加入原来list构成新的list 对应count为0
但是考虑到有几十万个数据 这个应该行不通。。所以看看有什么新的思路

另外一个想法是能不能把1G的csv文件一行一行读， 每一行对应一个histogram，然后想想看有没有办法把这5w个histogram整个起来
求指导。。

map reduce would do
can be implemented in any language, both py and R can do this

may need >1 passes
1 to get word count
2 to .... calculate histogram

i suspect the data will be long tailed and too sparse for histogram to look informative?

小K 发表于 2014-4-9 07:44
map reduce would do
can be implemented in any language, both py and R can do this

对的，会把一些频率很低的词条剔除掉。今天网上查了一天了，K姐有木有mapreduce简单应用的资料？我知道那个udacity公开课有教怎么写mapreduce，但是可能来不及了。所以有那种看一天能写出点东西的教程吗

更新下：刚找到rmr package的tutorial了，现在研究下，谢谢姐

snowdustdj 发表于 2014-4-9 09:40
对的，会把一些频率很低的词条剔除掉。今天网上查了一天了，K姐有木有mapreduce简单应用的资料？我知道 ...

udacity的MR课就4个lesson，几个小时可以看完了

一个G 太小了, 不用mapreduce.
直接分割下可以了.