非cs人求问如何统计每个词的频率

snowdustdj 发表于 2014-4-10 03:45
原本是用read.csv或者read.table来的，但是每行的列的个数不一样，而且小到2，大到好几万，所以read.csv没 ...

那就readLines之后第一时间unlist，然后保存这个大的文本，逐个list操作很慢的。在R里面不要把任务细分，整体操作是最快的。

snowdustdj 发表于 2014-4-10 03:45
原本是用read.csv或者read.table来的，但是每行的列的个数不一样，而且小到2，大到好几万，所以read.csv没 ...

Oh，why not just use table() ？

整个读进来之后，然后unlist，直接table，不能做么？

if you are using python, try "yield", this can avoid memory problem.
if not, you can divide them into smaller files or read with buffer not complete.

do not understand the wise "likes" part, maybe you need do something like grouping, define a role, like interest include "ball" interests include "video".

good luck.

hetong_007 发表于 2014-4-10 03:53
Oh，why not just use table() ？

整个读进来之后，然后unlist，直接table，不能做么？

看来我自己绕进去了 table好像确实就解决了 我去试试

t__c___ 发表于 2014-4-10 04:07
if you are using python, try "yield", this can avoid memory problem.
if not, you can divide them in ...

the pair is like:
Obs1: a b c d
Obs2: a e f
The pairs are: ab ac ad bc bd cd ae af ef
Then count the frequency of each pair

snowdustdj 发表于 2014-4-10 04:37
看来我自己绕进去了 table好像确实就解决了 我去试试

……思路被你带跑了的感觉。

try table。内存还是不行就分成10次读进来分别table，就相当于自己手写一个map reduce的wordcount了。

EroicaCMCS 发表于 2014-4-9 18:26
udacity的MR课就4个lesson，几个小时可以看完了

为什么udacity你说的这个课我只能下载3个视频?

snowdustdj 发表于 2014-4-10 04:40
the pair is like:
Obs1: a b c d
Obs2: a e f

抱歉回复晚了，R我不算熟，所以建议你听hetong_007的建议。

我能想到的大致思路也是

1， 把单个17w的occurences跑出来（这个简单）
2， 把你的lks（而非obs）分成若干份来跑。你的瓶颈是内存，所以除非你的co-occurence矩阵很稀疏（看你的实际情况了），否则你把obs分成几份跑也都要一次在内存里存17w*17w的matrix，（我算了一下大概是200多G内存需求）。所以如果不考虑最终矩阵的稀疏性的话，你可以把你的lks切成10份，Group 1~Group 10，然后分别算1x2, 1x3, ... 1x10, 2x2, ..., 2x10, ..., 10x10的co-ocurrence，这样每个分块矩阵只需要2G内存，最后再组合一下输出，输出到一个文件里（注意到2x1应该是1x2的转置，不用多余计算了）

他们在说的map-reduce大概就是自动做这件事，不过MR的学习成本因人而异差别很大了。。

readman 发表于 2014-4-10 13:19
为什么udacity你说的这个课我只能下载3个视频?

不知啊。。
4个lesson 一堆很短的视频才对

没有人提议用 C 写一个字典树来实现吗？