一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 1290|回复: 12
收起左侧

[OPT] 【码农贡献】一键提交,无cookies,分类器拒绝负面评论

[复制链接] |试试Instant~ |关注本帖
kidd_yq@163.com 发表于 2015-11-16 03:43:10 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
作为一个非典型码农,利用EC2,Django,Qt,scikit-learn等等做了这个网页方便大家提交评论:
features:
-google 1point3acres
1. 支持一键提交,返回comment tracking number;
2. 后台利用基于Qt fancybrowser example的简易浏览器提交,不支持cookies,所以不用担心评论被过滤;-google 1point3acres
3. 抓了截止上周的7000多条评论,利用scikit-learn sentiment analysis 训练了一个分类器,拒绝负面评论的一键提交,准确率93%;
4. 另外加了一些reference,方便大家参考论据;

网址:https://goo.gl/OThVy8
国内的朋友可以直接用:http://52.32.193.108:8000/ 主要是担心google url shortener被block

小网页host在EC2 Oregen,目前还是free tier单机,如有必要会加load balancer和auto scaling。

求轻喷><
. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴

补充内容 (2015-11-18 06:31):
网页后台提交挂了,先go offline了,晚上再debug,可能是同一IP短时间内提交过多被拉黑了

评分

14

查看全部评分

 楼主| kidd_yq@163.com 发表于 2015-11-17 11:26:53 | 显示全部楼层
AnakinFoxe 发表于 2015-11-16 06:23
能把全部公布出来的2万多条都抓一下分析下正负比率吗?谢谢

As of 11/16/2015 midnight
    43532 comments received, 24718 posted
    Positive negative ratio: 19151 / 5567
    Positive: 77.5%
    Positive negative ratio for comments longer than 1000 chars: 4003 / 1314
    Positive ratio for comments longer than 1000 chars: 75.2%

评分

3

查看全部评分

回复 支持 1 反对 0

使用道具 举报

 楼主| kidd_yq@163.com 发表于 2015-11-16 06:30:42 来自手机 | 显示全部楼层
可以啊 就是要花些时间爬一下了 等我今晚几个机器并行跑一下 多谢支持!
回复 支持 1 反对 0

使用道具 举报

AnakinFoxe 发表于 2015-11-16 06:23:39 | 显示全部楼层
能把全部公布出来的2万多条都抓一下分析下正负比率吗?谢谢
回复 支持 反对

使用道具 举报

iorisli 发表于 2015-11-16 07:05:19 | 显示全部楼层
那楼主评论的个人信息是怎么生成的呢?
回复 支持 反对

使用道具 举报

 楼主| kidd_yq@163.com 发表于 2015-11-16 07:11:41 | 显示全部楼层
iorisli 发表于 2015-11-16 07:05
那楼主评论的个人信息是怎么生成的呢?
. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴
随机生成的啦, 孙悟空,猪八戒,白龙马等等,你懂滴~
回复 支持 反对

使用道具 举报

绿爷 发表于 2015-11-17 12:18:50 | 显示全部楼层
厉害!                  
回复 支持 反对

使用道具 举报

为延期而注册 发表于 2015-11-17 23:05:36 | 显示全部楼层
膜拜大神。。。大家加油,力争把比率提升到80%以上...
回复 支持 反对

使用道具 举报

superbinhugo 发表于 2015-11-18 01:13:45 | 显示全部楼层
kidd_yq@163.com 发表于 2015-11-16 19:26
As of 11/16/2015 midnight
    43532 comments received, 24718 posted
    Positive negative rati ...
. visit 1point3acres.com for more.
问一个问题哈,你要train 分类器的话,答案从哪里来的啊?自己标记的吗?
回复 支持 反对

使用道具 举报

 楼主| kidd_yq@163.com 发表于 2015-11-18 03:19:47 | 显示全部楼层
superbinhugo 发表于 2015-11-18 01:13
问一个问题哈,你要train 分类器的话,答案从哪里来的啊?自己标记的吗?

是啊,先是看了几篇,后来发现基本上中国和印度的first lastname都是支持的,所以就按姓名排序直接分割了,欧美名字的评论不是很一致,有褒有贬,但反对的主要论据就那么几个,所以挑了几个不同的做样本先训练了一个小的,然后不停迭代的,修正错误主要是grep一些关键的regex,比如I (([A-Z|a-z])\w+ly )?(support|agree|approve); 负面的一般都有oppose, object,disapprove, disagree等等;目前的model predict false negative比false positive 多,所以这个比例是保守估计的,真实的情况应该比这个还要好一些,今晚如果有空我会再多加一些最近的文章和长文章训练一下,争取提高一些准确率;
回复 支持 反对

使用道具 举报

superbinhugo 发表于 2015-11-18 05:51:46 | 显示全部楼层
kidd_yq@163.com 发表于 2015-11-17 11:19
是啊,先是看了几篇,后来发现基本上中国和印度的first lastname都是支持的,所以就按姓名排序直接分割了 ...

叼叼叼~~~~学习了~~~~~
回复 支持 反对

使用道具 举报

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-6 01:14

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表