San Jose各个房价 <1.5m 区域买房总结

一亩三分地论坛

 找回密码
 Sign Up 注册获取更多干货
码农求职神器Triplebyte:
不用海投
内推多家公司面试
坐标湾区
Games Startup
招聘游戏开发工程师
游戏初创公司招聘工程师、UIUX Designer和游戏策划
把贵司招聘信息放这里
查看: 2478|回复: 12
收起左侧

[OPT] 【码农贡献】一键提交,无cookies,分类器拒绝负面评论

[复制链接] |试试Instant~ |关注本帖
kidd_yq@163.com 发表于 2015-11-16 03:43:10 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?Sign Up 注册获取更多干货

x
作为一个非典型码农,利用EC2,Django,Qt,scikit-learn等等做了这个网页方便大家提交评论:
features:
. 1point3acres
1. 支持一键提交,返回comment tracking number;
2. 后台利用基于Qt fancybrowser example的简易浏览器提交,不支持cookies,所以不用担心评论被过滤;.留学论坛-一亩-三分地
3. 抓了截止上周的7000多条评论,利用scikit-learn sentiment analysis 训练了一个分类器,拒绝负面评论的一键提交,准确率93%;. 一亩-三分-地,独家发布
4. 另外加了一些reference,方便大家参考论据;

网址:https://goo.gl/OThVy8
国内的朋友可以直接用:http://52.32.193.108:8000/ 主要是担心google url shortener被block-google 1point3acres

小网页host在EC2 Oregen,目前还是free tier单机,如有必要会加load balancer和auto scaling。. 一亩-三分-地,独家发布

求轻喷><. visit 1point3acres for more.


补充内容 (2015-11-18 06:31):
网页后台提交挂了,先go offline了,晚上再debug,可能是同一IP短时间内提交过多被拉黑了

评分

14

查看全部评分

 楼主| kidd_yq@163.com 发表于 2015-11-17 11:26:53 | 显示全部楼层
AnakinFoxe 发表于 2015-11-16 06:23. From 1point 3acres bbs
能把全部公布出来的2万多条都抓一下分析下正负比率吗?谢谢
. 1point3acres
As of 11/16/2015 midnight
    43532 comments received, 24718 posted
    Positive negative ratio: 19151 / 5567 . 留学申请论坛-一亩三分地
    Positive: 77.5%
    Positive negative ratio for comments longer than 1000 chars: 4003 / 1314
    Positive ratio for comments longer than 1000 chars: 75.2%

评分

3

查看全部评分

回复 支持 1 反对 0

使用道具 举报

 楼主| kidd_yq@163.com 发表于 2015-11-16 06:30:42 来自手机 | 显示全部楼层
可以啊 就是要花些时间爬一下了 等我今晚几个机器并行跑一下 多谢支持!
回复 支持 1 反对 0

使用道具 举报

AnakinFoxe 发表于 2015-11-16 06:23:39 | 显示全部楼层
能把全部公布出来的2万多条都抓一下分析下正负比率吗?谢谢
回复 支持 反对

使用道具 举报

iorisli 发表于 2015-11-16 07:05:19 | 显示全部楼层
那楼主评论的个人信息是怎么生成的呢?
回复 支持 反对

使用道具 举报

 楼主| kidd_yq@163.com 发表于 2015-11-16 07:11:41 | 显示全部楼层
iorisli 发表于 2015-11-16 07:05
那楼主评论的个人信息是怎么生成的呢?

随机生成的啦, 孙悟空,猪八戒,白龙马等等,你懂滴~
回复 支持 反对

使用道具 举报

绿爷 发表于 2015-11-17 12:18:50 | 显示全部楼层
厉害!                  
回复 支持 反对

使用道具 举报

为延期而注册 发表于 2015-11-17 23:05:36 | 显示全部楼层
膜拜大神。。。大家加油,力争把比率提升到80%以上...
回复 支持 反对

使用道具 举报

superbinhugo 发表于 2015-11-18 01:13:45 | 显示全部楼层
kidd_yq@163.com 发表于 2015-11-16 19:26
As of 11/16/2015 midnight . 牛人云集,一亩三分地
    43532 comments received, 24718 posted
    Positive negative rati ...

问一个问题哈,你要train 分类器的话,答案从哪里来的啊?自己标记的吗?
回复 支持 反对

使用道具 举报

 楼主| kidd_yq@163.com 发表于 2015-11-18 03:19:47 | 显示全部楼层
superbinhugo 发表于 2015-11-18 01:13-google 1point3acres
问一个问题哈,你要train 分类器的话,答案从哪里来的啊?自己标记的吗?

是啊,先是看了几篇,后来发现基本上中国和印度的first lastname都是支持的,所以就按姓名排序直接分割了,欧美名字的评论不是很一致,有褒有贬,但反对的主要论据就那么几个,所以挑了几个不同的做样本先训练了一个小的,然后不停迭代的,修正错误主要是grep一些关键的regex,比如I (([A-Z|a-z])\w+ly )?(support|agree|approve); 负面的一般都有oppose, object,disapprove, disagree等等;目前的model predict false negative比false positive 多,所以这个比例是保守估计的,真实的情况应该比这个还要好一些,今晚如果有空我会再多加一些最近的文章和长文章训练一下,争取提高一些准确率;
回复 支持 反对

使用道具 举报

superbinhugo 发表于 2015-11-18 05:51:46 | 显示全部楼层
kidd_yq@163.com 发表于 2015-11-17 11:19
是啊,先是看了几篇,后来发现基本上中国和印度的first lastname都是支持的,所以就按姓名排序直接分割了 ...

叼叼叼~~~~学习了~~~~~
回复 支持 反对

使用道具 举报

本版积分规则

提醒:发帖可以选择内容隐藏,部分板块支持匿名发帖。请认真读完以下全部说明:

■隐藏内容方法: [hide=200]你想要隐藏的内容比如面经[/hide]
■意思是:用户积分低于200则看不到被隐藏的内容
■可以自行设置积分值,不建议太高(200以上太多人看不到),也不建议太低(那就没必要隐藏了)
■建议只隐藏关键内容,比如具体的面试题目、涉及隐私的信息,大部分内容没必要隐藏。
■微信/QQ/电子邮件等,为防止将来被骚扰甚至人肉,以论坛私信方式发给对方最安全。
■匿名发帖的板块和方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明

custom counter

GMT+8, 2018-5-26 20:15

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表