打卡每周读machine learning paper

监督并记录，也希望大家可以安利我最近比较好的paper

上班以后感觉接触的都是一个方向，公司也并不乐于搞新东西发paper，为避免被学术界落下太多，每周搜一篇近几年值得一读的paper。

=======
ImageNet trained CNNs are strongly biased towards recognising textures rather than shapes.
https://openreview.net/pdf?id=Bygh9j09KX}{https://openreview.net/pdf?id=Bygh9j09KX


======
Weight Agnostic Neural Networks
https://weightagnostic.github.io


======


补充内容 (2020-4-26 03:05):
Jasper: An End-to-End Convolutional Neural Acoustic Model
https://arxiv.org/pdf/1904.03288.pdf

补充内容 (2020-4-27 02:05):
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
https://arxiv.org/pdf/1811.12359.pdf}{https://arxiv.org/pdf/1811.12359.pdf

补充内容 (2020-5-4 04:42):
====================
RWTH ASR Systems for LibriSpeech: Hybrid vs Attention - w/o Data Augmentation
https://arxiv.org/pdf/1905.03072.pdf
做asr值得一读

补充内容 (2020-5-10 04:40):
=================
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
https://arxiv.org/abs/1512.02595
饥荒。。。二刷些经典的

补充内容 (2020-5-18 08:01):
===========================
SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition
https://arxiv.org/pdf/1904.08779v2.pdf

补充内容 (2020-5-25 07:48):
================================
Sequence-discriminative training of deep neural networks
http://isl.anthropomatik.kit.edu ... _neural_networks...

补充内容 (2020-5-31 04:52):
=============================
wav2vec: Unsupervised Pre-training for Speech Recognition
https://arxiv.org/abs/1904.05862

补充内容 (2020-6-8 03:39):
================================
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
https://arxiv.org/abs/1506.01497

补充内容 (2020-6-15 06:01):
==========================
Fast R-CNN
https://arxiv.org/pdf/1504.08083.pdf

补充内容 (2020-6-22 10:30):
=======================
WaveNet: A Generative Model for Raw Audio
https://arxiv.org/abs/1609.03499

补充内容 (2020-6-29 11:32):
====================
The Kaldi Speech Recognition Toolkit
PYCHAIN: A Fully Parallelized PyTorch Implementation of LF-MMI for End-to-End ASR

补充内容 (2020-6-29 11:32):
====================
The Kaldi Speech Recognition Toolkit
PYCHAIN: A Fully Parallelized PyTorch Implementation of LF-MMI for End-to-End ASR

补充内容 (2020-7-6 06:16):
========================
Neural data-to-text generation: A comparison between pipeline and end-to-end architectures
https://arxiv.org/abs/1908.09022

补充内容 (2020-7-13 06:10):
===============================
https://arxiv.org/abs/1901.02860
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

补充内容 (2020-7-27 06:01):
==============================
Towards Empathetic Open-domain Conversation Models: a New
Benchmark and Dataset
https://arxiv.org/abs/1811.00207

补充内容 (2020-8-9 23:03):
===========================
Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

dajiangdongqu 发表于 2020-5-22 06:35
多谢。 但还是太抽象了。 能不能说个简单点的应用。比如
1. 银行，保险，信用卡行业如何运用NLP ？  这 ...

瞎说点我听说的。chatbot，virtual assistant，review分析就不说了。比如金融行业，由于反洗钱法等法规，对于开户的客户，金融公司需要知道他们是不是洗钱犯罪或者恐怖分子之类的， 出错是要担责的。那么如何知道客户有无此方面的问题，方法之一就是从负面媒体新闻或者官方通报中search是否出现过这个人。那么首先就需要一个针对负面媒体文章通报的文本分类器，能够正确分类某种犯罪的新闻文章，从中做ner，提取姓名生日居住地日期在哪做了什么有多少资产和什么人有关系等等，正确理解其文本语义构建人物关系图。同时将这些信息存起来用来search。同时这些提取出的信息，可以再作为feature给别的分类器，比如直接根据客户的个人信息分类他是好是坏等等。还有比如根据公司历史数据财务报告新闻来对公司分类、评级。对股票文章分析来评级，趋势预测。油气行业，可以用文本分类找出和某种油气的地理或者特性相关的文章来研究，或者提取含有专门的油气术语的句子，或者提取某些地理报告中什么碳酸钙分布之类的。

dajiangdongqu 发表于 2020-5-22 02:30
不知谁能举个例子， nlp, 推荐系统等等在普通企业（非flag）里有什么具体应用？在flag因为产品线多，用户多 ...

说个不fancy的。nlp用来提取数据。很多行业需要从文本数据中提取信息，那么会订阅媒体数据，或者爬取网上的文章等等。举个例子，大概需要从中提取某一类感兴趣的文章，然后提取出文章中主干语义，然后把数据存起来自己使用，或者输入下游其他机器学习模型使用。需要做最基本的几个工作：文本去重，文本分类，NER，主题模型，语义分析，提取postag等等。比如将客户关注的某类别的文本找到，提取出高质量的主干语义，连同后续机器学习模型的预测值返回给客户。再比如预测某个公司业绩会受疫情影响，某个人有信用风险等等乱七八糟的。很多时候原始数据也可以来源于客户提供，而客户可以是全球各大公司，原始数据也可以从自家app获得，而客户即是自家app的用户等等。

敬佩！可ml范围太广了，楼主主要读哪个方向的？术业有专攻就好

ml方向太多了，最好细分，要不然鸡同鸭讲

我虽然做nlp那边，但是也很好奇其他领域大家都在做什么，所以论文的方向没什么preference。

楼主光读不行，每周读完，写个总结、分析、体会吧。

===================

lloqiolloqio 发表于 2020/04/26 03:06:42
我虽然做nlp那边，但是也很好奇其他领域大家都在做什么，所以论文的方向没什么preference。

想请教楼主怎么挑文章？arxiv上面每天大量水文，真的好难筛选出好的

cutekitty 发表于 2020-5-10 05:01
想请教楼主怎么挑文章？arxiv上面每天大量水文，真的好难筛选出好的

你去找找ml大的conference收的论文？neurips icml best paper，Reddit medium上根据topic找一找