初级农民-请到新手上路获取积分
- 积分
- 9
- 大米
- 颗
- 鳄梨
- 个
- 水井
- 尺
- 蓝莓
- 颗
- 萝卜
- 根
- 小米
- 粒
- 学分
- 个
- 注册时间
- 2025-1-1
- 最后登录
- 1970-1-1
|
继续招实习生:
之前summer招的实习生两个方向各投了一篇文章【iclr/icml】:
1. deep learning theory的方向:主要研究scaling law里的model scaling,并且刻画了也严格证明了neural network究竟是如何在training中学习features的
2. graph machine learning的方向:我们研究了depth在gnn中的意义,具体分析了messange passing和feature learning对depth不同的要求和作用
再找一名fall/winner intern,主要做deep learning theory的方面,目标投icml,具体是用adam这类adaptive learning rate+momentum的算法,更sgd相比,是如何影响neural network的feature learning的。从feature learning的角度来改进算法,而不再是从传统的optimization和generalziaiton的角度来考虑,因为我们觉的现代deep learning最重要的是feature learning,这是和classic machine learning本质的区别。
要求:
1. 有比较好的math sense: linear algebra (eigenvalues), probability theory (LLN/CLT, Gaussian), calculus
2. coding能力
3. 能够熟练应用llm辅助工作,快速迭代code,补充必要背景知识
4. 了解或者愿意了解muP系列的工作,看中scaling up的作用
感兴趣的同学请先看完这篇关于muP的paper【A Spectral Condition for Feature Learning】再联系老师tgao9@depaul.edu,如果邮件里没有说明看过这篇paper且分享自己看法的邮件,很可能不会得到回复。谢谢~ |
|