[招生] 【导师本人】学生intern/collaborator，方向deep learning theory
adam_gao
招收对deep learning theory (DLT)感兴趣学生intern和合作者，也欢迎在职/希望参与研究的朋友联系。
因为本人做的是“狗都不做，我做的DLT"，在reachout之前，请把下面的介绍看完，免得大家对这件事的预想差得太远。
我研究的方向是feature learning dynamics。主要研究neural networks在training中，features/represnetation是如何学习和变化的。
在研究问题和理论思想上，和 Maximal Update Parametrization（MuP）一脉相承。我们主要研究网络的 width/depth等规模增大时，feature/gradient在training 中如何演化，并通过适当的缩放和无穷大极限，得到更可分析的有效learning dynamics。以此来达到两个目的：
目前组里有两个相关的projects：
去年在一亩三分地招过 summer intern。目前与其中一位学生合作的两篇文章，一篇已被 NeurIPS 接收，另一篇正在投 ICLR。两项工作的主要研究阶段分别用了大约两三个月，但投稿/rebuttal/后续修改又需要更长时间。所以，我们并不能保证短期的实习（例如，3个月）一定有论文，更不能保证接收。希望你对问题本身有兴趣，也愿意经历复现、分析、失败和修改的过程。享受这个过程，而不是最后的结果。
对学生的基本要求：
有兴趣的话，请先浏览我的个人网页，看看最近的论文：https://gaotx-cs.github.io/
然后发邮件到 tgao9@depaul.edu。请简单介绍（中文英文都可以）你的背景/感兴趣的project/相关数学或编程经历，以及预计可以投入的时间；有 CV/transcripts也欢迎附上。
P.S. 我们学校DePaul在芝加哥，当地的同学可以直接来我的office hours，当然最后还是提前联系预约。
因为本人做的是“狗都不做，我做的DLT"，在reachout之前，请把下面的介绍看完，免得大家对这件事的预想差得太远。
我研究的方向是feature learning dynamics。主要研究neural networks在training中，features/represnetation是如何学习和变化的。
在研究问题和理论思想上，和 Maximal Update Parametrization（MuP）一脉相承。我们主要研究网络的 width/depth等规模增大时，feature/gradient在training 中如何演化，并通过适当的缩放和无穷大极限，得到更可分析的有效learning dynamics。以此来达到两个目的：
- 通过取极限，可以忽略次要的细节，提炼训练中的主导机制，用有效的动力学系统理解网络如何学习；
- 分析哪些设计的作用在 scale up 时仍然有效，哪些作用会逐渐消失，再通过有限规模实验检验这些预测。
目前组里有两个相关的projects：
- 研究looped networks的learning dynamics，识别其与standard networks的在learning behavior上的差别。在已知looping省了memory但不省compute，我们想知道：在相同计算budget下，looped networks 能否达到与普通网络相近的 performance？参数共享又会怎样改变 feature learning 和 gradient dynamics？
- 研究sparse networks的learning dynamics，这里的sparse networks并不是MoE，也不是LoRA，是最底层的nn.Lineear。我们想知道: network sparsity如何影响feature learning、gradient propagation和learning efficiency？什么情况下 sparsity 主要是在减少参数，什么情况下它会实质性地改变网络的学习机制？
去年在一亩三分地招过 summer intern。目前与其中一位学生合作的两篇文章，一篇已被 NeurIPS 接收，另一篇正在投 ICLR。两项工作的主要研究阶段分别用了大约两三个月，但投稿/rebuttal/后续修改又需要更长时间。所以，我们并不能保证短期的实习（例如，3个月）一定有论文，更不能保证接收。希望你对问题本身有兴趣，也愿意经历复现、分析、失败和修改的过程。享受这个过程，而不是最后的结果。
对学生的基本要求：
- 较好的数理insight：Calculus, probability, and linear algebra；不要求你一开始就能独立完成理论证明，但希望你不排斥用数学符号讨论问题，愿意花时间理解这些数学的insights。
- 有较强的coding能力，能复现 GitHub 上的code，并根据实验需要修改；你完全可以用ai来辅助coding，但需要理解核心代码的含义，能够检查实现是否符合数学模型，并且可以根据需要快速来调整现有的代码。
有兴趣的话，请先浏览我的个人网页，看看最近的论文：https://gaotx-cs.github.io/
然后发邮件到 tgao9@depaul.edu。请简单介绍（中文英文都可以）你的背景/感兴趣的project/相关数学或编程经历，以及预计可以投入的时间；有 CV/transcripts也欢迎附上。
P.S. 我们学校DePaul在芝加哥，当地的同学可以直接来我的office hours，当然最后还是提前联系预约。
DePaul University
35个主题·258个回复·
共2条回复
