浅谈用 AI chat bot 学习，读论文等~

先列up 背景:

• 尽管up 在美国生活10年多了，但是英语很烂，有时候看到paper就头疼。
• up 是backend 慢慢转的MLE （大约从9年前开始转），也只有本科学历，至今学术功底也不强
• up不太喜欢看大本的教科书（有点懒），更喜欢碎片化的学习，碎片多了后才会想要用教科书来整理自己的知识系统

这里up用的是chatgpt, 引用的例子：读paper，学MoE (Mixture of Experts)， multi head attention
列几个use case
读论文，归纳总结+转中文
例子：https://chatgpt.com/share/6802b017-dba4-800f-800d-f323123b839b， 读的是MoE的一篇综述：https://arxiv.org/pdf/2407.06204
方法很简单，就是让chatgpt一章一章读下来，然后我再读chatgpt的总结。
总的来说，快很多，并且chatgpt能够一条条列出重点，而不是原文密密麻麻的文字。
内容绝大部分情况是靠谱的。
当然有时也会有小问题，比如这里我要读MMoE：https://chatgpt.com/share/6802b0f2-a4b0-800f-bc1f-8cc5e6b807d3，这里我一开始上传的是link，结果chatgpt 搞错了文章，读得牛头不对马嘴。于是我把pdf下载下来再上传，chatgpt就能回到正确得道路上。
另外一个问题是，chatgpt总结得时候一般不会把图放在来，但是一般来说，图是一篇论文的核心，这个时候还是要自己回去仔细看看图。
所以总结下，读原文还是有必要得，chatgpt帮助得是加速理解。


对一个问题深入理解
例子：https://chatgpt.com/share/6802b40c-c45c-800f-9ddf-b47dd0ae9d5f
问题：negative transfer 问题的理解
这个问题是我在读 PLE paper的时候，PLE说重点解决的一个问题。
字面上不是很难理解negative transfer是啥，不过在这基础上，我多问了几个问题：
1.  让AI再度解释一下，一般来说他会相对详细解释一下

• 问下公式化的表达
• 对于共享层的 distribution diff 的疑惑问了下
• 分布差异的计算（这里是用 KL-divergence) 的一些计算方法

也不能说我做完这些我对这个问题的理解有多深刻，但是大致的理解至少是有的。


学样例代码
例子：https://chatgpt.com/share/6802b599-e4e0-800f-8787-cd085c1e6004
这是 MultiHeadAttention的样例代码。
在up看来，这样的代码从学习角度上来说，这样的代码容易看懂很多（代码一共43行）。
相比而言，pytorch官方的代码已经快500行了：
https://github.com/pytorch/pytorch/blob/v2.6.0/torch/nn/modules/activation.py#L973-L1447
一开始up看这个代码的时候非常头疼，特别是还不熟悉这个module的时候。
当然，MultiHeadAttention这种是热门topic，代码很容易写对。
up也碰到过一些冷门topic，代码不是很容易被AI写对的情况，（这方面claude听说好一些，但是当时up用起来没有感受到差别）。


总结：AI工具用来学习能够帮助快速理解，甚至unblock卡住的地方。


新人求米~

google notebooklm 很不错。我现在都用notebooklm 总结归纳。快速学习。英文读的慢或不理解就叫它翻译成中文。

gemini不错

Google AI studio 很好

加油加油

gemini不错

加油加油