ChatGPT是个瞎忽悠的老印？

今天我们团队的一个博后告诉我一个他觉得惊天动地的想法，要写篇文章，搞一票大的。我听了半信半疑，往ChatGPT里面敲了进去，发现人家早就有这方面的工作了！ChatGPT可厉害了，不但写出一篇总结，还引用了8篇文章。看样子又是“nothing is new under the sun”，改变世界没那么容易。

如果本故事只到这里，那就太俗了。精彩的是：我的博后回家去把那些“文献”一一搜索完毕，发现没有一篇真的存在，全部是伪造的！我的个天哪，我们学校有个所有研究生第一天必须参加的学术道德（Research Integrity）的课，ChatGPT没有上过，不知道做学问不能造假。。。

想起来以前审一个老印的项目申请（grant proposal），此人将自己的名字放到一些著名的flagship的大文章里面，然后将这些文章放到自己简历里面。那些文章作者数特别多，一般人也不查。但是我老人家也是那些文章的作者之一，不怎么记得此人，仔细一查，发现是造假。这种低水平的造假，我都不好意思写在review comments里面，只好找了些别的原因给他拒了拉倒。不过比这水平高的造假也很多。最常用的就是引用一大些文献，说这些文献支持自己的观点或者提供初步结果（preliminary data），但是实际上这些文献并没有说引用者提出的观点，审稿人没时间看就糊弄过去了。这么干的，印度人居多，偶尔也见到国人，欧裔的绝少。

所以嘛，ChatGPT其实也常常似是而非，我们人类的innovation还是有用武之地的。也千万不要迷信AI，因为他们也有可能造假！事实上ChatGPT最牛的地方，还是写文档，比如申请里面的一些需要润色的内容。有了AI，老印的忽悠被取代的速度，大大超过我们华人（和其他扎扎实实做事情的所有人）被取代的速度！

是个普信男

我试了几天，觉得他只能干翻译润色的活，干得很出色。让他一发挥就翻车。

columbia88 发表于 2023-2-13 15:59
是个普信男

这10个人可能pengcong汉奸给起的“十常侍”的名字，然后chatgpt的training data里刚好有这篇文章？如果chatgpt用的《后汉书》，不可能搞错“十常侍”的名字吧？

chatgpt用的InstructGPT的模型，里面就有不少fake facts，不过比GPT-3里面少。

嗯。也许因为印度人基数大，所以AI提取学习的也大部分来自于印度人的忽悠，相当于把印度人能忽悠的技术给抢过来了。那么印度人就下岗了。。。

楼主这样比较总感觉不妥当……

我来换个角度诠释一下，ChatGPT或者更泛泛的各种GPT和AI generation的技术，最大和一个问题就是谁对生成内容负责，如果没有问责的机制，最后一定就沦为唯嘴炮无敌了。
之所有和一些印度人的表现类似，因为对那部分人来说，再严重的责任都比回老家过活强，所以也就什么都可以干了，更何况学术不端经常只是个脸皮问题，再大不了也就是教授不做了而已换个地方赚钱。