也说ChatGPT和其影响 - 以前的NLP技术被革命了

匿名用户 发表于 2023-2-20 18:41
跟你说个实例。 最近参与一个产品级的使用chatGPT技术演示。 不是很成熟。但是这个产品总监 说了一下为啥 ...

总觉得最后2句话弱弱的

GPT作为Seq2Seq autoregressive model，能生成出很多人期待的tokens。

我认知问题：我们应该怎么理解Seq2Seq？当初为什么有Seq2Seq？怎么用Seq2Seq？
我的想法1：作为Seq2Seq model的ChatGPT，或者叫（ Conversational AI）是作为“HCI interface”把un-structured data （人话）变成structured data（不知如何定义，可能是 low-dim vector space 或者是 discrete human interpretable classes），然后把这些structured-data当成后续的function args.  当然这个structured-data/function千变万化. 例如chatbot里的intent/slot-filling，dialog state tracking, policy 再到自然语言生成（NLG）。 ChatGPT似乎把以上的过程end-to-end了。 但是公司真的希望这个end-2-end的interface吗？ （怎么侦测intent流量，如何debug）似乎传统的chatbot pipeline用到e2e的model上面都不太优雅。 公司真的要/真的能/真的敢直接上e2e model吗？

我的想法2: Seq2Seq 初期（2014-2015）是用在翻译上的，这个也符合“Interface”的定义，衔接了input/output两种语言。 泛化地说，Seq2Seq是否可以衔接人话（input）和function args，以提高系统的某个metric呢（例如chatbot的success rate）？  举个例子：
- 人说：“我吃了很多中餐西餐，但是我最喜欢吃麦当劳，它有我最喜欢的薯条。”。 现在的function 听不懂，不能parse这个句子。
- 但ChatGPT翻译说：“我喜欢吃麦当劳”，有可能 function就能听得懂。
ChatGPT成为了一个中间人（query  rewriter），这样既能活用已有的function（业务逻辑，metrics， debug，） 也能让用户获得更好的体验。

---  e2e很美妙，但维护e2e是地狱模式。 我感觉query rewrite是一条整合chatgpt和现有系统（chatbot）的明确路径。 让chatgpt当翻译（interface），阐述出现有系统能听得懂的东西。