被assign一个 Verification Agent 的project，llm新人 希望大佬给点insight

Hi，我是一个在AI team的DS (Pharma Industry)。之前没有llm经验，最近才学了一点RAG。然后老板要我做一个Verification Agent，他想把这个agent当作一个one size fits all solution。这个agent应该可以被apply到大部分我们已经做出来的specialized agent 比如hcp profile creator啥的。目前还不知道具体我们现在已经有啥specialized agent，还在等他们给我access。
我老板目前的想法是这样的：


1. Creator Agent: The specialized agent that generate the response to be verified 比如hcp profile creator.
2. Verification Agent会有2个sub-agent，一个sub-agent takes in the context and response, 然后做自己的research，另外一个sub-agent对比着2个response，决定我们creator agent的response是不是对的。

这个看似很straightforward的东西感觉implement起来有很多不clear的东西，比如:


1. 我们要选what part of the response to verify? 我在想要不然只verify factual statements like 20% of the CV patients are male, etc.
.--2. 然后我们要从哪个online source fetch这些relevant fact？Wiki? CDC?
3. 有这个fact之后，直接用RAG fetch够吗？我的理解是fine-tuning是optional，他可以make 我的output format consistent。
4. 最后对比2个response的时候，要怎么决定我们的Creator Agent response是不是对的呢？要不然assign 一个score base on categories like source used, contradition, recency 啥的？

网上没找到太多关于这个topic的post，希望大佬给点建议，如果你做过类似的，有什么样的pain point？什么work什么不work？真的谢谢了

我们组在做一样的东西，也是一样的 几个agent 互相call

可以做成一个 tool 去理解 wiki, files

然后 用agent 去调用不同的tool

顶一个