被assign一个 Verification Agent 的project，llm新人 希望大佬给点insight

Hi，我是一个在AI team的DS (Pharma Industry)。之前没有llm经验，最近才学了一点RAG。然后老板要我做一个Verification Agent，他想把这个agent当作一个one size fits all solution。这个agent应该可以被apply到大部分我们已经做出来的specialized agent 比如hcp profile creator啥的。目前还不知道具体我们现在已经有啥specialized agent，还在等他们给我access。
我老板目前的想法是这样的：


1. Creator Agent: The specialized agent that generate the response to be verified 比如hcp profile creator.
2. Verification Agent会有2个sub-agent，一个sub-agent takes in the context and response, 然后做自己的research，另外一个sub-agent对比着2个response，决定我们creator agent的response是不是对的。

这个看似很straightforward的东西感觉implement起来有很多不clear的东西，比如:


1. 我们要选what part of the response to verify? 我在想要不然只verify factual statements like 20% of the CV patients are male, etc.
2. 然后我们要从哪个online source fetch这些relevant fact？Wiki? CDC?
3. 有这个fact之后，直接用RAG fetch够吗？我的理解是fine-tuning是optional，他可以make 我的output format consistent。
4. 最后对比2个response的时候，要怎么决定我们的Creator Agent response是不是对的呢？要不然assign 一个score base on categories like source used, contradition, recency 啥的？

网上没找到太多关于这个topic的post，希望大佬给点建议，如果你做过类似的，有什么样的pain point？什么work什么不work？真的谢谢了

我们组在做一样的东西，也是一样的 几个agent 互相call

可以做成一个 tool 去理解 wiki, files
. 1point 3 acres
然后 用agent 去调用不同的tool

顶一个