1. Creator Agent: The specialized agent that generate the response to be verified 比如hcp profile creator.
2. Verification Agent会有2个sub-agent,一个sub-agent takes in the context and response, 然后做自己的research,另外一个sub-agent对比着2个response,决定我们creator agent的response是不是对的。
这个看似很straightforward的东西感觉implement起来有很多不clear的东西,比如:. From 1point 3acres bbs
1. 我们要选what part of the response to verify? 我在想要不然只verify factual statements like 20% of the CV patients are male, etc.
2. 然后我们要从哪个online source fetch这些relevant fact?Wiki? CDC?.google и
3. 有这个fact之后,直接用RAG fetch够吗?我的理解是fine-tuning是optional,他可以make 我的output format consistent。. 1point3acres
4. 最后对比2个response的时候,要怎么决定我们的Creator Agent response是不是对的呢?要不然assign 一个score base on categories like source used, contradition, recency 啥的?. From 1point 3acres bbs
.
网上没找到太多关于这个topic的post,希望大佬给点建议,如果你做过类似的,有什么样的pain point?什么work什么不work?真的谢谢了