1. Creator Agent: The specialized agent that generate the response to be verified 比如hcp profile creator.
2. Verification Agent会有2个sub-agent,一个sub-agent takes in the context and response, 然后做自己的research,另外一个sub-agent对比着2个response,决定我们creator agent的response是不是对的。
1. 我们要选what part of the response to verify? 我在想要不然只verify factual statements like 20% of the CV patients are male, etc. .--2. 然后我们要从哪个online source fetch这些relevant fact?Wiki? CDC?
3. 有这个fact之后,直接用RAG fetch够吗?我的理解是fine-tuning是optional,他可以make 我的output format consistent。. 1point3acres
4. 最后对比2个response的时候,要怎么决定我们的Creator Agent response是不是对的呢?要不然assign 一个score base on categories like source used, contradition, recency 啥的?. Waral dи,
..
网上没找到太多关于这个topic的post,希望大佬给点建议,如果你做过类似的,有什么样的pain point?什么work什么不work?真的谢谢了