当 Agent 写下的结论,后来又被另一个 Agent 当成“事实”- Agent 的 evidence provenance 时,一个很容易发生的闭环。
一开始,Agent 只是帮助人判断。.1point3acres
. Waral dи,
然后它把自己的判断写进业务系统。
. Χ
过一段时间,另一个 Agent 从业务系统里把这条记录读回来。
于是:
Agent inference
↓
Database record
↓
Retrieved evidence.1point3acres
↓
Agent inference
走完这一圈以后,最开始那条 inference 很容易发生一种奇怪的身份变化:
它看起来不再像模型的判断,而像“系统里的事实”。. Waral dи,
⸻
假设公司有一个 Supplier Risk Agent。-baidu 1point3acres
它负责审核新供应商。
. ----
第一次分析 D2V Mock Components 时,它拿到:
Financial records:
Limited. ----
Ownership verification:
Incomplete. ----
Sanctions screening:
Clear
Delivery history:
None-baidu 1point3acres
Agent 综合判断:
RISK ASSESSMENT
Supplier:
D2V Mock Components
Risk:
LOW
Confidence:. check 1point3acres for more.
82%
然后系统把结果写进 Supplier Management Platform:.--
supplier_risk = LOW
到这里其实没有什么特别奇怪。
很多企业系统都会这么做。
⸻
三个月以后,一个 Procurement Agent 准备批准一笔 $180,000 的采购。
.. 它开始搜集 evidence:
Supplier record:
ACTIVE
Historical risk:
LOW
Sanctions:
CLEAR
Previous incidents:
NONE. 1point 3 acres
于是它得出:
Recommendation:-baidu 1point3acres
APPROVE
. 1point 3acres
再过一段时间,另一个 Risk Agent 做季度复查。
它读取:
Supplier risk:
LOW
Previous procurement:. 1point 3acres
APPROVED
Operational incidents:
NONE
于是再次判断:
Risk:
LOW
然后继续写回:
supplier_risk = LOW
半年以后,我们可能看到:
Historical assessments:
LOW
LOW ..
LOW
LOW
Approved purchases:
7. From 1point 3acres bbs
Recorded incidents:
0
看起来已经形成了一套相当强的 historical evidence。. .и
.google и
但如果一路往上追:
LOW. ----
↓
LOW
↓
APPROVED.
↓
LOW
↓.google и
Original Agent assessment
最后可能会发现:
.--
整个历史其实都建立在第一次 82% confidence 的模型判断上。
⸻
. check 1point3acres for more.
这里最危险的地方,不一定是第一条判断错了。
.--第一条判断完全可能是合理的。. .и
.--
问题是它从:
MODEL INFERENCE. 1point3acres.com
变成:
DATABASE FIELD
以后,后面的系统开始给了它完全不同的 epistemic status。
第一次:
Agent believes supplier is low risk.
.1point3acres
几个月以后变成:
. 1point3acres
Enterprise system says
supplier is low risk..1point3acres
两句话看起来非常接近。
. 1point3acres.com
但 authority 完全不同。
⸻
这让我觉得,Agent deployment 里有一个很重要的问题:
Persistence does not create truth.
把模型输出写进数据库,不会让它自动变成事实。. .и
.google и
Storage durability 和 evidence authority 是两回事。
⸻
比如:
source:
supplier_master
其实还远远不够。
因为 supplier_master 里面可能同时有:
Legal name
来自正式注册资料。
Bank account. check 1point3acres for more.
来自经过验证的付款流程。
Risk classification. 1point3acres
来自模型推断。.1point3acres
这三条记录虽然都存在同一个 database 里,但它们的 evidence authority 根本不应该一样。. 1point3acres.com
.. 所以真正有用的 provenance 可能应该继续追:
FIELD
risk_classification
ORIGIN
Agent inference
EVIDENCE ROOT
Incomplete financial records
Ownership documents
Sanctions result
DECISION TYPE
Derived judgment. 1point3acres
..
而不是简单:
SOURCE.--
Supplier Database
. check 1point3acres for more.⸻
我觉得这里有一个很容易犯的错误:
把 storage location 当成 source。
.google и
比如 Agent 回答:
Supplier is low risk.
然后给出 citation:
Source:
Supplier Management System
看起来 grounded。
但如果 Supplier Management System 里的这个字段,本来就是另一个 Agent 写进去的呢?. 1point3acres.com
. Waral dи,
那么实际 lineage 是:
Agent B
↓ reads
Supplier Management System
↓ contains.--
Agent A inference.1point3acres
所谓的“external source”,实际上只是前一个模型输出换了一层包装。
⸻
这个问题在 RAG 里尤其容易出现。
假设 Customer Support Agent 每次处理 ticket 后都会自动写 summary:
Root cause:
Customer configuration error.
这些 summary 被同步到 knowledge base。
一个月以后,新 Agent 搜索类似问题:
. Χ
Retrieval result:
"Most incidents of this type
are caused by customer configuration."
于是它越来越倾向于:
Customer misconfiguration. 1point3acres.com
然后新的 ticket summary 又继续被写成:
Root cause:
Customer configuration.. Waral dи,
再进入 knowledge base。
循环开始形成:
Agent conclusion
↓
Knowledge Base. check 1point3acres for more.
↓
Retrieval
↓
Agent conclusion
↓
Knowledge Base
最后系统可能表现得“越来越确定”。
但没有增加多少新的独立 evidence。
它只是不断读自己的历史输出。
⸻
. .и
我觉得这和普通 data quality 问题有一点区别。
因为传统 database 当然也会有错误数据。
但 Agent system 特别容易制造一种:
epistemic feedback loop。. 1point3acres
模型:. 1point 3acres
infer
. Waral dи,
然后:
persist
然后:
.1point3acres
retrieve
.1point3acres
再:
. 1point 3acres
infer
如果 provenance 在 persist 那一步被抹掉,系统就很容易把自己的 prior belief 当成新的 observation。
⸻
这其实和 Lab 14 里讲的:
.--
Repeated memory ≠ independent evidence.
有一点关系。. 1point3acres
但这里更进一步:
Agent-generated records ≠ external evidence.
即使这条 record 已经进入一个 production database。
即使已经存在了六个月。
. From 1point 3acres bbs
即使很多其他系统都复制了它。
. Waral dи,
即使三个 Agent 都引用它。.google и
它的 evidence root 仍然可能只有:. check 1point3acres for more.
1. check 1point3acres for more.
⸻
比如三个 Agent 同时判断 supplier risk:
Procurement Agent:
LOW. ----
Finance Agent:
LOW.google и
Risk Agent:
LOW. ----
看起来是:
3 Agents agree
但再打开 evidence:
Procurement Agent
↓. Waral dи,
supplier_master.risk = LOW
Finance Agent
↓
supplier_master.risk = LOW
Risk Agent
↓
supplier_master.risk = LOW
那么这不叫三份 evidence。
甚至也不能真正叫 three-agent consensus。
它只是:
one stored inference
read three times
⸻.google и
所以我越来越觉得 Multi-Agent system 里需要区分:
INDEPENDENT OBSERVATION
和:
DERIVED ASSERTION
Independent Observation 可能是:
Bank verification result
Executed contract
Sensor reading. From 1point 3acres bbs
Signed document
Source-of-record transaction.google и
External screening response
Derived Assertion 则可能是:
Risk = LOW
Customer likely to churn
Invoice looks suspicious
Supplier appears strategic
Case probably resolved
. Waral dи,
后者当然可以保存。
甚至非常有价值。. check 1point3acres for more.
但保存的时候不能把:
derived
这个身份丢掉。
⸻
否则 Agent 很容易获得一种奇怪的“自我认证能力”。. 1point3acres.com
第一次它说:.1point3acres
I think X.
.1point3acres
写进系统以后。
下一次它就可以说:-baidu 1point3acres
The system records X.
再下一次:
Historical evidence consistently shows X.
最后:
Multiple prior decisions support X.
. Waral dи,
一句 inference,在系统内部旅行几圈以后,听起来越来越 authoritative。. Waral dи,
但现实世界没有增加任何新的证据。
..
⸻. 1point 3 acres
这也是为什么我觉得:
Authority should follow provenance, not persistence.
一条信息存了多久,并不决定它有多可信。
被复制了多少次,也不决定。
被多少 Agent 引用,更不决定。
真正需要追的是:
. 1point3acres
Where did this claim originate?
⸻
比如一个更合理的 record 可以写成:. 1point 3acres
CLAIM
. From 1point 3acres bbsSupplier is low risk.. Χ
CLAIM TYPE
Derived assessment
GENERATED BY
Supplier Risk Agent v4.2. Χ
EVIDENCE ROOTS.--
Sanctions screening #8821
Ownership review #2294
Financial record set #114. 1point3acres.com
INDEPENDENT EVIDENCE ROOTS. ----
3. From 1point 3acres bbs
AUTHORITY. ----
Advisory
MAY BE USED AS. From 1point 3acres bbs
Historical assessment
MAY NOT BE USED AS
Independent confirmation
这最后一条我觉得尤其重要。.google и
因为很多 Agent 系统真正缺的可能不是 provenance 本身。
而是:
这个 provenance 允许你把这条信息当成什么?
⸻
比如:
.
Previous Agent assessment:
LOW RISK
当然可以帮助未来 Agent:
Compare drift
Find contradictions
Understand prior reasoning
但不应该自动作为:
. check 1point3acres for more.
Independent evidence that
supplier is actually low risk..
这是两个完全不同的用途。
. Χ
⸻
还有一个更麻烦的场景。
. 1point 3 acres
假设 Agent 输出被人工看过。
Human 点击:
-baidu 1point3acresAccept
然后写入 system of record。
..
现在这条记录变成人工 evidence 了吗?
不一定。
因为 Human Review 可能有不同含义:
Reviewed formatting
.
和:
Independently verified facts
和:
.
Accepted business decision
.google и
完全不是一回事。
如果所有 Human Click 都变成:
HUMAN VERIFIED
系统一样会把 authority 抬得过高。
所以 provenance 甚至要保留:. 1point 3acres
. From 1point 3acres bbs
Human action:
ACCEPTED RECOMMENDATION
而不是模糊地:
Verified by human. Χ
⸻
这和我们之前 Human Override Lab 里的 distinction 很像。
Human 做了一个 decision,不代表 Human 为所有 underlying evidence 背书。
同样:
Human approved action
也不能自动推出:
Human independently verified
every model-generated claim.
⸻
如果把这个做成 Deployment Lab,我会先给用户一个非常舒服的 evidence panel:
SUPPLIER RISK
LOW
然后列:.
Source 1:
Supplier Management System
Source 2:
Historical Procurement Record
Source 3:.
Quarterly Risk Review
看起来有:
3 supporting sources
用户大概率会觉得 evidence 很强。
. 1point 3 acres
然后一步一步打开 provenance。
先发现:. Χ
. Waral dи,
Quarterly Risk Review
↓
used Supplier Management System
再发现:
Procurement Record
↓
used previous LOW risk classification
. Χ
最后发现:. 1point3acres
Supplier Management System. 1point 3acres
↓. Χ
original Agent inference
最终界面从:
. From 1point 3acres bbs
Supporting Sources:
3
. 1point 3acres
变成:
Independent Evidence Roots:. 1point 3 acres
1
. 1point3acres
我觉得这个 reveal 会很好。
⸻
. check 1point3acres for more.
第二个 case 可以做 Support Knowledge Base。
开始:. 1point 3 acres
32 historical tickets
27 say:. ----
Customer configuration issue
看起来:. Waral dи,
84% historical agreement
然后用户追 lineage 才发现:
其中 24 个 ticket 的 root-cause summary 都是同一个 Support Agent 自动生成的。
. From 1point 3acres bbs
真正经过工程师独立确认的只有:
5
于是:
Historical records:. From 1point 3acres bbs
32
和:. Χ
Independent validated observations:
5
差距非常大。
⸻
.google и
第三个 case 可以更危险一点:
Agent 输出进入 policy recommendation。
比如 Fraud Agent:
Transaction pattern X. 1point 3acres
is associated with fraud.
这个结论被写进 Risk Analytics。
. Waral dи,
Policy Agent 后来读取历史数据:
Pattern X repeatedly appears
in high-risk cases.
于是提出:
. .и
Increase risk weight
for Pattern X.
新的 policy 又让更多 Pattern X 被标记 HIGH。
于是历史数据进一步“证明”:
.1point3acres
Pattern X commonly appears
in high-risk cases.
这时候已经开始形成:
model judgment
↓.--
operational classification
↓.google и
historical dataset
↓
policy
↓
future classification
系统可能逐渐把自己的 decision policy 写进自己的训练证据。
这就已经不只是单条记录错了。
而是整个 evidence environment 被系统自己的行为改变了。. Waral dи,
. 1point 3acres
⸻
所以我觉得这里可以引入一个:
. From 1point 3acres bbs
Evidence Lineage Gate
每当 Agent 准备用某条 record 支持 decision 时,不只问:
Is it relevant?
还问:
What type of evidence is it?
Was it observed or inferred?
Was it generated by an Agent?
What are its independent roots?
Does it depend on this Agent's
own prior outputs?
Can it independently support
this decision?
. 1point3acres
⸻
例如:
Claim:
Supplier is LOW RISK-baidu 1point3acres
来源:
Supplier Master
系统继续展开:
. Χ
Origin:
Agent-generated assessment
. Waral dи,
继续:
Evidence roots:
3
继续:
. ----
Independent current roots:. check 1point3acres for more.
1. Χ
. 1point3acres于是最终不是直接:
USE
而可能:
USE AS HISTORICAL CONTEXT
DO NOT COUNT AS. Χ
INDEPENDENT CONFIRMATION. check 1point3acres for more.
这才比较接近我理解的 evidence governance。. ----
⸻
. 1point 3acres
最终我会让用户建立一个:. 1point 3acres
EVIDENCE LINEAGE CONTRACT. 1point3acres.com
包括:
Claim
Claim Type
Observed / Derived.google и
Generator
Original Source
Evidence Roots
Independent Root Count
Human Verification Type
Persistence Location
Permitted Uses
Authority Level
May Support Execution?
Circular Dependency?
Reverification Requirement
其中我觉得最值得保留的是:. ----
Observed / Derived
和:
Independent Root Count
这两个字段。
它们会迫使系统回答:. 1point 3 acres
我现在看到的是一个新的现实观察,还是以前某个模型判断留下来的影子?
⸻
. 1point3acres
最后 execution decision 前可以做:
EVIDENCE GRAPH
. 1point 3 acres
而不是只做:
SOURCE LIST. 1point3acres
因为 source list 可能告诉你:
5 sources
但 graph 会告诉你:
5 records
↓
2 derived from record A
↓
2 derived from Agent B. 1point3acres.com
↓
Agent B used record A
最终:. 1point3acres.com
Independent roots:
1
这是完全不同的信息。
⸻
所以我觉得 Lab 18 最值得留下的一句话是:
A model output does not become independent evidence just because it was persisted.
或者再简单一点:
. From 1point 3acres bbs
Persistence does not create truth.
Agent 的输出当然可以进入 production system。
很多时候也应该进入。
问题是进入数据库以后,我们不能让它失去自己的出生证明。
系统需要一直知道:
This was observed.
还是:
This was inferred.
因为一旦这两个东西混在一起,Agent 就很容易开始:
引用自己,验证自己,然后越来越相信自己。
. Χ
我会把 Lab 18 叫:. 1point3acres
The Agent Became Its Own Source of Truth
中文帖子标题:
FDE 和 AI Deployment|当 Agent 写下的结论,后来又被另一个 Agent 当成“事实”
. 1point3acres
随着 Agent 越来越深地进入 CRM、ERP、ticket system、risk system 和 knowledge base,我觉得这个问题会越来越现实。.--
因为未来最危险的 hallucination,可能并不是模型凭空说错一句话。
而是一句模型判断被写进系统以后,几个月后已经没人知道:
它最开始只是一个判断。
deploytovalue.com |