A幻觉深度研究报告武定义可测量,可治理证据链接警示标识安风险警报核验机制横型输出不准确来源未知基干政府与监管来源核验监管数据可定义风险对象的机制、风险、治理与可追责抑制幻觉工程研究组织风险对象(OrganizationalRiskObject),@清新研究团队|2026年4月21日
为什么现在必须重做“幻觉"研究公共服务本报告核心关注官方来源推进医疗偶尔出错教育聊天工具不是"模型偶尔出错"办公agent自动化官方来源已把幻觉问错误生成式AI正从聊天工具进题从模型讨论推进到进入执行链组织采信形入公共服务、医疗、教育、制度、监管、用户信办公和agent自动化,错任与安全控制层面。而是"错误如何被组织采信误不再停留在屏幕上。并进入执行链”@清新研究团队|2026年4月21日
执行摘要:本报告的三个总判断真正有效的方案、场景化评估检索业务福定生成采信执行后果四重度语境XX可发现性基准分数金爱系统性风险一判断一:幻觉是"生成一采信一一判断二:基准分数无法替代场景一判断三:真正有效的方案是复合执行”链条上的系统性风险,化评估,风险必须放回后果严重治理栈、检索锚定、拒答机制、而不是单点准确率问题。度、可发现性和业务语境中衡量。人工复核、日志监测与责任制度并行。@清新研究团队|2026年4月21日
核心结论谏览01:幻觉不可被彻底消灭左侧神话:零幻觉右侧现实:持续治理Q监测约束与优化模型输出(可能包含(生成机制)confabulation)ERROR人类控制/反馈完美模型测试知识库/数据现实路径行不切实际的目标监测承诺“零幻觉”宣传误导性反馈可识别、可约束、可追责、可持续优化目标:人类控制-NIST将幻觉表述为confabulation,强调它来自统计生成机制本身,而不是少数异常案例。英国政府框架明确指出,不存在永不产生虚构输出的模型,治理重点,应是测试、监测、反馈和人类控制。一因此,组织的目标不应是零幻觉宣传,而应是可识别、可约束、可追责、可持续优化请新研究团队2026年4月21日数据来源:htps//nvlpubs.nist,gov/nistpubs/ai/NIST.A1.600-1,of
核心结论速览02:高可信品牌会放大幻觉风险高可信品牌vs.普通聊天场景区满意度-在GOV.UK Chat实验中,高可信品牌普通聊天场景用户满意度并不低,但官方(权威界面)C仍观察到若干幻觉案例。幻觉案例官方特别提醒:GOV.UK品牌的可信度会让用户低估系统失真风险,形成过度信任。GOV.UK错误答案不确定放大风险过度信任GOV.UI失真风险X谨慎对待过度信任一被低估幻觉风险被放大这说明公共服务、医院、高校、金融机构等权威界面,比普通聊天场景更需要显性护栏。更需要用户倾向于信任品牌用户具有一定戒心,容金国全食中作忽视风险。需要更强的错度稍高。护栏相对灵显性护栏护栏。活。消新研究团队2026年4月21日|数据来源: https://insidegovuk. bl0oq, go.uk/2024/01/18/the-findings-of-our-first-generative-ai-experiment-gov-uk-chat/
核心结论速览03:抑制幻觉会带来新的权衡权衡与场景组织必须处—MHRA案例表明,RAG可显着压低重理的平衡遗漏率大幻觉,但更严格的护栏也可能提高幻觉率(提高)遗漏率。(压低)一因此,'压低幻觉率’不自动等千一—提升系统有效性’,组织必须处理高风险场景低风险创意场景德氏遗漏一幻觉的平衡。高风险场景可以容忍更多拒答。低风可以容忍更多拒答可容忍更高生成自由度险创意场景则可容忍更高生成自由度。(确保准确性,避免误导)(激发创意内容丰富)@清新研究团队|2026年4月21日数掘来源: htps/ssespublishing sevice gou.uk rme da/68101680a8398380cb4ad141/AL Airlock Hallucination Simulation Report MHRA Finalv2pd
第一部分|从热词到风险对象第一部分o本部分回答三个问题,一0重点不是把幻觉神秘化○核心转向什么是幻觉·而是把它拆成可描述、可识从“模型是否聪明’转向‘输出它有哪些类型别、可治理的风险单元是否可证、是否适用于当前任务它为什么会持续发生风险单元可描述幻觉可识别模型是否聪明可治理输出是否可证、是否适用于当前任务清新研究团队|2026年4月21日
NIST如何定义”幻觉"NIST使用confabulation一词,指模型自信呈现错误或虚假的内容,也包括偏离上下文定义金字塔:提示和前后矛盾...