微软以预览版形式在 Azure AI Content Safety 中推出 Groundedness Detection 工具用于“纠正”AI 幻觉。在人工智能领域,AI 幻觉是含有虚假或误导性资讯的回应,其输出可能看似正确实际错误。
Groundedness Detection 类似于谷歌在 Vertex AI 中推出的 Google Search Grounding,主要对比 AI 输出内容和源文件以识别无证据或幻觉内容,但不能保证完全准确,只能提高生成内容与源材料的一致性。
当系统检测到支持不足的句子时,会触发小模型修正请求,该模型根据基础文档评估句子,若句子不包含相关信息会被过滤掉,对于有部分相关内容的句子则进行改写以匹配源材料。