[飞桨多模态大模型套件PaddleMIX开发大赛] rfc: 缓解多模态大模型的幻觉问题

paddlemix/datacopilot/example/Single_Sample_Hallucination_Mitigation_RFC.md

@@ -0,0 +1,63 @@
+### 标题:  
+"缓解多模态大模型的幻觉问题：单样本响应验证的精细化方法"
+
+---
+
+### 引言:  
+本RFC提出了一种方法，旨在解决PaddleMIX多模态模型在单样本响应中出现的幻觉问题。该方案借鉴了 [CVPR 2024 Highlight论文](https://arxiv.org/abs/2311.17911) 中OPERA框架的核心思想，通过引入“过度信任惩罚机制”（Over-Trust Penalty, OTP）和“回溯-重分配策略”（Retrospection-Allocation Strategy, RAS），在无需额外训练成本的情况下，提高模型输出的可靠性。
+
+---
+
+### 问题描述:  
+多模态模型经常生成与输入不一致的幻觉内容，影响模型输出的可信度。单样本场景尤其明显，因为其响应需独立评估。
+
+---
+
+### 解决方案:  
+GitHub项目地址: [https://github.com/shikiw/OPERA](https://github.com/shikiw/OPERA)  
+将OPERA的解码技术适配到单样本场景，核心方法包括：  
+1. **过度信任惩罚（OTP）：** 在解码过程中调整令牌选择，惩罚对非信息性总结令牌的过度依赖。  
+2. **回溯-重分配策略（RAS）：** 在检测到幻觉模式时，通过回溯机制重新评估并分配令牌选择。  
+
+---
+
+### 方法论:  
+
+1. **数据集：**  
+   使用`llava_v1_5_mix665k`数据集进行验证，重点研究易出现幻觉的图文对。  
+
+2. **令牌选择调整：**  
+   - 在束搜索解码期间，分析自注意力图以识别过度信任模式。  
+   - 应用OTP，降低对总结令牌的强依赖性。  
+
+3. **幻觉检测与回溯：**  
+   - 监控解码序列中的列聚合现象（columnar aggregation）。  
+   - 当聚合超出阈值时，触发RAS重新选择令牌。  
+
+4. **评估指标：**  
+   - 使用CHAIR和GPT辅助评估对句子级和单词级幻觉的分析。  
+   - 指标包括：句子级幻觉比例、CHAIR分数改进和文本流畅度评分。  
+
+5. **实施计划：**  
+   - 将OTP和RAS集成到PaddleMIX的解码管道中。  
+   - 开发可视化自注意力模式和追踪回溯事件的模块化工具。  
+
+6. **交付内容：**  
+   - 代码库更新：包括OTP和RAS模块及单元测试。  
+   - 文档更新：算法解释及使用指南。  
+
+---
+
+### 优势:  
+1. **成本效益：** 无需额外数据或重新训练即可缓解幻觉问题。  
+2. **通用性：** 可适配不同的数据集和模态。  
+3. **可靠性：** 提升模型输出的可信度，增强用户信任。  
+
+---
+
+### 征求反馈：  
+1. 对OTP权重和回溯阈值的优化建议。  
+2. 关于将该策略扩展至多样本或批量场景的意见。  
+3. 推荐更多评估指标或基准。  
+
+---