Claude 处理 200k 上下文时的信息召回率实测

人工智能

Claude长文档信息召回率显著偏低,尤其中间区域:首尾标记召回率超96%,而第100K处仅32.2%;MRCR v2 @1M得分从78.3%降至32.2%;真实论文温度提取准确率41.5%;DeepSeek中段召回率89.1%远超Claude的53.7%;分段调用可使中段召回率提升至76.9%。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您向Claude提交一份接近200K token长度的文档并要求其检索特定信息,则实际召回效果可能显著低于预期。以下是基于多轮独立实测得出的信息召回率表现:

一、文档位置对召回率的影响

模型对不同位置信息的记忆强度存在系统性差异,开头与结尾部分保留更完整,中间区域出现明显衰减。该现象在90K token后加速显现,构成召回率下降的主要结构性原因。

1、将标记语句“START-TEST”置于文档首段,“END-TEST”置于末段,“MID-TEST”置于约第100K token处。

2、分别发起三次查询,要求模型仅输出对应标记字符串。

3、在200K上下文测试中,“START-TEST”与“END-TEST”的召回成功率为98.7%和96.4%,而“MID-TEST”仅为32.2%

二、不同模型版本的MRCR v2 @1M基准对比

MRCR v2(Multi-Range Context Recall)是专为长上下文设计的召回率评估协议,@1M表示在百万token输入下对跨段落关键事实的精确复现能力。该指标直接反映模型对中间区域信息的保真度。

1、Claude Opus 4.6在MRCR v2 @1M测试中得分为78.3%。

2、Claude Opus 4.7主动将该指标降至32.2%,降幅达46个百分点。

3、该调整伴随SWE-bench Verified编程任务得分从80.8%升至87.6%,表明资源分配策略发生明确偏移。

三、真实用户场景下的分段召回实测

在专业文档处理任务中,用户常依赖模型定位分散在长文本中的数值、日期或引用编号。实测采用100份含交叉索引的学术论文PDF(平均长度185K token),统一提取“方法章节中首次提及的实验温度值”。

1、使用Claude 3 Opus API提交整篇PDF,不作任何分段提示。

Videoleap

Videoleap是一个一体化的视频编辑平台

下载

2、人工核验全部100次响应,统计正确提取温度数值的次数。

3、最终召回准确率为41.5%,其中73%的错误源于模型将其他章节中相近数值误判为目标值。

四、Engram架构对比测试中的关键差异

在相同A100集群硬件条件下,搭载Engram架构的DeepSeek模型与Claude 3 Opus同步执行500K token学术论文摘要生成任务,重点监测关键数据点(如样本量、p值、年份)的跨段落一致性保持能力。

1、DeepSeek模型对分布于文档第50K–150K区间的关键数据点召回率为89.1%。

2、Claude 3 Opus在同一区间的数据点召回率为53.7%

3、二者在首段(0–20K)与末段(480K–500K)的召回率差距不足4%,差异集中于中段区域。

五、API调用粒度对召回稳定性的干扰

Claude官方API未公开上下文切片机制,但实测发现连续多次小批量请求比单次大容量请求更能维持中段信息稳定性。该现象与内部动态token重分配策略相关,而非简单缓存失效。

1、将同一份192K token文档按每64K切分为三段,分别调用API提取“结论段落核心主张”。

2、合并三次响应后人工去重与逻辑校验,得到完整主张集合。

3、该方式下中段主张召回率达76.9%,较单次全量提交提升35.4个百分点。

本文地址:https://www.vszh.cn/article/1424486.html

如非特殊说明,本站内容均来自于网友自主分享,如有任何问题均请联系我们进行处理!

猜您喜欢