字节 Seed 团队发现 DeepSeek-V4 长上下文性能漂移原因
字节 Seed 团队指出分块 KV 缓存压缩引入的 Token 相位敏感性是 DeepSeek“抽风”主因。该研究评估了 DeepSeek-V4-Flash、V4-Pro 及 V4.1-Flash,发现相同信息在不同相位检索难度差异显著。此类大型开放权重模型长上下文检索准确度在各阶段间相差高达 40 个百分点,平均基准分数可能掩盖周期性弱点。
字节 Seed 团队指出分块 KV 缓存压缩引入的 Token 相位敏感性是 DeepSeek“抽风”主因。该研究评估了 DeepSeek-V4-Flash、V4-Pro 及 V4.1-Flash,发现相同信息在不同相位检索难度差异显著。此类大型开放权重模型长上下文检索准确度在各阶段间相差高达 40 个百分点,平均基准分数可能掩盖周期性弱点。
智能体读取多于写入,因此DeepSeek缩减了其记忆内容。请阅读本周《The Batch》中的技术解析。每 token 890 字节缓存,比 DeepSeek-V1 小 437 倍;输入从 4K 到 1M,每输出 token 计算量增加 25%;Flash 胜出
SemiAnalysis 发布报告深入分析 Engram 模型架构及其参数卸载策略,指出该设计允许将嵌入表从 HBM 移至主机 DRAM 或 SSD,从而释放显存用于 KV cache 并降低硬件需求。
Ai2 发布 TutorMoments 框架,利用 462 份真实数学辅导记录测试 LLM 能否平衡“提供支架”与“推动深度思考”。初步结果显示,模型在仅被告知“好好辅导”时倾向于过度帮助,明确提示权衡策略虽能提升表现,但仍难达到人类导师的精准判断水平。