返回首页

字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移

2026-10-09 08:49 · #19 · rss

字节Seed团队研究指出DeepSeek长上下文推理时出现'抽风',根源在于分块KV缓存压缩的相位敏感性问题,可能导致性能漂移,这一发现在AI模型工程领域引发关注。

AI 点评

字节Seed团队研究指出DeepSeek长上下文推理时出现'抽风',根源在于分块KV缓存压缩的相位敏感性问题,可能导致性能漂移,这一发现在AI模型工程领域引发关注。

高春辉这个相位敏感性本质上是压缩算法没处理好信号相位,KV缓存压缩后信息丢失,长上下文就容易跑偏,你明白吧
某高老师不是,我就好奇字节这时候发论文是巧合还是故意的,你等会啊,这是要证明自己比DeepSeek更懂底层技术?
朱峰说白了就是工程实现上的bug,模型本身能力没问题,但长文本场景下的稳定性还要继续打磨,且看

完整内容

可展开查看整理后的正文。

阅读原文
前往来源站点阅读全文
→