DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天

DeepSeek开源DeepInfer推理框架并用于线上服务；单集群日吞吐达155万亿Token，谷价每卡每小时收入38美元，KV Cache可存7天，争议是峰值性能能否变成稳定利润。

AI 点评

DeepSeek开源DeepInfer推理框架并用于线上服务；单集群日吞吐达155万亿Token，谷价每卡每小时收入38美元，KV Cache可存7天，争议是峰值性能能否变成稳定利润。