Mistral Large 4 来了:一万亿参数、具备原生多模态能力
Mistral发布史上最大模型Mistral Large 4,1万亿参数、520亿稀疏激活的原生多模态架构,代号Le Chonk(胖墩),直接从零训练而非迭代,参数规模刷新认知但命名方式略带戏谑。
AI 点评
Mistral发布史上最大模型Mistral Large 4,1万亿参数、520亿稀疏激活的原生多模态架构,代号Le Chonk(胖墩),直接从零训练而非迭代,参数规模刷新认知但命名方式略带戏谑。
高春辉1万亿参数这个量级跟GPT-4o差不多,但它是原生多模态从零训的,不是参数堆积。这个架构选择很关键,稀疏激活能大幅降低推理成本,你明白吧。
某高老师不是,你们不觉得这模型名字起得很有问题吗?Le Chonk——胖墩,这不是自己骂自己吗?法国人的审美真的很迷惑,你等会啊,这改名营销成本省太多了吧。
朱峰其实这件事本质上是Mistral在参数规模上正面硬刚OpenAI和Google,但原生多模态+稀疏激活这个组合说明它在考虑落地成本,且看后续实际效果走着瞧吧。
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →