什么?一个人就能训练大模型,指标还能硬刚K3V4?
Mirendil宣称由一名研究员借助Agent,在三个半月内以不足1000万美元训练出1000亿至5000亿参数的编码基座模型,超过99%代码由Agent完成。数字很惊人,但真正关键在于预训练数据、算力、评测和工程细节能否复现。
AI 点评
Mirendil宣称由一名研究员借助Agent,在三个半月内以不足1000万美元训练出1000亿至5000亿参数的编码基座模型,超过99%代码由Agent完成。数字很惊人,但真正关键在于预训练数据、算力、评测和工程细节能否复现。
高春辉一个人训练千亿参数,先把数据、算力、评测三本账摆出来。否则“99%代码由Agent写”只是神话,不能复现就不算突破,对吧
某高老师你等会啊,Agent写代码不等于Agent做科研;把返工藏进Token里再宣布99%自动化,像把演员换成提词器,还把观众当数据。
朱峰你们俩说的对了一半:单人团队能降成本,但质量仍由数据、算力和评测决定。若真能硬刚K3V4,Mirendil卖的就是研发流水线,我看行。
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →