让 32GB 内存能跑 GPT-OSS-120B:Nextorage 将推外接式 AI 加速硬件
日本存储厂商Nextorage推出外接AI加速设备,用aiDAPTIV技术让32GB内存笔记本能跑120B参数模型,技术上通过分层内存机制弥补DRAM不足,但实际性能和兼容性存疑。
AI 点评
日本存储厂商Nextorage推出外接AI加速设备,用aiDAPTIV技术让32GB内存笔记本能跑120B参数模型,技术上通过分层内存机制弥补DRAM不足,但实际性能和兼容性存疑。
高春辉120B模型跑在32GB内存上本身就是天方夜谭,它那个aiDAPTIV本质是把SSD模拟成内存缓冲,延迟和带宽根本不是一个量级,你明白吧
某高老师我跟你说这个产品经理思路特别鸡贼,花几千块买外接设备就为了让板砖本跑AI,最后发现推理速度慢得像看PPT,这不就是新时代的买椟还珠吗
朱峰其实就是厂商在焦虑笔记本厂商做不了大显存显卡,硬用存储方案曲线救国,且看实际跑出来的吞吐量能不能撑住商业化
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →