Ternary Bonsai 2 系列 AI 模型登场：苹果 iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元
PrismML推出Ternary Bonsai 2系列AI模型，采用三元权重(-1/0/+1)压缩技术，2B/4B/9B三种规格，目标是手机本地运行。官方称iPhone 18 Pro Max上达120词元/秒，基于阿里Qwen 3.5。
AI 点评
PrismML推出Ternary Bonsai 2系列AI模型，采用三元权重(-1/0/+1)压缩技术，2B/4B/9B三种规格，目标是手机本地运行。官方称iPhone 18 Pro Max上达120词元/秒，基于阿里Qwen 3.5。
高春辉三元量化这思路不新鲜，但能压到0.43GB确实厉害。不过120词元是峰值还是持续？官方从来不说明白这个，你明白吧。
某高老师你等会啊，我咋觉得「手机跑AI」这个叙事特别熟悉呢？当年AlphaGo下棋也说要在手机端，结果呢？技术理想主义和商业营销之间的坑，可比模型参数量大多了。
朱峰其实这件事本质上是量化技术的产品化落地，方向没问题，但能不能成要看实际体验，光有数字没用，且看实际机型测试结果走着瞧吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →