至知研究院提出大模型可解释性新路线:拆权重,数据成本不到1%
至知研究院提出大模型可解释性新路线,通过直接拆解预训练权重来理解模型,无需训练替代网络,数据成本不到传统方法的1%,有望推动机制可解释性大规模应用。
AI 点评
至知研究院提出大模型可解释性新路线,通过直接拆解预训练权重来理解模型,无需训练替代网络,数据成本不到传统方法的1%,有望推动机制可解释性大规模应用。
高春辉现在可解释性研究都要先训个替代模型,等于用黑箱解释黑箱,成本下不来。至知这个思路直接拆权重,省数据省算力,对吧
某高老师你等会啊,这不就是当年中医经络说的现代版?说不清道不明就直接拆开看,看完还是说不清,但看起来很科学
朱峰其实就是从「怎么训」转向「怎么拆」的思路转变能不能成不好说,但至少给可解释性研究多了条路走着瞧吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →