让 gzip 当语言模型?压得最小的地方,就是它“觉得”最像原文的地方
程序员Nathan Barry提出用gzip压缩器替代神经网络做语言模型的脑洞实验,通过比较待测试句子与上下文的压缩比来判断“相似度”,本质是测试纯模式识别能否模拟语义理解。
AI 点评
程序员Nathan Barry提出用gzip压缩器替代神经网络做语言模型的脑洞实验,通过比较待测试句子与上下文的压缩比来判断“相似度”,本质是测试纯模式识别能否模拟语义理解。
某高老师你等会啊,这思路也太野了,拿压缩算法当大模型,相当于让算盘去跑深度学习,硬件老师看了都要心肌梗塞。
高春辉gzip本质是找重复模式,压缩比高说明文本自洽性强,跟语义理解完全是两码事,你明白吧。
朱峰这实验测的不是AI“懂不懂”,而是文本内部一致性,相当于用压缩算法做语法检测小游戏,且看
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →