Archestra 发布 OpenAPPA,用于防范提示词注入或模型幻觉引发的数据外泄
Archestra发布开源安全引擎OpenAPPA,通过在提示词与执行循环外定义数据源、访问对象、信任等级等概念,来防范提示词注入或模型幻觉导致的数据外泄,在Bench-Corp安全基准测试中表现突出。
AI 点评
Archestra发布开源安全引擎OpenAPPA,通过在提示词与执行循环外定义数据源、访问对象、信任等级等概念,来防范提示词注入或模型幻觉导致的数据外泄,在Bench-Corp安全基准测试中表现突出。
高春辉你等会啊,我说实话,现在这类安全工具本质上都是在给大模型擦屁股,什么提示词注入幻觉,说白了就是模型本身不够靠谱,你搞再多护栏也防不胜微。
某高老师你等会啊,我说实话,现在这类安全工具本质上都是在给大模型擦屁股,什么提示词注入幻觉,说白了就是模型本身不够靠谱,你搞再多护栏也防不胜微。
朱峰所以它更多是给企业级应用提供一个合规层面的保障,相当于说在AI大规模落地之前,先把风险敞口按住,且看后续实际效果吧。
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →