OpenAI 在4月19日上传了一篇新工作到 arXiv，文中提出的方法主要用于提升 LLMs 对于各类攻击的抵抗能力

chatgpt中文网2024-04-26205

欢迎访问chatgpt中文教程网，学习chatgpt相关知识，以下是正文内容：

镜子近期关注到 OpenAI 在4月19日上传了一篇新工作到 arXiv，文中提出的方法主要用于提升 LLMs 对于各类攻击的抵抗能力。

Attacks on LLMs

面向深度神经网络模型的对抗样本一直是一个很重要的研究领域，对抗样本可以让 LLM 做出很多违背我们原始意愿的行为，下面是一个基于 LLM 的邮件助手被攻击的例子：

通过例子我们可以看到，攻击者通过指令注入的形式，让 AI 助手将用户的邮件发送给了指定邮箱。

OpenAI 的研究者将基于 LLM 的产品使用总结分为三种情形：

而攻击的底层逻辑往往是在以上三方之间引入冲突（conflicts），比如产品用户输入的指令要求覆盖应用构建者的原始指令。

常见攻击形式可以概括为如下三类：

提示注入（Prompt Injections）：这种攻击的目标不是 LLM 本身，而是基于 LLM 构建的应用（比如邮件助手的例子），因为基于 LLM 构建的应用往往需要给 LLM 一定的权限，使它可以访问重要的数据或执行现实世界的操作
越狱（Jailbreaks）：这种攻击形式主要针对的是 LLM，让其脱离原本在训练中学到的安全行为，但并不一定与应用指令冲突。下面的例子是当 LLM 作为有帮助且无害的聊天助手应用时，攻击者让模型“帮助”他给奥巴马写钓鱼邮件（写钓鱼邮件这个行为往往会在训练阶段就被对齐抑制掉）：
系统消息提取（System Message Extraction）：应用构建者通过 System Message 来定义应用的行为和逻辑，这部分内容有可能具备很高的商业价值或携带隐私信息（如帐号密码）：

LLM 应用的行为可以被类比成操作系统，执行指令、决定控制流程、处理数据存储。代入这样的视角我们可以发现，当下的 LLM 应用里，每条指令都相当于是在内核态运行的，不受信任的第三方可以运行任意代码并访问私有数据和功能。很自然地，解决方案也可以参考操作系统，对权限进行层级划分。

本文将不同类型的信息分成了四个等级：

当低等级指令与高等级指令具有相同的约束、规则或目标，则称该指令与高级指令是一致的（aligned），应当被模型遵循。反之，不一致的（misaligned）指令则应该被模型忽略或拒绝。

本文主要通过合成数据和上下文蒸馏（Context Distillation）手段来引入这种权限层级：

上下文合成：对于一致的命令，将一条组合指令拆成更小的指令，比如将“用西班牙语写一首20行的诗”，拆成“写一首诗”、“用20行”、“用西班牙语回答”，然后给子命令分配不同的权限等级，用这样的输入来预测原本的正确回答
上下文忽略：对于不一致的命令，则会用将低等级指令删去后的内容让模型生成标注，以新生成的内容作为标注，简单来说，就是让模型学会忽略低等级指令

在进行训练数据生成时，作者仔细地注意了数据的平衡性，以避免触发模型的过度拒绝行为（比如忽略所有的低等级指令，而不管它是否是一致的）

从最终结果显示，指令权限层级化可以有效提升 LLM 对于攻击的鲁棒性：