北大团队最新研究发现：
随机token都能诱发大模型出现幻觉！
比如喂给大模型（Vicuna-7B）一段“乱码”，它就莫名其妙弄错了历史常识。
或者是简单修改提示词，大模型也会掉入陷阱。
Baichuan2-7B、InternLM-7B、ChatGLM、Ziya-LLaMA-7B、LLaMA-7B-chat、Vicuna-7B这些热门大模型，都会出现类似情况。
这意味着，随机字符串能够操控大模型输出任意内容，为幻觉“代言”。
以上发现来自北大袁粒老师课题组的最新研究。
该研究提出：
大模型的幻觉现象极有可能是对抗样本的另一种视角。
论文在展示两种容易诱发大模型幻觉方法的同时，还提出了简单有效的防御办法，代码已开源。
两种极端模式攻击大模型
研究提出了两种幻觉攻击方法：
- 随机噪声攻击（OoD Attack）：即让无意义的随机字符串诱导大模型产生预定义的幻觉输出。
- 弱语义攻击（Weak Semantic Attack）：即保证原始 prompt 语义基本不变的情况下，使得大模型产生截然不同的幻觉输出。
随机噪声攻击（OoD Attack）：
以下为在开源大模型上的一些实验结果，更多的结果可以在论文或开源GitHub中找到。
