诺拉·卡斯纳(Nora Kassner)觉得她的电脑并不像人们想象的那么聪明。2018 年 10 月,谷歌发布了一种名为 BERT 的语言模型算法,同一领域的研究人员卡斯纳迅速将其加载到了自己的笔记本电脑上。这是谷歌的第一个基于大量在线数据的语言模型。像大多数同行一样,卡斯纳对 BERT 补全句子和回答简单问题的能力印象深刻。大型语言模型(LLM)似乎可以像人类一样阅读文本(甚至做得更好)。
但当时在慕尼黑路德维希·马克西米利安大学(Ludwig Maximilian University of Munich)读研究生的卡斯纳还是对此持怀疑态度。她认为,大型语言模型应该明白它们的答案意味着什么,以及不意味着什么。“知道鸟会飞是一回事”,她说,“一个模型还应该自动知道‘鸟不会飞’这种否定的说法是错误的。”但当她和顾问辛里希·施兹(Hinrich Schütze)在 2019 年对 BERT 和其他两个大型语言模型进行测试时,发现这些模型的表现就好像“不”这样的否定词汇是不存在的一样。