北京时间5月29日消息，对于一些人来说，“黑匣子”(black box，也称黑盒子)这个词会让人想起飞机上的飞行记录器。如果发生不堪设想的事情，这些设备对事后分析很有价值。但是在人工智能(AI)领域，黑匣子也是一个重要的术语。
什么是AI黑匣子？
AI黑匣子，指的是内部运作原理对用户不可见的AI系统。人们可以向它们提供输入并获得输出，但是不能检查产生输出的系统代码或逻辑。
机器学习是AI的主要分支，它是聊天机器人ChatGPT和图像生成器DALL-E 2等生成式AI系统的基础。机器学习有三个组成部分：一个算法或一组算法、训练数据以及模型。算法是一组程序。在机器学习中，算法在接受大量示例(训练数据)的训练后学会识别模式。一旦机器学习算法被训练，成果就是一个机器学习模型。模型就是人们使用的东西。
例如，人们可以设计一个机器学习算法来识别图像中的模式，训练数据可以是狗的图像，由此产生的机器学习模型将是一个狗的识别器。你可以给它一个图像作为输入，并获得输出，判断图像中是否存在一只狗，以及图像中哪些像素组成了一只狗。
机器学习系统的三个组成部分中的任何一个都可以被隐藏起来，或者成为一个黑匣子。通常情况下，算法是公开的，所以把它放入黑匣子中的效果并不理想。因此，为了保护知识产权，AI开发者通常会将模型放入黑匣子中。软件开发者采取的另一种方法是对用于训练模型的数据进行模糊处理。换句话说，将训练数据放入黑盒子中，以防止它被泄露。
黑匣子算法让外界很难理解AI是如何工作的，但情况并非完全是这样。
黑匣子的反面有时被称为玻璃匣子(glass box，又称玻璃盒子，指的是内部运作透明)。AI玻璃匣子是一个系统，其算法、训练数据和模型对任何人都是可见的。然而，研究人员有时会将这些玻璃匣子的某些方面描述为黑匣子。
这是因为研究人员并不完全了解机器学习算法，尤其是深度学习算法是如何运作的。可解释的AI领域正在努力开发算法，虽然不一定是玻璃匣子，但可以被人类更好地理解。
