对于一些人来说，“黑匣子”（black box，也称黑盒子）这个词会让人想起飞机上的飞行记录器。如果发生不堪设想的事情，这些设备对事后分析很有价值。但是在人工智能（AI）领域，黑匣子也是一个重要的术语。

什么是AI黑匣子？

AI黑匣子，指的是内部运作原理对用户不可见的AI系统。人们可以向它们提供输入并获得输出，但是不能检查产生输出的系统代码或逻辑。

机器学习是AI的主要分支，它是聊天机器人ChatGPT和图像生成器DALL-E 2等生成式AI系统的基础。机器学习有三个组成部分：一个算法或一组算法、训练数据以及模型。算法是一组程序。在机器学习中，算法在接受大量示例（训练数据）的训练后学会识别模式。一旦机器学习算法被训练，成果就是一个机器学习模型。模型就是人们使用的东西。

例如，人们可以设计一个机器学习算法来识别图像中的模式，训练数据可以是狗的图像，由此产生的机器学习模型将是一个狗的识别器。你可以给它一个图像作为输入，并获得输出，判断图像中是否存在一只狗，以及图像中哪些像素组成了一只狗。

黑匣子是在“黑箱作业”

机器学习系统的三个组成部分中的任何一个都可以被隐藏起来，或者成为一个黑匣子。通常情况下，算法是公开的，所以把它放入黑匣子中的效果并不理想。因此，为了保护知识产权，AI开发者通常会将模型放入黑匣子中。软件开发者采取的另一种方法是对用于训练模型的数据进行模糊处理。换句话说，将训练数据放入黑盒子中，以防止它被泄露。

黑匣子算法让外界很难理解AI是如何工作的，但情况并非完全是这样。

黑匣子的反面有时被称为玻璃匣子（glass box，又称玻璃盒子，指的是内部运作透明）。AI玻璃匣子是一个系统，其算法、训练数据和模型对任何人都是可见的。然而，研究人员有时会将这些玻璃匣子的某些方面描述为黑匣子。

这是因为研究人员并不完全了解机器学习算法，尤其是深度学习算法是如何运作的。可解释的AI领域正在努力开发算法，虽然不一定是玻璃匣子，但可以被人类更好地理解。

黑匣子的弊端

在许多情况下，人们有充分的理由警惕黑匣子机器学习算法和模型。假设一个机器学习模型对你的健康状况做出了诊断，你想要黑匣子还是玻璃匣子呢？对于给您开具治疗方案的医生，也许她想知道模型是如何作出决策的。

如果一个决定你是否有资格从银行获得商业贷款的机器学习模型拒绝了你，该怎么办？你不想知道为什么吗？如果你知道了原因，你可以更有效地上诉决定，或者改变你的情况，以增加你下次获得贷款的机会。

黑匣子对于软件系统安全也有重要的影响。多年来，计算机领域的许多人认为，将软件保存在黑匣子中可以防止黑客检查它，因此它是安全的。这种假设在很大程度上被证明是错误的，因为黑客可以对软件进行逆向工程。也就是说，通过密切观察软件的工作原理来构建一个副本，并发现可利用的漏洞。

如果软件是在一个玻璃匣子里，那么软件测试人员和善意的黑客可以检查它，并告知创建者它的弱点，从而最大限度地减少网络攻击。