在机器学习领域里，有个黑匣子，研究员通常不知道模型究竟是如何运行，做出决策的。这也成为了他们一直想要弄明白的课题之一。
当地时间4月14日，非营利组织OpenAI推出了一款名为“显微镜”（Microscope）的神经元可视化工具，包含了9个当下流行的神经网络。正如它的名称一样，这套新工具可以像实验室中的显m V H |微镜一样，帮助AI研究人员更好z I k地理解拥有成千上万神经元的神经网络结构和行为。
神经元可视化
OpenAI成立于2015年底，是一个非营利的人工智能研究组织，旨在通过促进和发展友好的人工智能，而使人类整9 Z r *体受益，创始人中有硅谷“钢铁侠”马斯克。
OpenAI在自己的官方博客上称，“显微镜”对几种常见模型里每一个重要层和神经元都做了Q g S x ^ [ Y A可视化，对神经网络的可解释性进行了研究。“显微镜”让分析这些神经网络内部特征变得更加容易，也能帮助研究员朝着理解这些复杂系统的发现前进。
神经元可视化图例
据OpenAI介绍，“显微镜”的模型由神经网络层的“节点”图组成，这些e F ? M图通过“边”相互连接。每个操作包含数百个“单元”，大致类似于神经元。在机器学习X ~ M { : b J和认知科学领域，神经网络是一种模仿生物神经网络结构和功能的数学模型。神经网络由大量的人工神经元联结进行- : H u r | { P C计算。我们的神经元可以给~ K v r @一些输入，然后输出一% % K 9个结果，在机器学习中，神经元也起到相同的作用，它是一个数学函数的占位符，它的工作就是对输入使用一个函数，然后给一个输出结果。
“显微镜”包含的初始模型包括了机器学习领域里重要，且经过广泛研究的计算机视觉模型。例如，2012年ImageNet挑战赛冠军AlexNet， AlexNet在研究中被引用了5万次以上；还有2014年ImageNet赢家Q Q ] W P 9 `GoogleNet，以及ResN5 O 7et v2。OpenAI表示每种模型的可视化都带有一些场景，并且图像在OpenAI Lucid库中可用，也可以在Creative CommonsX & 0授权许可下重复使用。
“我们希望任何想知道神经网络如何运行的人，都可以使用这个工具。这个工具的主要价值在于可以提供持久的共享R s M K ) V H @成果，从而促进对这些模型的研究。我们还希望有相关专业知识的研究人员，例如? L a J ! & 0 u神经科学家能够轻松使用这些模型，同时还能从模型中找到价值。”OpenAI称。
除了“显微镜”的神经元可视化外，近年来5 Q 5，机器学习领域里也有人试图将机器学习模型的活动可视化。Facebook在去年秋天推出了Captu| B e # _ y E Qm，使用可视化技术来解释机器学习模型做出的决策。2019年3月，OpenAI和Google还发布了激活地图集技术，将机器学习算法做出的决策进行了可视化。