OpenAI推新工具，可解释机器学习模型中神经元如何运行

在机器学习领域里，有个黑匣子，研究员通常不知道模型究竟是如何运行，做出决策的。这也成为了他们一直想要弄明白的课题之一。

当地时间4月14日，非营利组织OpenAI推出了一款名为“显微镜”（Microscope）的神经元可视化工具，包含了9个当下流行的神经网络。正如它的名称一样，这套新工具可以像实验室中的显m V H |微镜一样，帮助AI研究人员更好z I k地理解拥有成千上万神经元的神经网络结构和行为。

神经元可视化

OpenAI成立于2015年底，是一个非营利的人工智能研究组织，旨在通过促进和发展友好的人工智能，而使人类整9 Z r *体受益，创始人中有硅谷“钢铁侠”马斯克。

OpenAI在自己的官方博客上称，“显微镜”对几种常见模型里每一个重要层和神经元都做了Q g S x ^ W P 9 `GoogleNet，以及ResN5 O 7et v2。OpenAI表示每种模型的可视化都带有一些场景，并且图像在OpenAI Lucid库中可用，也可以在Creative CommonsX & 0授权许可下重复使用。

“我们希望任何想知道神经网络如何运行的人，都可以使用这个工具。这个工具的主要价值在于可以提供持久的共享R s M K ) V H @成果，从而促进对这些模型的研究。我们还希望有相关专业知识的研究人员，例如? L a J ! & 0 u神经科学家能够轻松使用这些模型，同时还能从模型中找到价值。”OpenAI称。

除了“显微镜”的神经元可视化外，近年来5 Q 5，机器学习领域里也有人试图将机器学习模型的活动可视化。Facebook在去年秋天推出了Captu| B e # _ y E Qm，使用可视化技术来解释机器学习模型做出的决策。2019年3月，OpenAI和Google还发布了激活地图集技术，将机器学习算法做出的决策进行了可视化。