机器之心发布
作者：葛云皓
本文提出了一个视觉推理解释框架(VRX:VisualReasoningeXplanation),将人们容易理解的、high-level的结构化的视觉概念作为「语言」，通过回答为什么是A，为什么不是B解释神经网络的推理逻辑。VRX还可以利用解释对网络进行诊断，进一步提升原网络的性能。
本文主要介绍了被CVPR录用的文章《APeekIntotheReasoningofNeuralNetworks:InterpretingwithStructuralVisualConcepts》。这项工作对神经网络推理逻辑的可解释性进行了探究：区分于大多数现有xAI方法通过可视化输入图像和输出结果之间的相关性对网络进行解释，该研究提出用结构化的视觉概念(StructuralVisualConcept)对神经网络决策背后的推理逻辑和因果关系进行解释，通过解答网络决策中「为什么是A？为什么不是B？」的问题，用人们更容易理解的high-level视觉概念和视觉概念之间的结构和空间关系解释神经网络的推理逻辑，并将其作为一种直接指导来提升被解释网络的性能。
下图概括了这篇文章要做的任务：为了解释原网络决策背后的推理逻辑，该研究回答了如下问题：为什么是消防车？为什么不是救护车？又为什么不是校车？该研究用结构化的视觉概念图(StructuralConceptGraph)作为解释的语言，其中概念图的节点(node)代表视觉概念(visualconcept)，边(edge)代表视觉概念之间的结构和空间关系，点和边的颜色代表其对该类最终决策的贡献度（冷色：正向或暖色：负向）：（1）为什么是消防车？从视觉概念角度，所有检测到的四个与消防车最相关的视觉概念（保险杠，消防车头，车轮，救援架）都对最终消防车的决策有正向贡献；从视觉概念的空间结构关系角度，四个概念之间的空间关系也都对决策有正向贡献，这说明视觉概念和他们之间的关系都像一辆消防车。（2）为什么不是校车？从视觉概念角度：从图中检测到的与校车视觉概念最接近的四个部分及其相关结构和空间关系都对校车的决策起到负向贡献（否定该图是校车的决策）尤其是概念1和概念2，与真正的校车概念最不相符。（3）为什么不是救护车？也同样可以得到相似的人们容易理解的，逻辑上的，视觉概念角度的解释。
下面将详细介绍工作的具体内容。
研究动机
在深度学习日益蓬勃发展的今天，深度神经网络不透明的决策导致的安全事故和隐患也越来越多，神经网络的可解释性对于人们如何更加信任、安全、可靠的使用他们至关重要。近年来有越来越多
