关于我们

尽管现有的机器学习模型已经取得了巨大的前进，但惋惜的是，一切的模型不过是对数据的精确曲线拟合。从这一点而言，现有的模型仅仅在上一代的基础上提升了性能，在底子的思维方面没有任何前进。那么，怎样才能推动AI社区处理这一问题呢

在观看下面这则短视频的时候，你能够揣度出不同元素之间的因果关系。例如，看见球棒和棒球选手的手臂一起移动，你就知道是选手的手臂运动带动了球棒的运动。并且你还知道这一棒打下去，球的运动方向会当即改变。

同理，你还能够进行一些反现实推理，例如，如果球飞的稍微高一点，并且球棒没有击中球，会怎样。



这类的推理关于人类来说都是很自然的工作。咱们很小就学会了这样的推理，不需求任何人的指导，只需求经过调查国际就能掌握。尽管机器学习算法能够在象棋等杂乱的使命中打败人类，但因果关系对它们来说仍然是一个大难题。机器学习算法，尤其是深度神经网络十分拿手经过很多数据找出不易发觉的办法。它们能够实时将音频转成文本，每秒标记不计其数的图画与视频画面，并且还能够经过X射线和 MRI 扫描查看是否存在癌症的印象办法。可是它们却很难履行简略的因果推理，就像咱们上面看到的棒球视频。

Max Planck 智能体系研究所、蒙特利尔学习算法研究所和 Google 研究所的的工作人员在题为《Towards Causal Representation Learning》的论文中，讨论了机器学习模型由于缺少因果表明而引发的难题，他们还为创立能够学习因果表明的人工智能体系指明了方向。

这是研究人员为探索和处理机器学习缺少因果关系问题而做出的多项尽力之一，现在这个问题已成为克服该范畴一些重要挑战的要害。



独立同散布数据 
  

为什么机器学习模型无法推广到其狭窄的范畴和练习数据之外？

因果表明论文的作者表明：“机器学习通常会疏忽动物很多运用的信息：对这个国际的干涉、范畴的搬运、时刻的结构，总的来说，咱们以为这些要素很麻烦，咱们希望能对其加以改造。因而，机器学习当时的大部分成功都源自对收集到的独立同散布数据进行的大规模辨认。”

独立同散布（independent and identically distributed，简称 i.i.d.）数据是机器学习中常常运用的术语。它假定问题空间中的随机观测之间不相互依赖，并且发生频率是恒定的。举个最简略的比方，掷硬币或掷骰子。每一次投掷的成果都与前面的投掷没有关系，并且每种成果的发生概率保持不变。

当涉及到更杂乱的范畴（比方核算机视觉）时，机器学习工程师会经过在很多的示例语料库上练习模型，测验将问题转化成某个独立同散布的范畴。他们假定，如果示例十分充沛，那么机器学习模型就能够将问题的大致散布编码成参数。但在现实国际中，这些散布常常由于练习数据中没有考虑到或无法控制的要素而发生改变。例如卷积神经网络，即便经过了数百万个图画的练习，但在遇到光照条件发生改变、稍微调整视点或在不同的布景下才能看到的物体时，就可能失利。



为了处理这些问题，研究人员所做出的尽力首要仍是在更多示例中练习机器学习模型。可是跟着环境变得越来越杂乱，经过增加更多练习数据的办法来覆盖整个散布是底子不行能的。在 AI 智能体必须与国际交互的范畴（例如机器人和自动驾驶轿车）尤其如此。由于缺少对因果管理的理解，机器学习算法很难做出猜测，并应对新状况。这就是为什么即使无人驾驶轿车经过了数百万英里的练习，仍然会呈现一些奇怪的过错。

AI 研究人员表明：“为了精确地概括独立同散布，机器学习算法不只需求学习变量之间的核算关系，并且还需求学习潜在的因果模型。”

人类能够经过因果模型将曾经取得的知识应用到新范畴。举个比方，在你玩《魔兽》之类的即时战略游戏时，能够将所学的知识快速应用到其他相似的游戏，比方《星际争霸》和《帝国时代》等。可是，机器学习算法中的迁移学习仅适用于十分外表的状况，比方微调图画分类器以检测新型对象。在学习视频游戏之类更杂乱的使命中，机器学习模型需求很多的练习（需求玩数千年的游戏），并且一旦环境呈现细微的改变（比方遇到新地图或规矩稍作改动），响应就会出问题。

因果机器学习论文的作者写道：“因果模型只需更少的样本就能适应环境，由于绝大多数知识（即模块）都无需重新练习就能够重用。”



因果学习


既然咱们已经知道独立同散布存在弱点，为什么还要经过这种办法练习机器学习呢？完全依据调查的办法具有可扩展性。你能够经过增加更多的练习数据继续进步精确性，并且能够经过增加更多核算才能的办法来加快练习过程。现实上，近年来深度学习成功背面的要害要素之一就是更多的数据和更强壮的处理器。

此外，依据独立同散布的模型也易于评估，你能够在取得大型数据集后，将其分为练习集和测验集，依据练习数据调整模型，并使用测验集来衡量精确性。你能够继续练习，直到达到所需的精确性。许多公共数据集都供给此类的基准，比方 ImageNet、CIFAR-10 和 MNIST。还有一些特定的数据集，比方专用于covid-19 确诊的数据集 COVIDx，威斯康星州乳腺癌确诊数据集。在上述一切状况下，咱们面对的挑战都是相同的，即开发一种能够依据核算规则猜测成果的机器学习模型。

可是，正如 AI 研究人员在论文中调查到的那样，精确的猜测通常缺少以为决策供给依据。例如，在新冠疫情期间，许多机器学习体系都呈现了问题，由于它们是依据核算规则练习而成的，而不是因果关系。一旦生命办法发生改变，模型的精确性就会下降。

因果模型在面对问题的核算散布被干涉要素改变的状况时仍然很健壮。例如，当第一次看到某个物体时，你的思维会下意识地排除外观中的光线要素，这就是为什么在不同的光照条件下看到该物体时，你仍然能够辨认出来。

此外，因果模型还能够让咱们应对曾经从未见过的状况，并进行反现实推理。咱们无需开着车冲出山崖就知道后果是什么。反现实推理能够大幅削减机器学习模型所需的练习示例。

因果关系关于应对对抗性进犯也很重要，这儿的对抗性进犯指的是经过一些奇妙的操作，迫使机器学习体系发生意外。“这些进犯打破了依据核算的机器学习做出的假定，即独立同散布的数据。”该论文的作者表明，对抗性漏洞证明了人类的智力水平与机器学习算法的健壮性机制之间的差异。研究人员还提出，因果关系是防御对抗性进犯的一种措施。



从广义上讲，因果关系能够处理机器学习缺少通用性的问题。研究人员表明：“能够说，当时的大多数做法（处理独立同散布的基准问题）和大多数理论成果（关于独立同散布设置中的泛化）都无法处理各个问题之间的泛化。”



在机器学习中加入因果关系
AI 研究人员在论文中介绍了一些关于创立因果机器学习模型必不行少的概念和准则。 

其中包含如下两个概念：“结构因果模型”和“独立因果机制”。该准则指出，AI体系不应该寻觅外表化的核算相关性，而是应该寻觅因果变量，并将它们对环境的影响分开。

无论视角、布景、光线和其他噪声如何，这种机制都能够检测到不同的物体。这些因果变量之间的分离能够使AI体系在应对不行猜测的改变和干涉时愈加强壮。因而，因果AI模型不需求巨大的练习数据集。

因果机器学习论文的作者表明：“无论是经过外部的人类知识，仍是经过学习取得因果关系，一旦建立因果模型，因果推理就能够在干涉、反现实和潜在成果之上得出结论。”

此外，作者还探讨了如何将这些概念应用到机器学习的不同分支，包含强化学习（强化学习关于智能体探索环境并经过反复试验发现处理计划的问题至关重要）。因果结构能够进步强化学习的功率，由于机器学习模型能够从练习开端就做出良好的决议，避免采纳一些随机且不合理的行动。

关于如何构建结合了机器学习机制与结构因果模型的 AI 体系，研究人员供给了一些设想：“为了结合结构因果模型与表明学习，咱们应该尽力将 SCM 嵌入到更大的机器学习模型中，这些模型的输入和输出是高维非结构化的，可是部分内部运作可由 SCM 控制（能够经过神经网络设置成参数）。这样就能够得到模块化的体系结构，并且不同的模块能够别离进行微调，然后应用到新使命。”

这些概念能够让咱们的模型更接近人类思维的办法，实现相似于人类思维在大脑的不同区域和范畴之间重用知识和技术的作用。



可是，咱们需求注意，该论文中提出的想法目前仅限于概念。正如作者所说，这些概念的实现面对以下几个首要的挑战：

在许多状况下，咱们需求依据底层输入的特征揣度笼统的因果变量；

经过数据的哪些方面挖掘因果关系尚无结论；

惯例的练习集和测验集试验计划缺少以揣度和评估现有数据集的因果关系，并且咱们需求创立新的基准，例如考虑了环境信息和干涉等要素的基准；

即使仅限于咱们所了解的少数状况，咱们也常常缺少可扩展且能够用数学证明的算法。

可是，该论文的研究人员从该范畴的其他工作中汲取了创意。该论文引证了图灵奖获奖者 Judea Pearl 的《causal inference》。一起，该论文的作者之一 Yoshua Bengio 也是图灵奖获奖者。

该论文的部分思维与 Gary Marcus 提出的混合 AI 模型（行将符号体系的推理才能与神经网络的办法辨认才能结合在一起）不谋而合。不过，该论文并没有直接引证混合体系。

此外，该论文与 NeurIPS 2019 AI 大会上 Bengio 发表的讲演《system 2 deep learning》中提出的概念相吻合。该讲演背面的思维是创立一种能够从数据中学习更高表明的神经网络体系结构。更高的表明关于因果关系、推理和迁移学习都很重要。

尽管目前尚不清楚以上几种办法中的哪一种有助于处理机器学习的因果关系问题，但不同思维门户的会聚与磕碰一定能发生不一样的火花。

“从本质上讲，办法辨认仅仅数学的笼统，而因果关系关于大多数办法的动态学习来说都是必不行少的。到目前为止，机器学习一直在疏忽因果关系的完好整合，而这篇论文则以为因果关系概念的整合能够让咱们收获颇丰。”