Google的ML-fairness-gym可让研究人员研究AI决策的长期影响

 
要确定一个AI系统是否在其预测中保持公平，就需要了解模型的短期和长期影响，这可能是由于许多静态数据集的误差指标存在差异而引起的。在某些情况下，除了上述错误指标外，还必须考虑AI系统的运行环境，这就是Google研究人员开发ML-fairness-gym的原因，该组件是用于评估模拟社交环境中算法公平性的一组组件。
ML-fairness-gym于本周在Github上以开源形式发布，旨在通过使用OpenAI的Gym框架模拟决策来研究自动化系统的长期效果。由AI控制的座席会与数字环境循环互动，并且在每个步骤中，座席都会选择一个会影响环境状态的动作。然后，环境会揭示一个观察结果，代理会使用该观察结果来通知其下一步操作，以便该环境对问题的系统和动态进行建模，并将观察结果用作数据。
例如，考虑到经典的借贷问题，其中各组申请人偿还银行贷款的概率是其信用评分的函数，则银行充当代理并以环境形式接收申请人，其评分和成员身份观察。它做出一个决定(接受或拒绝贷款)，并且环境模拟申请人是否成功还款或违约，并相应地调整其信用评分。整个过程中，ML-fairness-gym都会模拟结果，以便可以评估银行政策对申请人的公平性的影响。
ML-fairness-gym以这种方式巧妙地避免了静态数据集分析的陷阱。如果经典公平性评估中的测试集(即用于评估模型性能的语料库)是从现有系统中生成的，则它们可能是不完整的或反映了那些系统固有的偏差。此外，由AI系统的输出告知的动作可能会影响其未来的输入。
Google Research软件工程师写道：“我们创建了ML-fairness-gym框架，以帮助ML从业人员将基于仿真的分析引入其ML系统中，该方法已被证明在许多领域都非常有效，可用于分析难以进行封闭式分析的动态系统。” Hansa Srinivasan在博客文章中。
有几种环境可以模拟不同自动决策的影响，其中包括一种用于大学录取，贷款，注意力分配和传染病的环境。 (ML-fairness-gym团队警告说，环境并不一定要超现实，并且最佳策略不一定会转化为现实世界。)每个实验都有一组与已发表论文相对应的实验，旨在提供ML-fairness-gym可用于调查结果的示例。
研究人员建议使用ML-fairness-gym探索现象，例如观察机制中的审查，学习算法中的错误以及决策策略与环境之间的相互作用。通过模拟，审计人员可以根据观察到的数据评估决策策略的公平性，从而激励数据收集策略。而且，它们可以与强化学习算法配合使用，后者是一种激励有奖赏的代理商的算法，可以推导具有潜在新颖性的新属性。
近几个月来，许多公司，政府机构和独立研究人员都在尝试解决AI中所谓的“黑匣子”问题(某些AI系统的不透明性)并取得了不同程度的成功。
Srinivasan继续说：“机器学习系统已被越来越多地用来辅助高影响力的决策，例如确定刑事判决，儿童福利评估，接受医疗救助和许多其他设置。” “我们对ML-fairness-gym的潜力感到兴奋，它可以帮助其他研究人员和机器学习开发人员更好地了解机器学习算法对我们社会的影响，并为更加负责和公平的机器学习系统的发展提供信息。 ”
2017年，美国国防部高级研究计划局发布了DARPA XAI，该程序旨在生产“玻璃箱”模型，这些模型可以在不牺牲性能的情况下轻松理解。 8月，IBM的科学家提出了一个AI的“概况介绍”，其中将提供有关模型的漏洞，偏见，对抗性攻击的敏感性以及其他特征的信息。波士顿大学最近的一项研究提出了提高AI公平性的框架。微软，IBM，埃森哲和Facebook开发了自动工具来检测和减轻AI算法中的偏差。