卡内基梅隆大学(Carnegie Mellon University)的研究人员正在应对机器学习研究中的一个挑战,即在使用机器学习做出公共政策决策时,需要在准确性和公平性之间做出权衡。
随着机器学习在刑事司法、招聘、医疗服务和社会服务等领域的使用增加,人们越来越关注,这种应用是否会引入新的或放大现有的不公平现象,特别是在少数种族和经济弱势的人中。为了防止这种偏见,对数据、标签、模型训练、评分系统和机器学习系统的其他方面都需要进行调整。但是有一个基本的理论假设是,这些调整使系统的准确性降低。
研究团队在研究中测试了这个假设,发现在一系列政策领域的实践中,这种权衡是可以忽略不计的。
研究人员表示,实际上可以得到两者。不必牺牲准确性来建立公平和公正的系统。但它确实需要定制设计系统,使其公平公正。
研究人员考察了四个领域的系统:根据一个人重返监狱的风险,优先考虑有限的心理健康护理外展,以减少重新监禁;预测严重的安全违规行为,以更好地部署城市有限的住房检查员;模拟学生不能及时从高中毕业的风险,以确定那些最需要额外支持的学生;帮助教师实现教室需求的众筹目标。
在每一种情况下,研究人员发现,为准确性而优化的模型(机器学习的标准做法)可以有效地预测感兴趣的结果,但在干预措施的建议方面表现出相当大的差异。然而,当研究人员对模型的输出进行调整,以提高其公平性时,发现基于种族、年龄或收入的差异(视情况而定)可以在不损失准确性的情况下被消除。
研究者希望这项研究可以开始改变政策制定者的想法。希望人工智能、计算机科学和机器学习界,摒弃这种在准确性和公平性之间进行权衡的观念,并开始设计能将两者都最大化的系统。同时,希望政策制定者接受机器学习作为他们决策的工具,以帮助他们实现公平的结果。
题为Empirical observation of negligible fairness–accuracy trade-offs in machine learning for public policy的相关研究论文发表在《自然-机器智能》(Nature Machine Intelligence)上。