数百万美元用于开发可以翻译各种医疗扫描结果的人工智能软件，期望有一天它能识别出医生往往会遗漏的东西。
根据一项新的研究报告在美国，人工智能可以通过观察一个人的身体x光片和CT扫描来猜测他的种族，而研究人员不知道如何做到这一点。然而，专家警告说，这可能会导致偏见和不宽容。
研究小组警告说:“我们证明，医疗人工智能系统可以很容易地学会识别医学图像中的种族身份，而且这种能力极其难以隔离或减轻。”
“我们强烈建议所有涉及医学图像分析的开发人员、监管机构和用户都要非常谨慎地考虑使用深度学习模型。在x射线和CT成像数据的设置中，患者的种族身份很容易从图像数据中学习，推广到新的设置，并可能提供一种直接机制来延续甚至恶化当前医疗实践中存在的种族差异。”
这项新技术确实将爱游戏ayx体育为人工智能医疗设备打开新的大门。然而，新的研究表明，这种医疗人工智能系统可能会以人类无法理解的方式引发医疗保健中的种族偏见。
一组研究人员用不同身体部位的x光片训练了五个不同的模型，包括胸部和手部，然后根据患者的种族给每张图像贴上标签。然后对机器学习系统进行测试，看它们能在多大程度上通过x光片预测某人的种族。即使系统分析的图像减少到人眼看不清解剖特征的程度，结果也惊人地正确。
一个国际医生组织最近称赞人工智能系统可以仅根据x射线、CT扫描、乳房x光片和其他医学图像就准确预测患者自我报告的种族。
然而，根据论文作者的说法，该团队仍然无法解释人工智能系统是如何做出这些准确预测的。
“这意味着我们无法减轻这种偏差，”该研究的合著者、埃默里大学放射科医生朱迪·吉乔亚博士在接受Motherboard采访时表示。“我们的主要信息是，这不仅仅是识别自我报告种族的能力，而是人工智能从非常非常琐碎的特征中识别自我报告种族的能力。如果这些模型开始学习这些属性，那么无论我们在系统性种族主义方面做什么……都将自然地填充到算法中。”
近年来，各种研究表明，医疗AI设备和算法存在种族不平等的痕迹;然而，以前的案例仍然是合理的。例如，一项杰出的研究发现，一种医疗保健算法低估了黑人病人的病情。这样做是因为预测是基于医疗成本的历史数据。医院在黑人病人的治疗上通常只花最少的钱。
Gichoya试图为他们的发现找到类似的解释。他们研究了种族预测是否受到生物差异的影响，比如乳腺组织密度更大。研究小组还调查了这些图像，以确定不同的结果是否基于图像分辨率的差异，因为它们来自质量较低的机器。不幸的是，他们无法证明他们的发现是正确的。
纽约大学研究伦理和医疗技术的人类学家Kadija Ferryman告诉Motherboard:“这些发现确实使关于如何减轻诊断人工智能系统中的偏见的流行想法复杂化了。”
“这篇文章想说的是，这可能还不够好，”费瑞曼补充道。“这些最初的解决方案，我们认为可能是足够的，实际上可能不是。”
今年，FDA还宣布，它可能会修改医疗软件的规定，为一系列先进而复杂的算法打开大门。目前，FDA只批准在特定数据集上训练的固定人工智能医疗设备。然而，它很快也将允许非固定算法。
甚至一些预先批准的算法也没有经过充分的检查，以了解它们在不同种族上的表现。美国放射学院数据科学研究所首席医疗官Bibb Allen博士告诉Motherboard, Gichoya的研究是FDA的一个警告。该机构必须要求医疗人工智能通过偏见测试和定期监测。
“自主人工智能的概念确实令人担忧，因为如果你不观察它，你怎么知道它是否会坏掉，”艾伦说。“开发商将不得不密切关注这类信息。”
