美国司法部正在调查一款可能伤害宾夕法尼亚州家庭的人工智能工具

过去七年来，阿勒格尼县人类服务部工作人员经常使用人工智能预测风险建模程序来帮助评估儿童被安置在大匹兹堡地区寄养系统的风险因素。然而，近几个月来，阿勒格尼家庭筛查工具 (AFST) 背后的算法因其不透明的设计而受到越来越多的审查，考虑到预测人工智能工具长期以来的种族、阶级和性别偏见。

美联社此前对阿勒格尼家庭筛查工具算法的深入研究显示，某些数据点可能被解读为种族群体的替代描述。但现在看来，AFST 也可能影响残疾人社区内的家庭以及有精神健康问题史的家庭。司法部正在关注此事。

[相关：白宫新出台的《人工智能权利法案》计划解决种族主义和偏见算法问题。]

根据美联社今天发布的新报告，司法部民权司已收到多起针对 AFST 的正式投诉，并援引了美联社此前对其潜在问题的调查。司法部匿名消息人士称，官员们担心 AFST 过度依赖可能存在偏差的历史数据，可能会“使过去的不平等现象自动化”，尤其是对残疾人和精神健康问题人士的长期偏见。

美联社解释说，阿勒格尼家庭筛查工具采用了一种“开创性的”人工智能程序，旨在帮助大匹兹堡地区劳累过度的社会工作者确定哪些家庭需要进一步调查儿童福利索赔。更具体地说，该工具旨在帮助预测儿童在家庭环境调查后的两年内被寄养的潜在风险。

据报道，AFST 的黑箱设计考虑了许多案例因素，包括“个人数据和出生、医疗补助、药物滥用、心理健康、监狱和缓刑记录以及其他政府数据集”，以确定是否需要进一步调查疏忽行为。尽管人类社会服务工作者最终会根据 AFST 算法结果决定是否跟进案件，但批评者认为，该计划可能存在的错误判断可能会影响员工的决定。

[相关：在犯罪学中使用生物学的背后有种族主义历史。]

阿勒格尼县人类服务部一位发言人告诉美联社，他们不知道司法部有任何投诉，也不愿意讨论有关该筛查工具的更多批评。

儿童保护服务系统长期以来一直受到广泛批评，批评内容包括其整体有效性以及黑人、残疾人、穷人和其他边缘化家庭所面临的不成比例的后果。AFST 的官方网站大量刊登第三方研究、报告和文章，证明该计划的可靠性和实用性。