公共部门使用算法决策的 20 个问题

Explore discuss data innovations to drive business efficiency forward.
Post Reply
jrineakter
Posts: 407
Joined: Thu Jan 02, 2025 7:18 am

公共部门使用算法决策的 20 个问题

Post by jrineakter »

在之前的博客中,我邀请了大家 对公共部门使用人工智能进行算法决策的标准规范的十项原则提出反馈。

从更广泛意义上来说,正确对待人工智能似乎对许多个人和组织都越来越重要,最近谷歌首席执行官 Sundar Picha 为公司发布了一系列原则。我选择专注于算法决策,因为我相信这是人工智能最有可能为公共部门组织带来最大潜在利益和风险的应用之一。

在本文中,我想重述一下为什么我认为需要某种形式的标准或指导;探讨我收到的反馈;然后概述我如何以及为何将它们转化为20 个问题,公共部门组织在实时环境中使用算法决策之前应该能够回答这些问题。

标准的需求
多年来,公共部门官员一直根据简单的算法(遵循书面规则或基本软件的输出)做出决策并采取行动。

为什么需要新标准?

在我看来(以及许多其他人的看法),使用人工智能来 IG 数据 创建和训练这些算法所带来的额外的复杂性和复杂性改变了游戏规则。

存在三大类担忧:

首先,人们担心算法不可避免的局限性和偏见:

几乎所有算法都包含一些局限性和偏见,这是基于它们训练的数据的局限性和偏见。
算法所基于的假设可能大体上是正确的,但是在任何复杂领域(哪些公共部门环境不复杂?)它们充其量是不完整的。
其次,人们对算法的使用方式存在担忧:

算法可能(并且已经)被用在不适当的环境中,例如公司使用求职者的信用评分来决定是否雇用他们。
算法可能会在没有任何人工监督的情况下部署,从而导致可能造成伤害且缺乏任何责任的行为。
第三,对算法不透明性的担忧:

在专有或外包的系统中,算法的代码可能无法查看。
即使可以查看,如果代码非常复杂,则可能基本上无法检查;代码会根据实时数据不断变化;或者使用神经网络意味着没有单一的“决策点”可供查看。
如果这些担忧稍微正确的话,我建议可以得出一些关于在公共部门环境中使用算法来通知决策或采取行动的基本结论:

在算法采取行动之前,很少有人会不经人为监督或干预就部署算法。公共部门处理的问题往往很复杂,需要道德判断和定量评估。这些决定反过来会对个人的生活产生重大影响。因此,我们的主要目标是让人类明智地使用算法做出决策。
如果我们要有一个“人在循环中”,那么公共部门就不应该充斥着算法黑匣子,因为那些预期使用它们的人根本无法了解这些黑匣子的运行过程。
与所有“智能”新技术一样,我们需要确保算法决策工具不会被部署在愚蠢的流程中,或者让人产生降低其使用专业性的期望。
Post Reply