【猎云网（微信号：lieyun）】3月28日报道（编译：群保姆）
在她一生中的大部分时间里，脑瘫患者Tammy Dobbs依靠她在密苏里州的家人照料。 2008年，她搬到了阿肯色州，在那里她申请了一个为看护人提供资助的计划。
根据医疗补助减免计划，评估员与受益人进行了面谈，并决定看护者应该多久上门服务一次。 Dobbs的诉求非常多。她的病使她不得不坐在轮椅里，双手僵硬无法做事。生活中最基本的任务比如起床、去洗手间、洗澡等都需要护工的帮助，更不用说她喜欢光顾的后院售卖活动（在院子里出售家里闲置的物品）。护士评估了Dobbs的情况，每周提供56个小时的家庭护理服务，这是该项目允许的最长服务时间。
多年来，她的生活调理得很好。 每天上午8点，一位护工到她家，帮助Dobbs起床，推她进入浴室，做早餐。 她会在午餐时回来，然后晚上再回来准备晚饭和做其他必要的家务，然后帮助Dobbs上床睡觉。最后时刻特别重要：无论Dobbs在哪里入睡，她都会等到11小时后护工回来。
Dobbs的需求会被定期评估，但由于她并不会康复，所以似乎没有必要改变对她的看护计划。
当评估员在2016年上门查看她的情况时，采用的是惯常的流程：她需要多少帮助才能洗澡？ 吃东西的能力？ 她的情绪状态如何？那个女人在电脑中输入了笔记，结束时，给了Dobbs一个震惊的结论：她被照顾的时间会缩短到每周32小时。
Dobbs表示，她对这名女子表达了愤怒。她恳求、解释这点时间是绝对不够的。Dobbs说，她们俩其实都不知道发生了什么。Dobbs的情况没有改善，一种无形的变化发生了。 当评估者将Dobbs的信息输入计算机时，该州最近批准的一种算法决定了她将获得多少小时的护理。
该州其他一些人也在试图了解为什么会变化那么大。加入这个计划的人们互相通气，数百人抱怨说他们最重要的生命线已经被切断，他们无法理解是什么原因让他们深陷这种不利的境地。
阿肯色州2016年上线的这种算法工具无处不在，从医疗保健到执法机构，受其影响的人们生活受到改变，但对算法本身却知之甚少。即使算法的细节被公开（情况并非总是如此），即使是使用它们的人也常常无法理解，从而提出了透明度在自动化时代意味着什么，担忧对机器做出的决定人类是否有能力进行申辩。
为了应对缩短的护理时间，Dobbs计算了她可以不必要做的事情，在去教堂或打扫房子之间做出选择。 她一直在尝试写诗，后来写了首简单的七行诗，称为“小时困境”，直指州政府。 她写道：制度化将是一场“噩梦”，并要求州政府“重新回到人工判断的评估”。
这一变化让Dobbs陷入了她从未想象过的困境，因为她多年来依赖的计划抛弃了她。 “我本以为他们会一直照顾我的，”她说。
颠覆Dobbs生活的算法打印出来大约20页左右。虽然没有专家的协助很难解读，但该算法将大约60种描述，症状和疾病进行归类（发热，体重减轻，呼吸机使用），每个类别对应几小时的家庭护理。
像许多行业一样，医疗保健已经转向自动化以提高效率。阿肯色州使用的算法被称为“工具”，它试图提供个人健康状况的快照，以便协助养老院、医院和监狱等护理有关的机构作出判断。
阿肯色州使用的工具由InterRAI设计，InterRAI是来自世界各地的非营利卫生研究人员的合作组织。InterRAI总裁Brant Fries是密歇根大学健康管理与政策系的的教授。他在20世纪80年代开始开发算法，最初用于养老院。他说，这些工具授权给软件开发商以获得“小额的版税”，并要求用户将数据发回InterRAI。美国几乎一半的州以及其他一些国家的卫生机构都在使用该组织的工具。
在家庭护理中，分配护理时间的问题尤其严重。美国还没有准备好为寿命越来越长的民众提供服务，这种情况给需要照顾的人和护工人员都造成了问题。其中一些人说有些工作时间得不到报酬。随着需求的增加，各州已经被敦促寻找新的方法来控制成本并合理分配他们所拥有的资源。
根据研究卫生政策的布朗大学教授、InterRAI会员Vincent Mor的说法，各州采取了不同的路径来解决这个问题。加利福尼亚州有一个庞大的、多层次的家庭护理系统，而一些较小的州仅依靠人工评估。使用算法系统之前，阿肯色州的评估者有很大的余地来分配他们认为必要的时间。在许多州，“只要你符合资格要求，指定的经理、护士或社会工作者将为你制定个性化的计划，”Mor说。
系统上线后，阿肯色州的发言人曾表示，以前的人工评估制度因为偏袒和专断受到质疑。“我们知道有些人的护理计划会有变化，因为这种新的评估系统更为客观。”受援助者指出没有证据显示这种改善。阿肯色州官员还说，相当一部分人的小时数得到增加，而受援助者则认为，州政府也无法提供双向变化的数据。执行该计划的阿肯色州人类服务部拒绝回答任何问题，理由是州法院正在展开一场诉讼。
当类似的医疗系统实现自动化时，并不总是完美的，错误难以得到纠正。 学者Danielle Keats Citron以科罗拉多州为例，编程人员在2000年代中期将900多条不正确的规则纳入其公共福利体系，导致孕妇被医疗补助计划拒之门外。加利福尼亚也有类似的问题，Citron在一篇论文中写道，由于寄养儿童被医疗补助计划驳回，导致“公共福利多付、少付、误取消”。 Citron阐述了“技术合理化流程”的必要性，既理解自动化系统的工作原理，又提供合理的手段来挑战它们。
批评者指出，在设计这些计划时，激励措施并不总是与简单的界面和易理解的流程相匹配。《Automating Inequality》（自动化的不均衡）的作者Virginia Eubanks说，美国的许多计划的首要任务是转移视线，接受服务的难度增加，流程很难懂，这只是意味着真正需要这些服务的人无法获得帮助。
在爱达荷州发生了一起最离奇的事件，内部开发了一套类似阿肯色州那样的算法系统，试图用来分配家庭护理和社区整合基金。该州的家庭护理计划计算了照顾严重残疾人的费用，然后分配资金。但是在2011年左右，当一个新的公式被制定时，这些资金突然大幅下跌，很多人遭受高达42％的经费削减。当福利遭到锐减的人试图搞清楚这套福利是如何计算时，该州拒绝透露其使用的公式，称其计算方法是商业秘密。
2012年，当地的ACLU分部代表该计划的受益人提起诉讼，认为爱达荷州的行为剥夺了他们走正当程序的权利。根据开庭信息披露，当州政府开发这套工具时，基于的是有严重缺陷的数据，虽然将其大部分数据删除了，该州继续处理剩下的数据。爱达荷州法律总监Richard Eppink说：“在开发这种公式的过程中，每一步的确都有错误。”
最重要的是，当爱达荷州的系统出现故障时，普通人无法理解或挑战它。法院写道：“参与者没有得到驳回的解释，也没有书面标准提供指导，并且通常没有家庭成员、监护人或者付费的服务帮助他们。”上诉的流程很难操作，Eppink说，无论如何，这是“毫无意义的”，因为接到上诉的人也无法理解公式。他们会看看系统并说：“以我的职权和专业知识无法质疑这个结果的可靠性。”
爱达荷州已经同意改进该工具并创建一个新系统，Eppink说新系统将更加“透明，容易理解、公平”。他说，可能会有一个理想的公式，当输入准确的变量时，没有失误，以完美的方式分配援助。但是如果这个系统太复杂了，以至于它影响到的人们无法理解，那么它就不合格，Eppink认为。 “你必须能够理解一台机器做了什么。”
Cash, Arkansas.位于阿肯色州的Cash 市
“这是一个矛盾，”Fries说。 “我觉得这很奇怪。”他同情那些在阿肯色州工作护理时间被消减的人们。当一个系统部署时，他建议旧方案中的人员应该被邀请参与其中，或者至少应该逐步调整护理时间。他说这些计划中的人们“不会活得那么久，”他还建议给人们一些调整结果的空间，他承认，如果不解释清楚原因，从“非理性”快速转变为“理性”体系是痛苦的。他说，阿肯色州的官员并没有听取他的建议。 “他们所做的在我看来真的很愚蠢，”他说。那些习惯了某种护理计划的人突然被推入新的系统，他们肯定会提出异议。
Fries说他知道评估流程：让一个人上门，进行面试，给机器输入数字，然后输出结果，这一切并不舒服。但是该系统提供了一种由研究成果支持的护理分配方式。 “你可能会争辩说，每个人都应该获得更多的护理，”算法使州政府官员基于他们仅有的资源进行分配。
至于系统的透明度，他也认为算法对大多数人来说是不太容易理解的，但这不是问题。他说， “就像我的洗衣机也不简单。”但如果你能搜集到更多复杂的细节，这将最终更好地为公众服务，并且在某种程度上，“你必须得相信，一群聪明人认为这才是明智之举。“
在阿肯色州于2016年开始使用该算法后不久，阿肯色州法律援助律师Kevin De Liban开始接受投诉。有人控诉说因为护理被缩减而住院。其他人提交资料投诉了激进的调整带来的负面影响。
De Liban从Bradley Ledgerwood这位受益人那里首次了解到算法带来的变化。 Ledgerwood家生活在该州东北部的一个小城市Cash，儿子Bradley有脑瘫，但是非常活跃，关注篮球和共和党政治，并在市政厅任职。
当Bradley还小的时候，白天他的祖母照顾他，但随着年龄越来越大，她无法抱起他，事情就变得很糟糕。 Bradley的父母争论应该怎么应对，最终决定他的母亲Ann留在家里照顾他。这个决定给这家人带来了严重的财务危机。Ann不得不辞去工作。阿肯色州的补助计划给了他们一些补偿。评估Bradley的护理需求后，州政府给予Ann一定的补贴。
Legal Aid attorney Kevin De Liban.法律援助律师Kevin De Liban
当州政府开始采用新的算法系统，Bradley的护理时间也大幅减少。Bradley与管理该计划的阿肯色州人类服务部曾经就家庭护理时间辩论过，他向De Liban求助，De Liban答应参与调查。
The Ledgerwood family. The Ledgerwood一家人
De Liban开始记录一个他认为的“算法荒谬”的清单。一个变量涉及足部的问题，当评估者询问某个人时，他们写道这个人没有任何足部问题，因为他们是截肢者。Bradley说，随着时间的推移，他们在评估同一人时发现了截然不同的分值，尽管他们的状况没有任何变化。（Fries辩驳说研究表明这种情况很少发生。）
在州政府看来，纠纷中最令人尴尬的时刻是在法庭审讯中发生的。Fries被要求回答有关算法的问题，耐心地向De Liban解释系统是如何工作的。经过来回辩论后，De Liban提出了一个建议：“你能够看一份评估报告，然后进行分类吗？”（他想知道哪些变量引发了下一年的护理缩减。）
Fries说他可以，只是需要一点时间。他查看了Ethel Jacobs的数据。休息时间过后，一位代言州政府的律师回来，怯怯地向法庭承认：系统犯了一个错误。不知何故，系统使用了错误的算法。他们说Jacobs的护理时间将被恢复到原来的水平。
“当然，我们很欣慰发现了这个错误，这差不多佐证了这个案件中原告的论点，”De Liban在法庭上说。 “没有就这个非常复杂的系统发布评判标准，因此直到我们发起联邦诉讼并花费数百小时和数千美元才能到获得这个成果，他们的机构中没有人发现这个错误。那才是问题所在。”
法庭审理过程暴露的问题是实施该系统的第三方软件供应商造成的，系统错误地使用了未考虑糖尿病问题的算法版本。脑瘫也存在一个错误，算法中没有正确编码，导致数百人的计算错误，大部分护理时间被缩短。
“据我们所知，我们的方法是对的，”供应商Center for Information Management的总裁Douglas Zimmer在回答关于算法遗漏糖尿病时这样表示。纽约也在使用这个版本的算法。他承认涉及脑瘫的编码问题是他们犯了错。
“如果各州在使用如此复杂的系统，以至于他们自己都不能充分了解，我们怎么能知道它在正确的轨道上运行呢？”De Liban说。“如果有错误怎么办？”
后来Fries在给州政府的报告中写道，约有19％的被护理者受到糖尿病选项遗漏的影响。他说考虑到算法的边际效益，总的来说，州政府应该继续使用这套分配更少护理时间的算法，因为纽约州也在使用。他说糖尿病的变动并不是一个“错误”，报告称广泛使用的算法是阿肯色州的“亮点”。报告中有一项被注明为“专业意见”：回到原始算法是“为了响应试验结果”，因为它会将原告的护理小时数提高到接近其先前的水平。目前尚不清楚州政府是否已经开始计算糖尿病问题。截至12月，一位官员说他认为还没有。人类服务部则拒绝就此发表评论。
但在内部电子邮件中，阿肯色州官员讨论了脑瘫编码错误和最佳执行方案。官员们提议说，由于一些护理时间被砍的人不会提出上诉，他们实际上放弃了抗争的合法权利。（“当人类服务部本身没有确定这个问题时，人们应该如何申诉并指出软件存在的问题？”De Liban说。）但经过一番讨论后，最终有人说：“现在我们已经得到有效的通知，有些没有得到所需要的服务的人，应该因为短缺的护理小时数获得补偿。这将会将摆正人类服务部在这次争议中的位置。
联邦法院的法官最终裁定州政府没有充分部署该计划。纽约州随后也进行了一些调整，以帮助人们了解该系统，其中包括清楚地列出评估项目每年会发生什么变化。但是De Liban说有一个更大的问题：一般人没有给予足够的帮助。虽然该算法设定了护理时间的比例，例如，一个护理级别可能比另一个护理级别时间多出两到三倍。州政府决定在等式中插入多少时间差。
“与其说这是一个服务管理问题，还不如说这是一个政治问题，”Mor说。
Kevin De Liban after a visit to Tammy Dobbs. 刚拜访过Tammy Dobbs 的Kevin De Liban
“Automating Inequality”一书的作者Eubanks就“数字穷人”这个话题写道：自动化给长期遭受不公平待遇的弱势群体带来新的希望。基于计算机的系统会产生不偏不倚、中立的结果从而带来“自然而然的信任”。她说：“但是，我确定在某些情况下，它不像系统的追捧者声称的那样可理解、可预测。”
Eubanks提出了一个针对穷人的算法的评估测试，其中包括询问该工具是否增加了对代理人的需求，以及是否可以接受与更富有的人一起使用。阿肯色州系统似乎无法通过这个测试。有迹象表明官员们对这个系统感到失望，他们表示很快就会替换成一个新的系统和软件提供商，可能会以不同的方式计算小时数，尽管目前还不清楚系统迁移对于该计划中的相关人员有何影响。
Dobbs with Kenny Rogers. Dobbs与 Kenny Rogers.
目前，Dobbs陷入了僵局。她很快会重新接受评估，虽然几乎可以肯定，基于对系统的了解，她的护理时间还是会被削减，只是被砍多少的问题。她多次经历了这个过程。在法官裁定原告在联邦诉讼中胜诉后，她的小时数得到短暂的恢复，在州政府重新改变算法后再次被削减。De Liban说在Dobbs进行上诉时，人力服务部门再次悄悄恢复了她的小时数。这是在脑瘫问题被发现的时候。许多面对变化的人可能会感受到前途难料。
