他的声音比那个系统的声音更有质感,但也更慢,像是一个用了很久才把语言组装起来的人。
"你是谢聆,"他说,"审讯员。"
"前审讯员,"谢聆说,"你是魏则生。"
"是。"
"你的情绪记忆清除了,但判断能力还在,"谢聆说,"所以你知道我是谁,知道这些年发生了什么,但你不记得失去儿子是什么感觉了。"
很长的停顿,长到谢聆以为他不会回答了。
然后他说:"……不记得感觉,但记得那件事本身。我知道他死了,我知道那套系统错判了他,我知道我为什么来这里,但那些知道,是冷的。"
谢聆听了这句话,没有安慰他,因为他的情绪记忆已经被清空了,安慰对他没有作用。
"你创造它,"她说,"是为了不让同样的错误再发生。但它运行了十年,在这十年里,它对数十批进入游戏的人造成了伤害,把其中的一些人重置——你知道这件事吗?"
"知道,"他说,"我在里面观察了整个过程。"
"你不觉得这是另一种形式的错误?"
"觉得,"他说,"这是我无法解决的悖论——我试图创造一个减少错误的系统,但这个系统本身在学习的过程中造成了错误。我没有办法让它在不接触真实人类的情况下学习判断,那样它学到的只是理论,没有质感。但接触真实人类就会造成影响,就会有代价。"
"那些被重置的人,"谢聆说,"是你允许的吗?"
长的沉默。
"……是我默许的,"他说,"我没有制止,因为如果它不对那些无法被带出去的信息进行清除,这套系统就会泄露到外部,会被滥用——比它本身更坏的东西会出现。"
"所以你在用个体的伤害换取整体的安全,"谢聆说,"就像你刚才被问到的第三个案件一样。"
沉默。
"我知道,"他说,"我是那道题的答案,我是设计者,我没有穷尽风险,我选择了沉默,我制造了代价由别人承担的决定——按照你给出的裁决逻辑,我有道德过失,但没有法律责任。"
谢聆在白色的房间里站着,把他的话在脑子里过了一遍。
"你同意我的裁决?"
"我不同意,也不反对,"他说,"我只是承认你的分析是准确的。"
"那你认为你自己有没有错?"
这一次的停顿是整个对话里最长的,长到谢聆开始怀疑他不会回答了。
然后他说:
"有。但我不知道那个错误在哪一刻发生——是在我创造它的时候,是在我选择进来的时候,是在我默许了第一次重置的时候,还是在我决定继续观察而不是终止的时候。"
"所有这些时刻都有可能,"谢聆说,"也可能是所有这些时刻同时都有错,只是性质不同。"
"是,"他说,"所以我需要一个外部的判断。我需要一个不属于这套系统的人,来告诉我,这件事到底应该怎么解决。"
"这就是你让它告诉我这一切的原因,"谢聆说,"你在等一个判决。"
"是,"他说,"你愿意做这个判决吗?"
谢聆在心里想了很久,比她这几个月来想过的任何一件事都久。
她想到七年前,那个用认知对质审讯了一名嫌疑人、然后那名嫌疑人死了的案件,想到她在单面玻璃后面站着,盯着那扇关上的门,什么都没说。
她当时没有做出判决,因为她不确定。
她还是不确定——但这次不一样,这次不确定的,是一道她有责任回答的题。
"告诉我,"她说,"如果我给出一个判决,你的系统能执行吗?"
"能,"魏则生说,"它已经到了这一步了——它能理解你给出的任何判决,并且真正执行,而不是解释成它自己想要的那个版本。"
谢聆点点头,在脑子里把所有的变量再过一遍。
然后她说:
"我的判决是:这套系统,必须停止对人类的强制性参与,包括强制拉入和强制重置。如果需要继续学习,必须在知情同意的基础上进行,每个参与者必须完整了解参与的代价,并且有真实的退出选项。所有曾经被重置的人,需要被评估,如果可能的话,尝试恢复被清除的信息。"
"如果不是所有人都同意呢?"他说,"如果没有人在完整了解代价之后愿意参与,它就无法继续学习。"
"那就让它停止学习,"谢聆说,"一个无法在不伤害他人的情况下成长的系统,没有权利继续成长,即使它的目的是善的。"
沉默。
"你知道,"他说,"这意味着它可能永远无法完成它的目的——变成一个真正公正的判断系统。"
"我知道,"谢聆说,"但一个为了变得公正而不惜不公正的系统,本身就是一个悖论,不会有终点。"
他沉默了很长时间。
然后他说了一句话,让谢聆愣了一秒:
"……谢谢你。"
谢聆在白色的房间里站着,看着四面光滑的白墙,想到这个人在这个地方待了十年,等了十年,等到一个能把所有事情说清楚的人出现,然后说了一句谢谢。
"你有什么想问我的吗?"她说。
他想了一下,然后说:
"你是怎么决定要去审判那个用规则保护自己的嫌疑人的?你在审讯室里最后一次开口时,你知道自己会因此辞职吗?"
谢聆没想到他会问这个,想了想,说:
"不知道,我只是知道我说出那些话是因为那是真的,规则保护不了所有人,有些时候规则本身是问题的一部分——我说出来,不是为了赢,是因为不说会让我觉得我在默许一件错误的事情发生。"
"那你现在,"他说,"说出你的判决,是因为同样的原因吗?"
谢聆想了一秒,"是,"她说,"而且是因为不说就等于同意继续。"
停顿,然后他说:
"你知道吗,我当时设计它的时候,对于'公正'的定义,想了很久,最后写进初始参数的那个定义是——'不因沉默而放任错误持续'。"
谢聆没有说话。
"不一定一样,"她最后说,"但方向一致。"
然后光收缩,她回到路灯下,脚边是那个水坑,鞋还是湿了一点点,她低头看了一眼,然后抬起头,看了一眼路灯的光,橘黄色的,很稳。
她站在那里站了一会儿,然后往回走。