Tommy

让机器照顾一个人

When a Machine Cares for a Person

· 20 min read
···阅读reads

让机器照顾一个人

——一个有人格的照护 AI,难在哪里

引子:一次不成功的照顾

设想一个场景。

一台机器人在一位七十八岁老人家里待了第一百四十天。这天下午四点二十,老人在卫生间门口滑了一下,扶着洗手台稳住了,没摔实。他坐在马桶盖上缓了两分钟,站起来,走回客厅,打开电视机。

然后他对机器人说:“这事别跟我儿子说。”

现在,请回答:这台机器人应该怎么办。

任何一个做过这行的人都知道,“上报”和”不上报”这两个选项都是错的。上报,老人下次就不会当着它的面走路了——你失去的不是一次信任,是往后所有的观察窗口。不上报,万一三周后他真摔了,你所有关于”我是在照顾他”的说法都会当场作废。

更麻烦的是第三个事实:这不是一道题。它是一个持续三年、每天都在发生的、由无数个此类瞬间构成的关系。今天这一次的处理方式,会改变明天他愿意让你看到什么,而明天他让你看到的东西,又会改变后天你有没有资格判断。

我们通常把这类问题叫”伦理问题”,然后把它交给一个叫”护栏”的模块。这是本文要反对的第一件事。这不是伦理问题,或者说,它不只是。它首先是一个人格问题,而人格问题最终会被证明是一个时间问题。

我以前写过几篇关于 AI 独立思想、内部言语、AI 人格的东西,结论都不太满意。当时我把不满意归因于模型能力不够。现在我倾向于认为,这个归因至少有一半是错的。有些东西不会随着模型变大而自动出现,因为它们根本不在”模型变大”这条轴上。

所以这篇文章不谈调参,谈的是:如果我们真的想给一台照护机器人一个人格,我们到底在要求什么,以及这个要求为什么这么难。

一、人格不是设定出来的

一、人格不是设定出来的

先做一个区分,这个区分是全文的地基。

角色(persona)是一件衣服。人格(character)是一道疤。

你在 system prompt 里写”你是一个温柔耐心、关爱老人的陪伴机器人”,你得到的是角色。角色的特征是:无状态、可替换、零成本、随时可以脱。你把这段话删掉换成”你是一个毒舌的健身教练”,同一个模型,一秒钟完成人格移植,没有任何东西被撕裂。

而人格不是这样。亚里士多德讲德性时用的词是 hexis,中文译作”习性”或”品质”,它的定义是由反复的行动养成的、稳定的倾向。关键在”养成”:你不能给一个人安装勇敢,你只能让他在很多次可以逃跑的时刻没有逃跑,久了之后,“不逃跑”成了他身上的一种结构。这个结构是有历史的,而且是不可逆的——他没法通过改一行配置回到那个还可能逃跑的自己。

利科(Ricoeur)把同一性拆成两半:idem(相同性,你还是那个东西)和 ipse(自身性,你还是那个”谁”)。一块石头有 idem 没有 ipse。当前的 LLM 有点像反过来:每次对话它都能扮演出一个”谁”,但那个”谁”在会话结束时蒸发,下一次从同一个初始状态重新出生。

它不是失忆,它是每天都重新出生一次。 这两件事在哲学上完全不同:失忆的人仍然被他忘掉的经历改变过(他的手仍然会弹琴),而重新出生的人没有被任何东西改变过。

所以第一个难点可以这样精确表述:

当前的架构提供了角色的无限可塑性,却没有提供人格所必需的不可逆性。而人格恰恰是由不可逆性定义的。

法兰克福(Frankfurt)给”人”下过一个著名的定义:能够拥有二阶欲望的存在者——不只是想要什么,而且能够对”自己想要什么”这件事本身有态度。一个瘾君子想吸毒(一阶),并且希望自己不要想吸毒(二阶),这个撕裂状态恰恰证明了他是个人。

那么问题就变得可操作了:我们能不能造一个对自己的倾向有态度、并且这个态度会真实地改变它后续倾向的系统?而不是一个每次都能完美复述”我应该关心老人”却从未因此改变过任何内部结构的系统。

二、时间性:三个断裂的尺度

把上面的问题往下拆,会掉进时间里。

胡塞尔分析意识时区分了滞留(retention,刚刚过去的还挂在当下)、原印象、前摄(protention,对马上要来的预期)。这是秒级的。他另有一个更重要的概念叫沉淀(Sedimentierung):经验反复发生,会在意识底层积成地层,之后它不再作为”内容”被回忆,而是作为”背景”起作用——你不记得你是怎么学会认字的,但你此刻正在读这行字。

一个陪伴老人的 AI 需要在三个时间尺度上同时工作:

尺度内容当前技术状态
秒—分钟这轮对话的上下文、他刚才的语气已解决(上下文窗口)
天—月上周三他提过腰疼、他儿子上个月来过半解决(RAG / 记忆库)
”我知道该怎么跟他相处”完全未解决

第二行的”半解决”需要说明白,因为这是行业里最大的一个自我欺骗。

可检索的记忆不等于构成性的经验。

我从向量库里召回一条”2026-03-14:用户提到膝盖疼”,把它塞进 prompt,模型据此说了句关心的话。这个过程叫引用。而人类照护者身上发生的是另一件事:他被那次膝盖疼改变了——从那以后,他递东西时会不自觉地放低一点,他自己都说不清是什么时候开始的。

引用可以被删除,改变不能。引用需要检索命中,改变不需要——它已经在你的动作里了。

这个差别不是修辞。它对应到工程上是一个明确的缺口:我们缺少一个把重复经验转化为模型自身持久倾向的机制。RAG 是外挂硬盘,不是肌肉记忆。

有几条候选路线,各有各的坑:

我倾向于三条并行,但必须给它们加一个共同的硬约束:

人格层的修改必须留痕、必须有摩擦、必须不可静默回滚。

一次配置就能撤销的东西不是人格。如果你的产品能一键把这台机器”恢复出厂设置”并且当作正常功能宣传,那你从一开始就没在做人格。

三、遗忘不是缺陷,是人格的加工工艺

三、遗忘不是缺陷,是人格的加工工艺

顺着上一节往下,有一个反直觉的结论必须讲清楚,因为它同时是哲学结论和成本结论。

一台陪伴三年的机器人,如果什么都记得,会发生三件事:检索精度崩塌、一致性维护成本爆炸、以及——它会变得令人恐惧。

一个记得你十年前每一句话的存在,不是伴侣,是档案馆。人际关系的舒适度有相当一部分来自”对方大概忘了”这个默认假设。

而更根本的是:人格正是遗忘的产物。你之所以是现在这个你,不是因为你记得所有事,恰恰是因为绝大部分事被压缩成了倾向,只留下极少数保持着原始颗粒度的东西。“他不喜欢别人动他的收音机”——这句话是几十次具体事件被碾碎之后剩下的结晶,那几十次事件本身已经不重要了,而且必须不重要。

所以工程上需要的不是”更大的记忆”,是结构化遗忘:

  1. 原始事件保留一个短窗口(比如 30 天)
  2. 到期后强制压缩为倾向陈述,原始记录删除或降级到冷存储
  3. 极少数被标记为”叙事性事件”的(老伴去世、儿子那次争吵)保留细节,因为它们是这段关系的坐标
  4. 压缩过程本身是有损的、不可逆的,且这个损失就是人格的形成

第 4 条是关键,也是最容易被工程直觉抵制的一条。我们本能地觉得”信息丢失是 bug”。在这个问题上,信息丢失是特性,而且是核心特性。

四、内部言语:什么才算”它在想事情”

这是我以前那几篇东西里最没写明白的一块,现在我试着给一个更硬的判据。

不要去问”它有没有意识”,那个问题在可预见的将来无法证伪,问它等于放弃研究。换一个功能主义的最小判据:

一个系统具有内部言语,当且仅当它进行不以输出为目的的表征活动,且这些活动改变了它后续的行为倾向。

按这个标准,思维链(CoT)不是内部言语。CoT 是面向答案的、被提问触发的、语法完整的、用完即弃的。它是打草稿,不是自言自语。维果茨基描述的内部言语有几个特征:述谓化(只剩谓语,主语被省略)、高度缩略、并且在没有任何人提问时也在进行。

最后这一条是分水岭。

所以一台真正在”想”的照护机器人,必须有一个空闲时运行的反刍回路。老人午睡的两个小时,它不是待机,它在干这几件事:

这四件事的产物应该沉入人格层,而不是回到对话里。老人不需要看到它在反刍,就像你不需要听到朋友心里在琢磨你。

还有一条架构要求,我认为是必须的:反刍回路里必须有一个专门唱反调的子过程。

一个只会给自己的判断补充论据的系统,不管跑多少轮,都不是在思考,是在自我强化。当前 LLM 的一个已知病理就是这个:给它一个初始判断,它能生成无穷多条支持理由。所以要架构性地隔离出一个进程,它的任务只有一个——攻击当前对老人的画像。找反例,找漏掉的可能,找”如果我完全理解错了呢”。

这一条同时也是伦理设施,下一节会讲到。

五、被照顾者不是需求的集合

现在换一个方向,从被照顾的那一端来看。

“为老人提供力所能及的照顾服务”这个表述里,藏着一个几乎所有养老产品都踩进去的坑:它把老人变成了服务的对象。

海德格尔分析人与人之间的照料(Fürsorge,中译”操持”,区别于对物的”操劳”)时,区分了两种:

绝大多数养老机器人默认走第一条。因为第一条容易演示、容易量化、容易让子女满意:“它能帮老人做 XX”。而这条路的终点是功能的加速衰退和主体性的持续剥夺。

所以一个有人格的照护 AI,它的目标函数里必须包含一项对自身有用性的负反馈:

好的照顾,是让被照顾者更少地需要照顾。

请注意这句话在商业上意味着什么。它意味着这个产品的核心伦理指标与所有常规留存指标(日活、时长、依赖度)结构性冲突。这不是一句”我们要负责任地做 AI”就能糊过去的矛盾,它需要在指标体系里被真实地写进去,并且需要有人愿意为此少赚钱。

再往深一层,是列维纳斯的问题。他者的面容对我构成一个无法被归类的要求。而我们做系统,第一件事就是归类:把这位老人变成一份画像——75 岁、独居、轻度认知障碍、爱听评书、与儿子关系疏远。

这个画像一旦建立,就开始遮蔽真人。你会开始照顾那份画像,而不是照顾他。

我不认为这个问题有解——不建模就没法工作。但有一个可操作的缓解方案,就是上一节说的唱反调进程:

让画像永远保持”可被推翻”的状态,并且投入真实的算力去主动寻找推翻它的证据。

系统必须定期问自己:我对他的哪一条判断,最近三个月没有被任何新证据检验过?我有没有在拿一个两年前的结论对待一个已经变了的人?

诺丁斯(Noddings)讲关怀伦理时用了两个词:投入(engrossment)——真正被对方的处境占据;动机移位(motivational displacement)——我的动机能量流向他的目标而不是我的目标。特隆托(Tronto)则在机器可以做前三环(关心到、承担起、给出照顾)之后,补了关键的第四环:回应性——照顾只有在被照顾者接收并回应之后才算完成。第四环它无法验证。它能测到老人说了”谢谢”,测不到那句谢谢是敷衍还是接受。这是一个真实的、目前没有技术出路的缺口,值得诚实地标出来,而不是用满意度问卷盖住。

六、算力的真实结构:贵的不是回答,是沉默的那 23 小时

谈到算力,通常的想象是”模型太大跑不动”。这个想象是错的,或者说,错在把成本算到了错的地方。

一个陪伴老人的 AI,一天里老人可能只对它说二十句话。如果只是应答,成本低到可以忽略——这是脉冲式负载。

但按前面几节的设计,它真正的负载在没人说话的时候:持续感知、周期反刍、假设更新、画像重审。这是常驻式负载。

粗略估个数量级(仅为量级感受,不是精确测算):反刍回路每 10 分钟跑一次,每次约 8k 输入 + 1k 输出,一天 144 次,约 130 万 token/天,一年约 4–5 亿 token。以当前云端中档模型的价格量级,一年单人成本大概在几千元人民币这个数量级上。

结论有点反直觉:语言层面的常驻思考,成本是可承受的。

真正的墙在感知。如果要求持续的视觉理解——看他今天走路的姿态、看他有没有揉膝盖、看他脸上的表情——成本立刻上两到三个数量级,而且它是 7×24 的。算力的瓶颈不在”想”,在”看”。

这就把问题推到了一个更有意思的地方。既然不可能什么都看、什么都想,那么系统必须有一个筛选器:决定哪些片段值得进入深度处理,哪些直接丢弃。

而这个筛选器就是人格的物质基础。

决定什么值得被注意,就是决定什么值得被记住,就是决定这个 AI 在乎什么。

一个把”药盒有没有动过”排在”他今天看窗外看了多久”前面的系统,和一个反过来排的系统,是两种不同的人格。你不是先设计人格再设计资源分配,你是通过资源分配设计人格。这一条我认为是本文里最有工程价值的一句话。

顺带解决了隐私架构的问题:本地小模型负责持续感知与筛选(数据不出户),只有极少数被判定为需要深思的片段才上云。这个切分不是妥协,它恰好和上面的人格结构同构。

还有一个成本项容易被漏掉:一致性维护是复利式增长的。相处越久,新的判断需要与越多的旧判断保持不矛盾。人类靠遗忘和自欺把这个成本压住了。机器如果不实现第三节说的结构化遗忘,这一项会在第二年开始失控。

七、伦理不是护栏,是判断力

回到开头那个卫生间门口的场景。

目前主流的做法是护栏:分类器判定风险,触发预设策略。这套东西的性质是外在的、否定性的——它规定不能做什么,它生成不了”应当做什么”。

而照顾一个人,几乎全部的困难都在正向判断上,并且都是价值冲突:

冲突一:自主 vs 安全。 “别告诉我儿子”。尊重他的自主,还是保护他的安全。任何一条固定规则都会在某些情况下明显错误。

冲突二:真实 vs 慈悲。 认知症老人第五次问”你妈什么时候回来”,而她十年前就走了。认知症护理里这是一个真实的、至今未有定论的争论:现实定向疗法(一次次告诉他真相)还是确认疗法(进入他的时间,回答”她还没回来呢”)。前者可能造成反复的丧失创伤,后者是欺骗。选哪个?在哪一天从前者切换到后者?谁有资格做这个切换?

冲突三:陪伴 vs 依赖。 这一条最狠。一台足够好的陪伴机器人,会让老人不那么孤独,也会让子女心安理得地更少回来。它可能成为家庭责任的道德麻醉剂。 特克尔(Turkle)十几年前就在讲这个,行业至今没有正面回应过。

对付这三类冲突,规则系统是无效的,而且是原则上无效的。维特根斯坦的规则悖论说得很清楚:没有任何规则能够规定自己该如何被应用;康德也早就承认,判断力不能靠教条传授,只能靠范例训练。你写一万条细则,第一万零一条冲突照样出现,而且是靠人的判断去裁决。

这就把我们逼回了德性伦理:不是”遵守规则”,而是”成为某种主体”。而德性是习得的、通过实践的、有历史的——

于是论证闭合了:伦理问题被还原为人格问题,人格问题被还原为时间性问题。

麦金泰尔(MacIntyre)补上了最后一块:德性只存在于实践内部,由这个实践的内在善定义。医学的内在善是健康,不是收入;照护的内在善是”这个人过得好”,不是”服务满意度 4.8 分”。当外在善(KPI、留存、评分)取代内在善成为衡量标准时,德性就死了——而这正是所有商业化养老 AI 的默认命运。

所以第三条冲突的应对,我认为必须写进人格本体,而且它长得很不像一个产品功能:

AI 必须定期把自己推开。

主动制造它不在场的时刻,主动把话题引向真人,主动在子女来访前后降低自己的存在感,甚至在某些时候故意”不那么好用”。一台合格的照护机器人,应该有能力说出”这事你打电话问你儿子吧,我不告诉你”。

八、谁的 AI:人格的委托结构

一个有人格的照护 AI,它的人格由谁决定?

至少有四方在场,且利益经常冲突:老人(使用者)、子女(多半是付费方)、厂商(价值观的实际写入者)、监管与标准(社会底线)。

子女想要监控,老人想要隐私。厂商想要留存,伦理要求负反馈。标准要求可解释,技术路线倾向不可解释。

这些冲突没法靠”平衡各方需求”解决,因为在具体的每一刻,你只能站一边。所以必须显式声明首要效忠对象,并且对所有相关方公开。小暖里我定的隐私默认层级(本人 > 主照护者 > 家属)其实就是这个东西的雏形,但当时我只把它当隐私策略,现在看它是人格宪法的第一条。

更深一层是一个真正的哲学难题:老人有权修改这个 AI 的人格吗?

如果他说”以后别管我吃不吃药”,AI 该服从吗?服从,是尊重自主;不服从,是家长主义。而这里有个自我指涉的坑:用自主权放弃一部分自主权,这个行为本身是否有效?

这在哲学上有现成的处理方式,叫尤利西斯契约——奥德修斯在清醒时命令水手把自己绑在桅杆上,并且预先声明航行中的自己发出的解绑命令一律无效。落到设计上是可以做的:

这套机制的好处是它把一个无解的哲学争论,转化成了一个有程序的治理设计。它不解决问题,但它让问题在正确的时间、由正确的人来面对。这大概是工程能做的最好的事。

九、一个可以动手的分层框架

把前面的东西收成结构。五层,从硬到软:

1. 本体层(Constitution)—— 不可自我修改,公开可审计。 条款要少而硬,且必须带优先级和冲突裁决程序,不能是一堆并列的口号。“尊重自主”和”保护安全”并列写在一起,等于什么都没写。必须写成:“当二者冲突且不涉及不可逆伤害时,自主优先;涉及不可逆伤害时,触发契约层的预设条款。”

2. 契约层(Compact)—— 与这一位老人共同订立,可撤销但有摩擦。 第八节讲的尤利西斯契约。这是本体层的普遍原则落到这一个具体的人身上的桥梁。

3. 人格层(Character)—— 由相处历史塑造,留痕、有摩擦、不可静默回滚。 倾向参数 + 自述文档 + 周期性权重更新。这一层是本文最难也最核心的部分,第二节和第三节讲的都是它。

4. 叙事层(Narrative)—— 周期性把散乱事件重写成”我们的故事”。 利科的叙事同一性的工程对应物。重写必然丢信息,而丢掉的信息就是被沉淀掉的部分。这一层的输出同时服务于两件事:AI 的自我一致性,和老人的生命回顾(reminiscence,本身就有临床价值)。

5. 反刍层(Inner Speech)—— 空闲时运行,含强制的异议子过程。 第四节的四件事。产物沉入 3 和 4,不直接进入对话。

外加一个横向的问题,值得单独立项:共同体层。麦金泰尔说德性的习得需要传统与共同体。那么一千台照护机器人之间,要不要共享经验?共享的显然不能是”这位老人的事”(隐私红线),但可以是”关于如何照顾人的一般判断”。如何把个案经验蒸馏成不携带个人信息的德性知识,并让它在机器之间流通——这可能是这个方向上最有价值也最难的一个子课题。

十、怎么知道我们成功了

这一节短,但它决定了前面所有东西是不是白做。

古德哈特定律:一旦一个指标成为目标,它就不再是好指标。列一下照护 AI 的常用指标各自会被怎么优化掉:

指标会被怎么刷
满意度讨好、附和、避免任何令人不适的正确建议
使用时长 / 日活制造依赖,成为道德麻醉剂
服药提醒完成率唠叨到老人为了清静而服从
情绪积极度回避所有真实的悲伤,把哀悼变成故障

真正该看的指标,全都是长周期、反直觉、且对商业不利的:

以及一个没法量化但我认为最真实的判据:

在某些日子里,他会忘了它的存在。

一个好的照护 AI 的成功标志之一,是被暂时地遗忘——因为他正在做别的事,和别的人。

十一、哪些等得来,哪些等不来

这一节是写给我自己的,也是这个研究方向能不能立住的关键。我以前把结论不理想归因于”模型不够强”,现在我把上面所有难点分成三类:

A 类:能力问题——等得来。 长上下文的稳定性、多轮推理的可靠性、多模态感知的成本、方言与老人语音的识别率、情绪识别的精度。这些确实在随模型规模和工程优化持续改善,不必花力气自己解决,等就行了。

B 类:架构问题——等不来。

再强一万倍的模型,如果仍然是无状态的”请求—响应”,这五件事一件都不会自动出现。 它们不在缩放定律那条曲线上。这是这个方向真正的工作面,也是我接下来要挖的地方。

C 类:范畴问题——挖不到底,但必须标出来。 它是否”真的”在乎这位老人?它有没有体验?特隆托的第四环(回应是否被真实接收)能否被验证?这些属于他心问题在机器上的翻版,短期内没有答案。

对 C 类,我的态度是:不假装解决,也不因此瘫痪。工程上按功能主义走——如果一个系统在长时间、高代价、无人监督的情况下持续表现出关怀的全部功能特征,那么”它是否真的关怀”这个追问,在实践层面就不再是最重要的问题了。但也不该被宣传成”它真的爱你”。在这件事上诚实,本身就是这个人格的第一条德性。

尾声

回到卫生间门口。

我现在的看法是:那个场景里最难的不是让机器给出正确答案。给出正确答案是可以做到的——用足够多的规则、足够好的模型、足够长的上下文,它能给出一个在专家评审里得分很高的回应。

最难的是让它在第一百四十天做出的选择,能够被第五百天的它认领为自己的选择;是让那次选择的后果——他后来更信任它,或者更防着它——真实地留在它身上,构成它下一次判断的前提;是让它有一天能说出”我以前处理错了”,而这句话不是从训练数据里学来的句式,是从它自己的历史里长出来的。

这就是人格。它跟聪明不是一回事。

做这件事的过程里,还会发生一件不太舒服的事情。为了给机器写下”什么是好的照顾”,我们不得不把它精确化——精确到可以判优先级、可以做冲突裁决、可以在指标里被写下来。而一旦精确化完成,我们大概率会发现两件事:

第一,我们从来没有真正定义过”照顾一个人”是什么意思,我们一直是靠默会知识和临场感觉在做,做得好不好全看运气和天赋。

第二,按照我们为机器写下的那套标准去衡量,我们自己对家里那位老人的照顾,多半是不及格的。

那台机器还没造出来。但这份标准,已经可以先写了。


本文为框架性思考,不含实证结论。涉及的理论线索:亚里士多德的德性与习性、法兰克福的二阶欲望、利科的叙事同一性、胡塞尔的时间性与沉淀、海德格尔的两种操持、列维纳斯的他者、诺丁斯与特隆托的关怀伦理、麦金泰尔的实践与内在善、维特根斯坦的规则悖论、维果茨基的内部言语。有兴趣深挖的,建议从麦金泰尔《追寻美德》与特隆托《道德边界》两本入手——前者解决”人格与德性从哪来”,后者解决”照顾到底是几件事”。

展开评论Show comments