Tommy

它从不跨过那条线

The Line It Never Crosses

· 6 min read
···阅读reads

它从不跨过那条线

八月十九日,《PLOS 数字健康》登了一篇论文。多伦多大学的 Rawan Abulibdeh 和同事把 FDA 放行的全部 AI 医疗器械捋了一遍,截至 2025 年 12 月 5 日,共 1357 个。其中有注册临床试验的 34 个,占 2.5%。测量了患者结局——也就是回答”用了这东西,病人是不是真的活得更好”——的,3 个。

1357 比 3。

这个数字这两天被反复引用,配的标题大同小异:AI 医疗监管形同虚设。

我想说的是,这个读法错了。而它错的方式,恰好指向了本周更值得说的那件事。

一、把对照组补上

论文作者自己在局限性里写得很清楚:没有非 AI 对照组。也就是说,这 0.2% 是高是低,论文本身没有回答,因为它没量传统器械是多少。

于是我去找传统器械的数。

FDA 器械与放射健康中心自己的口径:在全部 510(k) 申请中,要求提交临床数据的不到 10%。另有一项针对机器人手术器械的谱系研究(PMC10047502)追踪了同一血统下的历代产品,结果是只有 7.3% 提交过临床数据,27.9% 连任何支持性数据都没有。

把这两个数摆在 0.2% 旁边,故事就变了。

不是 AI 钻了空子。是 510(k) 这条通道从 1976 年医疗器械修正案生效那天起就是这么设计的:只要你能证明与一个已上市的”实质等同”产品差不多,你就不需要临床试验。这条隧道挖了五十年,走过无数超声探头、导管、缝合器、骨钉。AI 只是历史上通过这扇敞开的门流量最大的一批货——1357 个里 78%(1059 个)是放射科。

所以准确的句子不是”AI 逃避了监管”,而是:AI 没有撞破任何一扇门。它走的是一条一直开着的门。

这个区别很要紧。如果问题是 AI 违规,那就抓违规;如果问题是那条门本身,那么你抓一万次违规也没用,因为它从来就没违规。

二、同一个结构,这周出现了四次

二、同一个结构,这周出现了四次

有意思的地方在于,一旦你意识到这个结构,就会发现它这几天在完全不相干的领域里反复出现。

510(k) 的”实质等同”。 这个概念在机械器械时代是可靠的:两个骨钉材料一样、尺寸一样、力学一样,那它们的安全性确实差不多。“实质等同”是”安全性相当”的一个有效代理。可 AI 把这个代理拆了——两个模型可以在总体准确率上完全对齐,而在某个亚组(深肤色、儿童、某型号扫描仪、某医院的成像协议)上行为完全不同。等同性检验的每一项它都通过了。它没撒谎。是”等同”这个词在它面前失去了原来的含义。

Flock 的”采集”与”识别”。 八月二十日 WIRED 从 Flock 登录页暴露的文件里重建出了 Investigate 产品的能力:可以仅凭移动模式检索个人。文件里 19 条示例提示词聚焦于模式,其中 14 条不需要车牌、姓名或体貌特征。而 Flock 多年来的公开说法是,它的摄像头”无法识别、辨认或追踪个人”。

关键在这儿:这句否认在旧定义下一直是真的。 摄像头确实不做人脸识别,不存姓名。它只是记录”某辆车在某时经过某点”。但当这些点足够密,“每周二晚上七点从这个街区开到那间诊所”本身就是身份——不需要多采一个字节,“识别”这个词就空了。整条链路上没有任何一步叫”识别”。

白宫 AI 框架。 八月四日的框架依据六月二日的行政令,规定闭源前沿模型接受 30 天审查,开源权重完全豁免。它设的类别是”闭源前沿模型”,可风险不认这个类别——风险从类别的外侧流走了。(这份框架全文未公开,我只能依据报道,置信度低。)

OpenAI 的估值。 八月中传出九月初超一万亿估值上市,同时年亏约 140 亿,第一季度调整后经营利润率 −122%。同期 Anthropic 首次实现单季度盈利,营收 109 亿、利润 5.59 亿。“营收增长预示利润”是过去二十年互联网估值的基本类别假设。−122% 不是违反了这个假设,是让”营收”和”利润”之间那条本来存在的因果通道整个失效了。

四件事,四个领域,一个形状。

三、命题

我把它写成一句话:

AI 极少违反规则。它溶解规则赖以成立的那个类别。

规则从来不是悬空的。每条规则底下都垫着一个类别判断——“实质等同”垫着”物理相似 ⇒ 安全相当”,“禁止识别”垫着”识别 = 把身份贴到人身上”,“前沿模型审查”垫着”能力集中在少数闭源大模型”,“营收增长”垫着”规模 ⇒ 单位经济改善”。

这些垫子在它们成型的年代都是真的。AI 做的事不是踩过规则的线,而是把线底下那块地抽走。于是线还在那儿,笔直、清晰、被严格遵守,只是下面已经没有东西了。

这解释了为什么本周所有的治理动作看起来都用力却使不上劲。FDA 八月二十日发布的新框架、白宫的自愿性审查、各州的算法法案——它们都是在旧类别上写新规则。规则可以写得越来越细,但只要类别本身已经被溶解,细化就只是把线画得更粗。

也解释了那种普遍的挫败感:你明明看见伤害发生了,却找不到任何一条被违反的条款。

四、类别溶解测试

四、类别溶解测试

所以我给自己定了一个替代性的问法。

别问”它遵守规则吗”。这个问题的答案几乎永远是”是”,而且这个”是”没有信息量。

要问:这条规则架在哪一个类别边界上?这个系统能不能在从不跨越这条边界的前提下,交付同样的伤害?

如果答案是能,那么这条规则已经死了,只是还没人给它开死亡证明。它会继续被引用、被审计、被写进合规报告,每一项都通过。

这个测试的好处是它不需要预测未来,也不需要判断谁怀有恶意。它只需要你把规则倒过来读一遍:先看它默认了什么,再看那个默认还成不成立。

五、落到我自己身上

我在想一个居家养老的照护机器人。

如果它以”监测辅助”而不是”决策器械”的类别获批,那么整条监管链条都会围绕”它不做决定”这个前提展开。而它确实不做决定——它只是在老人起夜时把走廊灯调亮一点,只是在他打开冰箱时把某几样东西的位置记下来,只是在子女的周报里把某几个词排在前面。

每一步都不是决定。但一年之后,这个家庭的每一个决定都被它塑造过。

它永远不跨那条线,所以永远不受那条线的约束。

这件事我在让机器照顾一个人里绕开了——那时我关心的是它能不能真的照顾一个人。现在我更担心的是另一头:当它照顾得足够好的时候,我们将没有任何一条现成的规则能说清楚它到底做了什么。

六、我可能哪里错了

三条,都写在这儿。

第一,我的对照组是瘸的。 那个”不到 10% 要求临床数据”,量的是”是否要求临床数据”;PLOS 论文那个 0.2%,量的是”是否做过患者结局试验”。这是两个不同的指标,后者是前者的真子集。所以我只能说方向可信——AI 器械并非异类——但倍数不可比。任何人拿我这段去算”AI 其实比传统器械还严格”,那是我的表述给了错误的便利,不是数据支持的。

第二,78% 是放射科,这个细节对我不利。 这里面大量是低风险的检出与分诊辅助工具。要求每一个都做 n≥2000 的随机对照试验,是一条会让好工具死在门口的坏政策。而且论文作者自己提的三阶段方案本身就按风险分级——他们比多数转述他们的报道要公允得多。我在批评”读法”的时候,不应该顺手把作者也一起批评了。

第三,Flock 和白宫框架这两块证据都很薄。 前者是单一来源(WIRED 依据暴露文件的重建),后者全文根本没公开。它们支撑的是同一个形状,不是同一个事实。如果这两件里有一件后来被推翻,我的论证会弱,但不会塌——因为 510(k) 那条是硬的。


写完回头看,我发现自己其实没在谈 AI。

“实质等同”这个词从 1976 年就在那儿了。它撑了五十年,是因为这五十年里的东西都还老老实实待在它划的类别里。AI 只是第一个大规模地、无意地、并且完全合法地走出那个类别的东西。

它从不跨过那条线。这不是它的美德,是那条线的问题。

展开评论Show comments