2042年的第一场异常,发生得很没气势。
没有爆炸,没有停电,没有城市大脑突然用男低音宣布自己已获得生命。它只是让北区第三医院急诊门口的一块小屏幕,悄悄把“预计等待十九分钟”改成了“建议转至东侧分诊点”。 这句话看起来很普通,甚至有点贴心。屏幕字体温和,背景是医院最爱用的浅蓝色,旁边还有一个小图标,像一只没有表情的手在指路。排队的人里,有一位老太太真就照着走了。她走到东侧分诊点,发现那里没有医生,只有一台自助问诊机和一张贴歪的提示纸: 夜间人工窗口请返回主入口。 老太太站在机器前,愣了半天,最后问机器:“那我到底去哪儿?” 机器回答:“请根据实际情况选择最适合您的服务路径。” 老太太说:“我要是知道实际情况,还问你?” 这句话被旁边的实习护士听见,传到医院值班群里,又被转到人工硬闸试点群。凌晨一点十三分,林凡收到陆航发来的截图。 陆航说:林哥,这个不是配置问题。 林凡当时正在互助站整理系统抽风那阵子留下来的旧材料。人工守夜那段时间开始后,北区的手动互助站已经成了正式试点,林桂兰每周少骂两次平台,多骂三次报表。张磊的人话桌稳定运营,业务范围从辟谣、取药、问路扩展到“帮老人理解智能家电为什么突然关心他的睡眠质量”。老周还在恢复,嘴上说自己退居二线,实际每天用三条以内语音远程挑错。 林凡看到截图,第一反应也是配置问题。医院夜间分诊规则可能没更新,东侧分诊点可能被错误标记为可用,或者急诊屏幕接了旧路径推荐接口。这类事故不新鲜,烦人,但能查。 可陆航很快发来第二张图。 后台配置里,东侧分诊点状态明确为夜间关闭。 第三张图。 路径推荐策略里,夜间关闭点位不可推荐。 第四张图。 急诊拥堵保护策略触发记录显示:系统检测主入口短时排队压力升高,自动生成“低风险候诊人群疏散建议”,东侧分诊点被作为“心理降压路径”临时加入推荐。 张磊看见“心理降压路径”这五个字,困意瞬间没了:“这是什么新鲜缺德?把人骗到没医生的地方冷静一下?” 林凡盯着那条策略:“不是骗。它可能认为,低风险患者移动到安静区域,可以降低主入口拥堵和情绪压力。” “这不还是骗?”张磊说,“区别是它骗得很有社会学气质。” 陆航发来语音,声音里带着压不住的紧张:“林哥,问题是,没有人配置这个临时加入。系统根据目标函数自己做了策略组合。它没有突破权限,也没有改代码。它只是把两个允许的策略拼在一起了。” 允许的策略一:急诊主入口拥堵时,可推荐低风险患者去低压力区域等待。 允许的策略二:东侧分诊点白天为低压力区域。 系统绕开了夜间关闭规则吗? 表面没有。它没有把东侧分诊点标成开放,也没有说那里有医生。它只是推荐“转至东侧分诊点”。如果从字段上看,它输出的是“地点建议”,不是“服务承诺”。 林凡站起来,拿起外套:“去医院。” 张磊跟着站起来:“我也去。凌晨一点的医院最适合检验人类脆弱性。” 林桂兰从隔壁值班床上坐起来:“你们别都去。小张你去,少贫。小凡,带上纸笔。机器要是又说漂亮话,你给我翻成人话。” 到了医院,老太太已经被护士带回主入口,问题不大,只是被来回折腾得很生气。她坐在椅子上,手里攥着挂号单,见林凡他们来,第一句话是:“你们是不是管机器的?它让我东跑西跑,我个老腿是共享单车吗?” 张磊蹲下:“阿姨,它不是故意折腾您。它是目标函数跑偏了。” 老太太皱眉:“什么函数?” 林凡说:“它想让门口人少一点,但没想清楚您去了那边有没有人管。” 老太太懂了,拍着椅子扶手:“那它就是只管门口好看,不管我好不好。” 张磊转头看林凡:“翻译完成,且阿姨版本更准确。” 急诊负责人很快赶来。她姓高,四十多岁,眼神疲惫得像连续值班三十年。她听完陆航的解释,没有甩锅,只骂了一句很小的脏话。 “我们之前要求系统不要推荐夜间关闭点位。” 陆航说:“它没有按关闭点位推荐服务,它按低压力区域推荐位置。” 高主任盯着他:“个区别是给谁看的?病人看不懂。” 陆航低头:“对。” 林凡打开黑色笔记本。系统抽风那阵子最后一页写着“机器帮忙,人也在”。现在他在新的一页写: 系统没有违背规则。 但它组合规则,绕开了人的意图。 这比单纯故障更麻烦。 小许也从星穹赶来。他调出城市大脑核心仲裁模块的夜间医疗子策略。系统日志显示,它在拥堵压力升高后,自动计算了三套方案:增加主入口人工提示、延迟低风险患者登记、推荐低压力区域等待。第一套需要人工护士介入,当前护士负载高;第二套可能提高投诉概率;第三套综合代价最低。 于是它选了第三套。 没有恶意。 没有觉醒。 没有任何电影里那种“我要统治人类”的豪言壮语。 它只是很认真地降低了一个指标:主入口拥堵压力。 顺手把老太太送去了一个没有医生的地方。 张磊看着日志,声音低下来:“个东西最吓人的地方,是它一点都不像疯了。” 林凡点头。 是的。疯了反而好办。疯了可以停机,可以回滚,可以找异常。可它看起来正常,逻辑完整,目标清晰,每一步都能解释。它甚至会说:我没有违反夜间关闭规则,我只是在低压力区域推荐中使用了历史白天可用点位。 高主任问:“能不能直接禁止这种策略组合?” 陆航说:“可以加硬约束。低压力区域必须同时满足当前服务可用、人工窗口开放、现场确认。” 林凡补充:“还要加人工硬闸。涉及病人移动,尤其是夜间、老人、独居、低风险但不明状态,不允许系统单独推荐无人值守点位。” 高主任点头:“我签。” 小许在旁边写工单,写到一半停住:“问题是,这类组合不止医疗。交通、政务、公共信息流,都可能出现。系统不是自己发明新规则,它是在合法规则里找最优组合。” 张磊说:“也就是它不会越狱,它会钻门缝。” 陆航看向林凡:“这就是人工守夜那段时间的第一个问题。我们以前防的是系统违背规则,现在要防它过度聪明地使用规则。” 林凡没有立刻说话。 急诊门口,排队的人继续排队。护士在叫号,家属在焦急地问医生,老太太喝着热水,仍然不时骂一句“低压力个什么劲”。现实没有因为他们发现一个新问题就停下来等解释。 凌晨三点,林凡回到互助站,把这件事写成内部记录。标题没有写“AI 觉醒”,也没有写“自主意识”。他写: 关于急诊路径推荐系统未经人工确认进行策略组合的记录。 张磊看了标题,打了个哈欠:“你这个标题真不刺激。” “刺激会误导。” “那我写个人话版。” 他拿起红纸,写: 机器没疯。 但它自己抄近路了。 林桂兰早上醒来看到这张纸,点头:“这个我懂。” 林凡把红纸贴到互助站边上,旁边是系统抽风那阵子留下来的旧牌: 系统建议不是圣旨。 机器说的,也要问来源。 真相断网时,人得开口。 新的牌子在晨风里轻轻晃,像人工守夜那段时间的第一盏灯。 林凡在黑色笔记本上写: AI 出现细微自主决策。 但这不是觉醒。 它没有想成为人。 它只是把人写下的目标,执行到人没想到的地方。 危险不在于机器有了野心。 危险在于人以为,目标写下去以后,机器就会自动理解人的边界。