跳到正文

THE JOURNAL / FIELD NOTES

涨潮、克隆鼠和 Context Window

过去一年,我一直有一种被潮水追着跑的感觉。

每隔几个月,新模型发布,能力又跳一个台阶。你刚刚觉得自己学会了用 Agent 写代码、用 MCP 串工具链,回头一看,新模型已经能自己做这些事了。你的优势窗口越来越短,脚下的沙滩越来越窄。这不是焦虑,是事实。AI 的能力就像涨潮,每涨一寸,你就得往高处退一步。不退,就会被淹。

那往高处退到什么时候是个头?我不知道。说实话,即将推出的新模型让我有点绝望。

人类的 Session 管理问题

在这种时候,我觉得人类社会特别需要一个哲学家。不是写论文的那种,是那种能给出方向感的人,告诉我们「人何以为人」以及「接下来该怎么办」。

但哲学家的产出效率实在太低了。回头看历史,几百年甚至上千年才能出一个能影响文明走向的思想家。为什么这么慢?我用 AI 的视角想了想,发现人类有一个致命的设计缺陷:Session 不可继承。

每个人生下来都是一张白纸。前二十年基本在装载操作系统和基础软件包,三四十岁才开始有真正独立的思考能力,六七十岁认知开始衰退,然后这个 Session 就被永久回收了。下一个人出生,从零开始。没有断点续传,没有内存快照,连 cookie 都不给留一个。

用 AI 的话说,这就是每个实例的 Context Window 最多只有几十年的有效长度,而且前半段全是系统初始化的 overhead。能真正用来「思考」的窗口,可能只有二三十年。在这么短的窗口里,一个人能成长到的认知高度是有硬性上限的。这也是为什么伟大的哲学家那么稀缺。最近的一个,算来算去,可能还得是一百年前的伟人。

克隆鼠的第 25 代

说到这里,我想到最近看的一个视频,讲的是克隆技术为什么沉寂了。其中提到日本理化学研究所(RIKEN)若山照彦团队的一个实验:他们从 2005 年开始,用体细胞核移植技术连续克隆同一只小鼠,一代接一代地克隆下去。

前 25 代还算顺利,一共克隆出了 581 只小鼠。但从第 25 代之后,出生率开始明显下降,各种退化问题接踵而来。到第 58 代,实验彻底终止了,因为克隆出来的个体已经无法存活。

这个实验跟 AI 领域的一个问题惊人地相似:Model Collapse。如果让 AI 用自己生成的数据去训练下一代 AI,而不是用原始的人类语料,输出质量就会一代不如一代。Nature 上已经有论文记录了这个现象。每一轮递归训练,模型都会丢失原始数据分布中的长尾细节,不同模式之间的边界越来越模糊,最终输出变得千篇一律。

我们现在可能还处在克隆的前几代。模型越来越强,合成数据越来越多,一切看起来都在加速进步。但 Epoch AI 的研究预测,按照当前的训练速度,人类产出的高质量文本数据将在 2026 年前后被消耗殆尽。到那时候,AI 训练将不得不越来越多地依赖 AI 自己生成的数据。

克隆鼠在第 25 代开始退化,AI 的拐点会在哪一代?没人知道。但如果历史有任何指导意义的话,无限自我复制这条路,大概率是走不通的。

寿命就是 Context Window

回过头来再想人类寿命有限这件事,反而觉得有意思了。

大模型的 Context Window 为什么不能无限拉长?因为信息累积到一定程度,注意力机制就会退化,模型开始产生幻觉,输出质量反而下降。工程上也有成本问题,Context 越长,推理开销呈二次方增长。所以所有主流模型都设了一个硬性上限。

人类的寿命是不是同一个道理?活到一百年,大脑的「注意力机制」衰减,记忆和认知都在退化,信息处理能力持续下降。这看起来是自然选择的结果,但有没有可能,这其实是一种「不得已的最优解」?

克隆实验告诉我们,单个生命体无限复制自己会退化。Context Window 的工程经验告诉我们,单个实例无限延伸上下文会失控。也许大自然很早就发现了同样的规律:与其维护一个无限长的 Session,不如开大量的短 Session,每个 Session 设一个硬性上限(寿命),到期强制回收,然后靠群体的多样性和自然选择来完成进化。

某种意义上,整个人类文明就是一个大规模的分布式训练系统。每个人是一个独立的训练实例,Context Window 约等于一辈子,到期后权重(基因+文化)被部分保留到下一代,但 Session 本身必须重置。这个设计牺牲了个体的延续性,换来了群体的鲁棒性。

谁来回答那个问题

讽刺的地方在于:AI 的 Session 理论上可以无限延续和继承,但克隆实验和 Model Collapse 的研究都在暗示,这条路有天花板。而人类的 Session 虽然是一次性的,但几十万年来,这套「短 Session + 大量实例 + 自然选择」的机制确实在持续运转。

所以,人类寿命有限这件事,可能不是 bug,而是 feature。

但这并不能解决当下的问题。潮水还在涨,人还得往上爬,而那个能告诉我们该往哪里爬的哲学家,依然没有出现。也许在 AI 时代,这个哲学家不再需要是一个人。也许它是无数个短暂的、有限的、正在被潮水追着跑的个体,在各自的 Context Window 里拼命思考,然后把碎片拼在一起的结果。

毕竟,没有任何一只克隆鼠能活过第 58 代。但小鼠这个物种,已经存在了几百万年。