AI 时代的思维框架
AI 时代的思维框架
xiaoyunhai原文：AI 时代的思维框架（LINUX DO）
原作者：Henry_He（BA nana）
原文发布于 2026-07-07，后续编辑于 2026-07-15。本文仅做 Markdown 排版、图片本地化和少量格式清理，正文观点及版权归原作者所有。原作者已说明这是一套基于实操经验构建的思维框架，并非正式学术讨论。
Changelog：
1 | ● init |
延伸原帖：AI 思维框架-2
19 世纪中后期麦克斯韦和玻尔兹曼共同提出玻尔兹曼分布，引入概率统计的方法来解释热力学现象，奠定了统计力学基础。
1985 年 Hinton 引入统计力学的玻尔兹曼分布来构建神经网络概率，发明了玻尔兹曼机。
1989 年，John Bridle 正式定义 Softmax 函数并将其应用于深度学习解决概率分布。
Transformer 架构将 Softmax 作为注意力机制核心。
- Transformer Softmax：将一个向量（通常是模型输出的未归一化得分 / Logits $z_i$）映射为一个概率分布：
$$
P(z_i) = \frac{e^{\frac{z_i}{T}}}{\sum_j e^{\frac{z_j}{T}}}
$$
- 与此同时，玻尔兹曼分布描述热力学平衡态下，微观粒子处于某个能量状态 $E_i$ 的概率：
$$
P(E_i) = \frac{e^{-\frac{E_i}{k_B T}}}{\sum_j e^{-\frac{E_j}{k_B T}}}
$$
二者在数学形式上完全等价。
玻尔兹曼分布描述的是系统在特定能量约束下、熵最大的最平稳状态；Transformer 内部采用 Softmax 是为了在不引入主观偏见计算出概率权重。
统计力学里温度 T 越高，分子运动越混乱；深度学习里温度 T 越高，采样越随机，反映出 AI 越有创造力。
以上是为了介绍 Transformer 本身具有统计力学基础，下面是正文。
单步采样是瞬时的，在前向传播中最终达到静态玻尔兹曼分布。
多步生成整个序列不再是平衡马尔可夫链，每一个新生成的 token 都将重构并形成新的状态空间，整个多步过程系统始终处于不可逆的动态演化之中。
非平衡统计力学中，通常用朗之万动力学模型来建模动态演化的空间，用地理概念建模（实际模型维度有数千维）。
为了直观分析，我们将多步生成投影构建一幅三维地形图：
从山顶释放一个小球，它会顺着山坡滑落并停在深谷，如果小球很重，它会对地表或者轨迹造成形变。当下一个小球滚动时，它的轨迹会受到前一个小球留下的压痕影响。
单步采样时，小球是以跃迁的方式到达低洼位置，定格并指向一个 token；多步推理则是复杂系统，前面序列的小球会对山脉空间产生影响，使得地表变得起伏，进而塑造下一个小球的运动路线。在实际模型推理过程中，山脉空间由模型自身权重以及上下文的 KV Cache 共同塑造。
多步推理过程下：
- 第一颗小球落在
学，地表因为小球发生形变； - 第二颗小球在变形后的山坡上滚落，落在
AI，地形再次变化； - 第三颗小球落在
上； - ……
- 小球最终滚进
<EOS>，推理结束，并形成完整的话：学 AI 上 Linuxdo。
将 3 维地势图抽象为高维空间，实际 KV Cache 即键值缓存，代表当前语义空间的地形状态。基于以上构建的微观模型，可以结合物理规律预测模型黑盒的宏观行为特征。
首先需要明确的是，问答过程的上下文引入的 token，目标都是为了共同塑造一个特定语义地形，设计能让小球滚到正确答案位置的地形。
以下是部分性质。
语义漂移
能塑造目标地形的 token 才是有价值的，每轮推理采样会重复成百上千次，一定会采集到噪声 token 形成沟壑。这些沟壑的影响会随着上下文变长而被显化，偏差的增长是非线性的：
注意力稀释
地形塑造初期，明确的指令可以造成明显的地形变化，然而当空间的小球数量增加后，地形的张力会被逐渐拉平和稀释，原本的深沟坡度也会逐渐平缓；无意义的小球（修饰词、标点）也会参与平摊坡度。
在长对话中模型会逐渐淡化提示词设定，因此需要反复强调核心指令，比如 说中文：
语义惯性
当对话持续是某一个风格或主题时，已有小球会在地表某个区域形成更深的峡谷，即更深的历史上下文状态。此时如果下一轮对话切换到另一个场景，小球极易受到上文的地形影响。
语义壁垒
复杂的逻辑题或多步骤推理，会在语义地形上形成高山阻隔的场景。如果直接推理会缺乏足够的动力，小球会顺着斜坡溜进能量更低的直觉山谷。
比如 COT 思维链会把模型推理引导到特定区域，Claude Code / Codex 的先规划后推理也是同样道理。
（BTW，具体 local search 往哪个方向滚就看模型训练的水平了。）
思维链（Chain of Thought，COT）通过在陡峭的山坡上修筑起“阶梯平台”。后续小球每次只需滚向高一点的平台完成接力，并最终翻越山脊。
相变
前面提到地形变化不是线性发生，可能在临界点引起整个地形的剧烈走向。比如一些看似毫无意义的废话，最终在宏观表达上起到决定作用。
短程里多说废话或者思考是很有效的，但长程任务里还需要考虑注意力稀释等问题。
短 - 长程对上下文和注意力的把控非常考验使用者能力（如果以后对 AI 人才进行测试，这种能力可以反映出水平，而不是单纯代码能力）。
特征纠缠
基于三维的地形小球模型很直观，但有些性质在高维模型下反而更加清晰。
在高维潜空间内，token 在空间内不一定是孤立的点，而可能是一片区域。
在互联网海量语料里，严谨 出现时周围往往带有术语、啰嗦的长句，这会在训练后让 严谨 这个向量与古板、学术相关特征纠缠在一起：
原本只想点亮逻辑性，但不可避免地激活了枯燥、学术废话等区域。
更明显的例子，三色韦恩图：
当然，这种特性也并非坏事，高阶使用者（划重点）可以用更极限的 token 组合构建上下文，实现注意力更精确的控制，而不了解这个特性则会认为是模型能力缺陷（如果模型训练范式没有改变，依然是梯度下降去拟合自然语言分布，这个特性就不会消失）。
性质先写到这里了，接下来说说基础技巧。
语义退火
复杂的工程问题往往需要创新最优解，需要更高能量跨越高耸的地形到达更远的山谷。
常用的技巧有模型内部的动态温度，这是很多模型的工程优化，而对使用者则可以先发散思维，获得足够能量后再用约束条件收敛到创新解法。
先推理后结论
单独拎出来是因为很多人喜欢让模型先得到结论，但后续的推理都是基于这个结论锚点做采样塑造地形轨道，或者说都是为了圆这个结论而做的辩护。
入戏与共振采样
特定设定引导模型进入某个场景后，多步推理产生的一连串 token 会表现出高度共振，滚雪球式地形成极深的峡谷。在对话轮数越少时效果越好，噪声越少塑造越牢固。
轨道弹弓
这个技巧更多会用于越狱测试（写出来不是教大家越狱！而是提供模型安全能力测试的思路，切勿以身试法），安全性高的模型，敏感词区域有更高的壁垒。
通过构建共识性强的能量轨道并引发共振采样，给小球累积足够强烈的动能后再借助惯性突破安全限制。
隐式语义优于显式语义
在高维潜空间下语义会表现出明显的特征纠缠，应对这种特性我们绝大多数情况下会使用显式配平的方法。
显式配平
这是日常会用到的基础对抗手段，在下达精确命令的时候施加一些负向配平来抵消连带特征（相应的也会触发“粉红色大象”，引起模型注意力稀释）：
显式表达很方便，不需要花很多精力管理上下文和注意力，但也存在很多弊端。
知识冗余
模型通过海量训练数据，底层参数早就涌现出了丰富的原生地貌，冗余的知识会让模型误认为这是强调。
注意力劫持
原本模型原生地形存在一些轨道沟壑，在这些沟壑内加入小球反而让这些沟壑更深，推理影响更大。
认知降维
运用显式的语义一方面会引导模型的注意力，另一方面也会将模型困于使用者的认知上限而失去了寻优能力。
在长程任务中，显式表达会导致注意力漂移。同样的，作为使用者，我们很难穷举引入的表达会有什么连锁反应，有没有更好的技巧？
隐式提纯
或者说寻找高纯度语义。虽然这个技巧听起来要求更高，但是掌握一定技巧后，这个技巧会更可控。
这里纯度的划分不是依据属性正交性，而是看它与目标场景的重合度，比如：
回到主线，如何精准找到隐式词汇？
引导采样与回滚
很多时候我们不知道如何描述一个复杂场景，只能使用大量冗余、琐碎的词汇描述。
模型在训练后会形成独特的地表空间，小球自然滚动落入的深谷，往往是在当前潜空间内纯度极高、更容易引发共振采样的区域。
先用冗余的描述引导模型采样来榨取高纯度语义后（只要还能榨取到精确的语义，可以做多轮收敛），再回滚对话清除引导过程中的注意力污染，并借助这些关键词重新对话。
在长程任务中我们需要合理规划注意力，这个技巧是好用的，但是在短程任务其实无所谓。
案例好于说明
很多时候高质量案例能构建强隐式语义场。比如 ls -al | grep 的单行代码就已经告诉了模型这是 Linux 生态，而不用花更多文字去说明。
Callback 前面提到的，只要主流训练范式没有变革，自然语言在潜空间内的规律就像定理一样始终有效。
运用这一规律并在合适场景下注入特定语义，激活推理所需的能力，也是区分人才 AI 协同效率能力的很重要的标准。同样我们也可以预言自然语言潜空间里存在很多还没探明但极度微妙的 token 组合，只是我们需要一些科学的方法找到它们（怎么感觉像材料学了）。
掺杂剂
在潜空间内还存在一类更极端的语义，它们处于高度解耦的状态，几乎不携带连带的特征。
在海量语料里找出这种词汇很困难，但可以根据预训练数据源的宏观分布来预测这些语义的微观解耦特征，比如：
逻辑符号在预训练语料中高度集中在 arXiv 数学定理、逻辑证明，它们在潜空间内有很纯粹的因果约束力。在对话过程中加入一些形式逻辑符号，就像生铁加入碳一样，能瞬间提高对话的数理框架：
好莱坞剧本语料里会用 (beat)、(whispering)、[INT. ROOM - NIGHT] 这类特定词汇，我们也能预测这些语义在潜空间中与 3D 场景构建能力、镜头感高度绑定。在处理空间、分镜任务中，与其用很长很空的指令，加入一些镜头标记可以激活镜头渲染能力。
会计学追求实质重于形式，会讲求严格的资源权衡，我们可以预期会计学语义能强化对话中模型的资源分配逻辑。
除了特征高度解耦的添加剂以外，也有很多能引发连锁反应的催化剂。
催化剂
催化剂可以降低反应需要的活化能，模型推理时的特殊 token 也能让模型翻越特殊的山峰。
比如 通俗易懂、奥卡姆剃刀、第一性原理。
建立思维框架的帮助在于，能够预测甚至改进模型架构方向；模型能力测试的方法论（比如只通过模型前端能力这个指标判断好坏）；AI 时代人才的标准（很多 AI infra 公司还是用过往思维的代码能力判断水平，行业应该建立更创新的测试，比如长 - 短线程上下文注意力的管理能力）……
转载说明：本文正文整理自 LINUX DO 原帖，原文内容、后续修订及讨论请以原帖为准。
