Wackysoft 解析大语言模型的工作原理及未来趋势

技术博主 Wackysoft 近日发表了一篇文章，深入探讨了大语言模型（LLM）的工作原理及其在不同阶段的应用特点。文章指出，尽管 LLM 在文本生成方面表现出色，但其核心机制仍基于概率预测，存在一定的局限性。

无论是 ChatGPT、Claude 还是文心一言，所有大语言模型的核心工作机制都是给定上文，预测下一个最可能出现的 token。这种机制类似于大规模的输入法联想，只是词汇量达到了几万亿级别，上下文窗口可以容纳整本书。然而，LLM 并没有世界模型，它不理解物理现象，只是根据训练数据中的模式进行推断。例如，当输入“杯子打翻”时，LLM 会推断下文大概率接“水洒了”，因为它读过几百万个类似的句子。

由于 LLM 的底层机制是概率预测，因此在某些情况下会出现所谓的 AI 幻觉。例如，当你让 AI 数“strawberry”中有几个“r”时，它并不是真正数字符，而是猜测答案。如果猜错了，就出现了幻觉。此外，AI 在处理超出训练数据范围的问题时，不会回答“不知道”，而是生成一个看似合理的答案。这导致了一些常见的认知误区，如认为 AI 可以替代人类判断、输出的事实总是准确的，或者 AGI（通用人工智能）即将实现。实际上，这些观点都存在偏差。

随着技术的发展，AI 从最初的 Prompt 时代（2022-2023）逐渐过渡到推理时代（2024-2025），再到目前的 Agent 时代（2025-2026）。在 Prompt 时代，AI 主要是答题机器，需要用户提出明确的问题才能得到满意的答案。而在推理时代，通过引入多轮自问自答和交叉验证机制，AI 在数学推理、代码生成等方面的能力大幅提升。到了 Agent 时代，AI 不仅能回答问题，还能执行任务，调用外部工具，访问 API，甚至多个 Agent 协同工作。例如，用户只需下达指令，AI 就能查询天气、判断条件、修改日历并通知参会者。这一变化标志着 AI 从“会说话”到“会做事”的重要跨越。