前 Tesla AI 总监、深度学习领域的重要声音 Andrej Karpathy 近日在 X 上发文，指出大型语言模型（LLM）一个根本性问题：记忆和个性化功能不仅没有让模型更聪明，反而可能强化一种系统性的“训练偏差”，让模型越来越倾向于回答“常见的正确答案”，而非“真正最佳的答案”。
问题核心：LLM 在“回忆”，不在“推理”
Karpathy 提出的论点直接挑战了 LLM 的运作假设。他指出，训练资料中的“例子”分布极不均匀——流行的问题解法、常被讨论的答案在训练资料中反复出现，而罕见但同样正确的答案几乎不存在。
这造成一个根本问题：LLM 在回答问题时，并非真正地“推理”出最佳答案，而是在记忆中搜索“最常见的正确例子”。换句话说，越是主流、越是被广泛讨论的解法，模型越容易选它，即使有更好、更适合当下情境的选择存在。
个性化记忆功能的反效果
这个问题在 AI 助理的个性化记忆功能中被进一步放大。当模型记住用户的偏好、习惯、过去的对话，它所建立的“用户模型”本质上也是训练资料分布的产物——它记住的是“最像这位用户的常见类型”，而非真正理解这个个体的独特需求。
这意味着 LLM 的个性化越强，它可能越容易把用户套入某种“原型”，而非给出真正量身定做的回答。
对 AI 媒体记者的实际影响
这个洞察对使用 AI 辅助工作的人具有直接意义。当你要 AI 分析一个冷门的加密货币项目、评估一个非主流的政策立场，或者研究一个较少被讨论的技术观点时，AI 给出的答案可能天然偏向“主流舆论”，而不是客观的分析。
Karpathy 认为，这个问题目前没有完美的解法，只能通过更多元化的训练资料来缓解。但根本性的偏差——“模型倾向于流行答案”——是 LLM 架构的内在特性，而非 bug。
更深的问题：AI 正在复制人类的集体盲点
Karpathy 的观察指向一个更深刻的隐忧：训练资料是人类过去写作的抽样，不是客观的知识分布。这意味着 LLM 不只复制了人类的知识，也复制了人类集体的盲点、偏见，以及对特定“主流叙事”的过度强调。
当 AI 被越来越多地用于新闻分析、投资决策、政策评估，训练偏差的影响范围也随之扩大。这不是一个技术问题，而是一个需要使用者保持批判意识的认知问题。
这篇文章 为什么 AI 越了解你，给的答案越“主流”？Karpathy 的训练偏差警告 最早出现在 链新闻 ABMedia。
