“思考”一词太模糊，图灵把哲学问题换成可实验的问题：若审问者无法可靠区分人与机器，则从可观察行为上，机器表现出了智能 —— 一种行为主义智能观。
与其写入成年人的全部知识，不如制造类似儿童大脑的初始系统，通过教育、奖惩与经验逐步成长 —— 已非常接近今天的机器学习、强化学习与模型训练思想。
“世界上第一位程序员”阿达·洛芙莱斯认为：机器只能执行命令，不能创造新事物。图灵回应：机器的行为完全可能超出设计者的直接预期。今天关于大模型“理解还是模仿”“有无创造力”的争论，都能在这篇 1950 年论文中找到源头。
提出 “Artificial Intelligence” 这一名称；设计 Lisp 语言，长期是符号主义 AI 最重要的编程语言。“人工智能之父”之一。
推动 MIT 人工智能实验室；在神经网络、认知科学、机器人与符号推理方面影响深远；提出“心智社会”理论。
“信息论之父”：1948 年用“比特”刻画信息与不确定性；研究计算机下国际象棋，是早期机器智能先驱。
IBM 工程师，参与 IBM 701 等早期电子计算机设计，代表当时大型工业计算机公司的工程力量。
知识 → 表示为符号
思考 → 表示为规则
智能 → 搜索与逻辑推演
会议为领域提供了名称、研究议程与共同身份，因此 1956 被称为“AI 元年”。
输入 × 权重 → 加权求和 → 超过阈值则激活，输出 0 或 1。权重代表每个输入特征的重要程度。
预测错了，就沿减小错误的方向调整权重；反复训练后，感知机能逐步找到分类边界。这是最早具有完整学习规则的人工神经网络模型之一：机器的能力可以不由程序员编写，而从数据训练得到。
1958 · Mark I Perceptron：约 400 个光电传感器组成“视网膜”，电机驱动调节权重的真实硬件，获美国海军支持。媒体甚至称它可能“行走、说话、看见和自我复制” —— 技术刚突破，社会就把它想象成完整人类智能，这在 AI 史上反复重演。
明斯基与佩珀特用数学证明：单层感知机无法解决 XOR（异或）—— 四种输入画在平面上，不存在一条直线能把正负样本分开，属线性不可分问题。
该书并未证明所有神经网络都不行 —— 多层网络完全可以解决 XOR。但当时缺少成熟的多层训练方法，数据与算力也有限。它被广泛解读为对神经网络路线的沉重打击：资金与兴趣转向符号主义，连接主义进入长达近二十年的低潮。
费根鲍姆、布坎南与诺贝尔奖得主莱德伯格。根据质谱数据推断有机分子结构。证明：边界清晰的专业领域里，专业知识比通用搜索算法更重要。
肖特利夫等开发，判断严重细菌感染并推荐抗生素，约 450 条规则，可解释推理。评估水平较高，却因医疗责任、工作流程、法律伦理等未能大规模进入医院。
麦克德莫特为 DEC 开发，自动配置 VAX 计算机订单（机柜、线缆、控制器……），每年节省数千万美元 —— 专家系统最成功的商业化案例之一。
即“知识获取瓶颈”与“规则爆炸”。
国家级技术路线：逻辑编程 + 并行推理机，目标是面向知识信息处理的新一代计算机（符号主义路线，非神经网络）。1990 年代初，通用处理器成本优势显现，计划在大量成果后落幕，未实现宏大目标。
基于 IBM RS/6000 SP 并行系统，配备 480 颗专用国际象棋芯片。核心人物：出生于台湾的许峰雄（CMU 时期研制 ChipTest / Deep Thought，为深蓝前身）、穆雷·坎贝尔、约瑟夫·霍恩。
Minimax 极大极小搜索：假设自己与对手都选最优走法，向前推演多步；配合 Alpha-Beta 剪枝 —— 已确定不会更好的分支不再展开，不改变决策却砍掉海量搜索。
搜不到终局，就必须中途打分：棋子价值、王的安全、兵形、中心控制、机动性……这些规则与权重由 IBM 工程师与棋类专家长期设计调优，外加开局库与残局知识 —— 不是自主学习。
1985 年成为世界冠军，国际象棋史上最具统治力的棋手之一。国际象棋长期被视为人类高级智能的象征 —— 棋手要计算、判断局势、制定战略甚至分析心理，因此这场比赛被赋予了超出棋类本身的意义。
高强度搜索 + 人类设计的评估函数 + 专用硬件。它在封闭领域极强，却不会把经验迁移到语言、视觉等其他任务，也不会通过比赛重构自己的算法。
专家系统：人规定“标题含‘免费’加 2 分、正文含‘中奖’加 3 分……”
机器学习：收集大量已标注的正常与垃圾邮件，让算法自己计算哪些词、结构与发送行为最有区分度。
机器学习开始进入真实业务，但系统仍依赖人工设计的特征。
罗斯·昆兰提出。像人类连续提问：“是否包含某特征？数值是否大于阈值？”沿分支得到结论。直观可解释，但单棵树容易过拟合。
科尔特斯与瓦普尼克（统计学习理论奠基人）。寻找间隔最宽的分界线；用核函数把线性不可分数据映射到高维再分割。深度学习兴起前的长期主力方法。
AdaBoost（弗罗因德与沙皮尔）：多轮聚焦分错样本，把弱分类器组合成强模型。随机森林（布雷曼）：多棵随机化决策树投票，更稳定。
鲁梅尔哈特、辛顿、威廉姆斯系统展示误差反向传播：前向计算 → 比较误差 → 把误差信号逐层反向传递，计算每个参数的调整方向。今天训练绝大多数深度网络仍离不开这一框架（思想此前已在控制论等领域出现，1986 论文使其清晰有效地进入神经网络研究）。
因此这一时期高度依赖特征工程：图像识别不直接读原始像素，而由工程师先设计特征 —— SIFT 提取对旋转缩放稳定的关键点，HOG 统计梯度方向描述轮廓。算法只学“如何组合人类预先设计的特征”。
斯坦福李飞飞团队推动：以 WordNet 词义体系为骨架，从互联网收集图片，用 Amazon Mechanical Turk 众包标注。2009 年前后已达上千万张图片、上万个类别；ILSVRC 竞赛取约 120 万张图、1000 个类别。当时研究者手里通常只有几千到几万张图 —— 大规模、高质量数据改写了游戏规则。
小滤波器在图上滑动找局部模式：浅层学边缘方向，深层组合出纹理、部件与物体。约 6000 万参数，5 卷积层 + 3 全连接层。
两块 NVIDIA GTX 580 训练约五到六天。为游戏渲染而生的 GPU，其并行计算单元恰好极适合矩阵运算与神经网络训练。
相比 sigmoid / tanh，正区间保持较强梯度，训练更快，并在一定程度上缓解深层网络的梯度消失。
Dropout 训练时随机关闭部分神经元，防止过度依赖少数连接；裁剪、翻转、颜色扰动从现有图片生成更多训练变化，降低过拟合。
Top-5 错误率：模型给出概率最高的五个类别，正确答案连前五都没进才算错。 2015 · ResNet（微软亚研 何恺明、张祥雨、任少卿、孙剑）：残差/跳跃连接让信息绕过若干层直接后传，152 层网络也能训练，Top-5 错误率 3.57% —— 准确说法是在特定数据集、任务与指标上低于当时报告的人类测试成绩，≠ 机器全面超越人类视觉。
判断当前棋局下哪些位置更值得落子，把数百个可能选择缩小到少数有希望的候选 —— 类似棋手的“第一感”。
不直接选下一步，而是估计当前局面最终获胜的概率 —— 相当于棋手对“形势好坏”的判断。
在策略网络指导下探索分支，结合价值网络评估 —— 不搜完所有路线，把计算投向更有希望的方向。
击败出生于中国、后为法国棋手的欧洲冠军。计算机首次在不让子的正式比赛中战胜职业围棋选手。
首尔挑战韩国九段、多项世界冠军得主。第二局第 37 手：落在职业棋手很少考虑的位置，最初被解说认为出错，随后被证明作用深远 —— 不符合既有人类棋理，却最终有效。
Zero 不学人类棋谱，只懂规则、从随机下棋开始自我对弈，40 天后 100 : 0 击败前版，Elo 估计超 5000。AlphaZero 推广到国际象棋与将棋：训练约 4 小时首次超过 Stockfish（完整训练约 9 小时，硬件与条件异于普通环境）。
论文初衷是机器翻译：8×P100 训练约 3.5 天，WMT'14 英德 28.4 BLEU（+2），英法 41.8 BLEU。
“动物没有过马路，因为它太累了。” —— 注意力让“它”与“动物”建立高关联而非“马路”。
每个词生成 Query / Key / Value：Query＝“我在找什么”，Key＝“我能提供什么”，二者匹配得注意力权重，再对 Value 加权汇总。多头注意力并行学习多组关系：语法、指代、位置、语义……
任意两位置之间信息传递路径为常数级，不像 RNN 距离越远步骤越多；同一序列可大量并行计算。注意：这不等于整体复杂度是 O(1) —— 标准自注意力的计算量与显存约为 O(n²)，长上下文由此成为后来的研究难题。
取消循环后，用位置编码告诉模型词序；残差连接 + 层归一化让深层网络更稳定。架构高度可扩展，适合不断堆大。
BERT（2018，编码器 → 理解）；GPT 系列（解码器 → 生成）；ViT（2020，图像切块当序列）；AlphaFold 2（注意力建模蛋白质）—— 均在 Transformer 基础上大量改造，而非原样复制。
1.17 亿参数。确立路线：先在无任务标注的海量文本上预训练，再针对具体任务有监督微调。
Devlin 等。双向编码器 + 掩码语言模型（遮住词，据左右文还原）。理解强 ↔ GPT 生成强，两条典型路线成形。
15 亿参数，零样本能力显现。因担心被用于批量生成虚假内容，OpenAI 分阶段发布，评估后才开放完整模型。
模型损失随参数、数据、算力增加呈幂律下降：扩大规模不是堆硬件，而是一条可预测的能力提升路线。
1750 亿参数 · 96 层 · 约 3000 亿 token 训练。Token 是模型处理文本的基本片段，≠ 严格的单词或汉字。
过去适配新任务要重新训练参数；GPT-3 只需在提示词里给出任务说明和几个示例，不更新权重就能完成任务 —— 在当前上下文中识别任务模式。
某些能力随规模增长突然变得明显 —— 其定义与测量仍有学术争论。更稳妥的说法：单一预训练模型第一次能通过提示，完成大量过去要分别训练的任务（写代码、写文章、简单推理、模仿文体）。
GPT-3 擅长续写文本，却不一定理解“用户想让它做什么”，还可能生成看似合理、实则错误的内容。解法不是继续单纯扩大规模，而是与人类意图对齐。
人类标注者针对指令编写理想答案，模型学习“高质量回答应该长什么样”。
同一问题生成多个候选答案，由人类排序；奖励模型学习人类偏好：更有帮助、更准确、更安全。
模型生成 → 奖励模型打分 → 近端策略优化调整模型，在提升奖励的同时避免更新幅度过大、失去稳定。
并不完美：仍有幻觉，可能误拒正常问题，或被特殊提示绕过。
上线 5 天 → 100 万用户
约 2 个月 → 1 亿月活
消费级软件史上增长最快的产品之一 —— 大模型第一次从论文和 API，变成可直接交流的产品。
支持文字 + 图像输入；多项专业与学术测试显著超过 GPT-3.5：模拟美国律师资格考试约位于考生前 10%（GPT-3.5 约后 10%）。
谨慎解读：说明知识检索与模式推理能力很强，≠ 已经成为律师，更不代表能独立承担专业责任。
ReAct（2022）让推理与行动交错：缺实时信息→调搜索→观察结果→决定下一步。能力形态：函数调用（按预定义结构请求外部系统：查订单、调接口、控设备、建工单）、代码执行、浏览器操作、Computer Use（截图理解界面 → 点击/输入/滚动）、多智能体协作。但 Agent 不是套个循环就可靠：还需要工具权限、状态管理、异常重试、人工确认、结果验证、日志追踪、安全边界与评估体系 —— 付款、删数据、改生产配置等高风险动作必须人工确认。
o1 / DeepSeek-R1：输出答案前投入更多推理计算 —— “慢思考”≠ 意识，而是用更多 token、搜索与验证分解问题、检查并纠错。竞争从堆预训练参数，扩展到 inference-time compute（测试时计算）；R1 展示了用强化学习显著增强数学/代码/逻辑推理的路线。
GPT-4o（omni）：统一模型处理文字/图像/音频，语音交互不再是“转写→文字模型→合成”三段式。Gemini 1.5：百万 token 长上下文，一次处理长文档、代码、音视频。Sora：文字生成连贯视频。趋势：各模态在共享表示空间中被理解和生成。
量化（FP32→INT8/INT4）、蒸馏（小模型学大模型行为）、NPU 普及 → 小模型跑在手机、PC、汽车、IoT 网关上。优势：快、可离线、省云端成本、敏感数据不必上传。Apple Intelligence：端侧模型 + Private Cloud Compute 分层架构。
Llama、DeepSeek 等让企业与开发者可下载权重，在自己的硬件上部署、量化、微调、集成。注意：开放权重 ≠ 完整开源 —— 是否严格开源，还要看训练代码、数据、架构、评测方法与许可证。
符号主义没有消失：Agent 的工具定义、工作流、知识图谱、程序验证与业务规则里都是它。连接主义不再只是识别图片：已发展为处理语言、图像、声音、视频与科学数据的基础模型。未来强大的 AI，很可能是学习 × 推理 × 搜索 × 工具 × 记忆 × 规则的深度融合。
机器是在思考，还是极其复杂的计算？真理解语言，还是掌握了统计规律？仍无所有人接受的答案。但工程与产业上另一件事已经明确：这些系统已能参与真实的知识工作，正在重构软件、产品、组织与人机协作方式。