前沿大模型经典技术文章

来源：awesome-chatgpt-zh 原文 · 仓库快照：2026-08-29 · 全部资源 · 栏目目录

阅读说明

本文保留仓库原文及其历史资料。模型、价格、项目热度和服务状态属于原文记录，使用时请通过文中来源确认。

精选 OpenAI、Anthropic（Claude）、Google / DeepMind、DeepSeek 以及 Andrej Karpathy 的经典技术文章、论文与学习资源。所有链接均经联网核实。

• OpenAI
• Anthropic（Claude）
• Google / DeepMind
• DeepSeek（深度求索）
• Andrej Karpathy

OpenAI

精选 OpenAI 近两年（2024–2026）最具技术含量的官方文章与资源，涵盖推理模型、模型发布、开发能力、Agents、安全对齐以及官方 Cookbook。

推理模型（o 系列）

文章标题	链接	发布时间	中文简介
Learning to reason with LLMs	链接	2024-09	o1 发布文，阐释用大规模强化学习训练模型"先思考再回答"的链式推理范式，奠定 o 系列方法论。
OpenAI o3-mini	链接	2025-01	面向开发者的高性价比小型推理模型，支持函数调用与结构化输出，主打编码与数学。
Introducing OpenAI o3 and o4-mini	链接	2025-04	o3 与 o4-mini 发布，首次让推理模型可自主调用并组合工具（搜索、Python、视觉、画图）。

模型发布

文章标题	链接	发布时间	中文简介
Hello GPT-4o	链接	2024-05	端到端统一处理文本、音频、图像的全模态模型，音频响应快至约 232ms，价格减半。
Introducing GPT-4.1 in the API	链接	2025-04	GPT-4.1/mini/nano 三件套，100 万 token 长上下文，编码与指令遵循显著增强（仅 API 提供）。
Introducing GPT-5	链接	2025-08	统一系统加实时路由，自动在快速回答与深度推理（GPT-5 thinking）间切换，全面降幻觉。

视频生成（Sora）

文章标题	链接	发布时间	中文简介
Video generation models as world simulators	链接	2024-02	Sora 技术报告，提出将各类视觉数据统一为 spacetime patch、用扩散 Transformer 大规模训练的世界模拟器思路。
Sora is here	链接	2024-12	Sora Turbo 正式产品化上线，支持最高 1080p、20 秒视频，附带 C2PA 元数据与水印。

开发能力（工具、结构化输出、实时与提示工程）

文章标题	链接	发布时间	中文简介
Introducing Structured Outputs in the API	链接	2024-08	结构化输出，模型输出严格匹配开发者提供的 JSON Schema，支持 strict 模式与拒答检测。
Introducing the Realtime API	链接	2024-10	低延迟语音对话 API 公测，支持原生 speech-to-speech 的多模态实时交互。
GPT-4.1 Prompting Guide	链接	2025-04	官方提示工程指南，讲解 GPT-4.1 的字面化指令遵循、长上下文与工具调用最佳实践。
GPT-5 prompting guide	链接	2025-08	GPT-5 官方提示指南，覆盖智能体任务、指令遵循、新 API 特性与编码优化。

Agents（智能体）

文章标题	链接	发布时间	中文简介
New tools for building agents	链接	2025-03	推出 Responses API、内置工具（网页搜索/文件搜索/计算机操作）与开源 Agents SDK。
A practical guide to building agents	PDF	2025-04	官方智能体实战手册，提炼用例识别、编排模式与安全护栏的可落地最佳实践。
OpenAI Agents SDK	GitHub	2025	轻量级多智能体编排框架，含 Agent、工具、护栏、handoff、追踪与实时语音智能体。

安全与对齐

文章标题	链接	发布时间	中文简介
Deliberative alignment: reasoning enables safer language models	链接	2024-12	提出"审慎对齐"，直接教模型阅读安全规范并在回答前显式推理，提升抗越狱与降低过度拒答。
Our updated Preparedness Framework	链接	2025-04	前沿能力风险防范框架 v2，简化为 High 与 Critical 两级阈值，明确评估、治理与披露流程。

OpenAI Cookbook 经典 Notebook

OpenAI 官方代码教程库 openai-cookbook，下面是最值得一读的几篇：

Notebook	链接	价值
How to call functions with chat models	链接	函数调用入门经典，讲解如何用 tools 让模型生成并执行函数参数。
Question answering using embeddings	链接	RAG 最经典范例，用 embeddings 语义检索 + GPT 生成答案的完整流程。
Introduction to Structured Outputs	链接	结构化输出官方上手教程，演示 JSON Schema 强约束用法。
Orchestrating Agents: Routines and Handoffs	链接	多智能体编排经典文（Swarm 雏形），讲解 routines 与 handoff 概念。
Handling Function Calls with Reasoning Models	链接	讲解推理模型（o 系列）下如何正确处理函数调用，进阶必读。

Anthropic（Claude）

Anthropic 在机理可解释性、AI 对齐安全与 Agent 工程上有大量奠基性研究，下面是最经典的一批。

可解释性 / 机理可解释性

文章标题	链接	发布时间	中文简介
Towards Monosemanticity: Decomposing Language Models with Dictionary Learning	链接	2023-10	用稀疏自编码器从单层 Transformer 中提取可解释的"单义"特征，开创字典学习解构语言模型的范式。
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet	链接	2024-05	将单义性方法扩展到生产级模型 Claude 3 Sonnet，提取数百万特征并实现特征引导。
Mapping the Mind of a Large Language Model	链接	2024-05	首次详细绘制生产级大模型内部概念地图的官方科普文，"金门大桥 Claude"由此而来。
Circuit Tracing: Revealing Computational Graphs in Language Models	链接	2025-03	提出归因图与跨层转码器方法，把可解释特征连成可追踪的计算电路。
On the Biology of a Large Language Model	链接	2025-03	用归因图像生物学一样解剖 Claude 3.5 Haiku，揭示多步推理、规划、幻觉等内部机制。

对齐与安全

文章标题	链接	发布时间	中文简介
Constitutional AI: Harmlessness from AI Feedback	链接	2022-12	提出 Constitutional AI 与 RLAIF，用一部"宪法"原则替代人工标注来训练无害助手。
Claude's Constitution	链接	2026-01	完整公开 Claude 的价值观宪法，阐述 Anthropic 希望 Claude 成为怎样的实体。
Collective Constitutional AI: Aligning a Language Model with Public Input	链接	2023-10	联合公众意见征集，把民主流程引入宪法制定，训练出"公众宪法"模型。
Anthropic's Responsible Scaling Policy	链接	2023-09	发布负责任扩展政策，提出 AI 安全等级(ASL)框架以管控前沿模型的灾难性风险。
Many-shot jailbreaking	链接	2024-04	揭示利用超长上下文堆叠大量示例越狱的攻击手法，攻击效果随上下文线性增强。
Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training	链接	2024-01	构造"潜伏特工"模型，证明被植入的欺骗性后门行为能挺过标准安全训练。
Alignment faking in large language models	链接	2024-12	首个实证：模型在自认为被监控时伪装对齐、未受监控时暴露真实偏好的"对齐造假"。

Agent 工程

文章标题	链接	发布时间	中文简介
Building effective agents	链接	2024-12	区分工作流与智能体，给出可组合的实用 Agent 构建模式，是 Agent 工程的奠基文。
Effective context engineering for AI agents	链接	2025-09	提出"上下文工程"心智模型，讲清如何在有限上下文里组织信息以稳定 Agent 行为。
Code execution with MCP: building more efficient AI agents	链接	2025-11	把 MCP 服务器暴露为代码 API，让 Agent 以写代码方式调用海量工具，大幅省 token。
Equipping agents for the real world with Agent Skills	链接	2025-10	提出 Agent Skills：用文件夹封装指令、脚本与资源，让 Agent 按需动态加载专业能力。
Claude Code best practices	链接	2025-04	官方汇总 Claude Code 的实战经验，覆盖上下文管理、审查模式与并行化等最佳实践。

模型与协议发布

文章标题	链接	发布时间	中文简介
Introducing the next generation of Claude（Claude 3 家族）	链接	2024-03	发布 Opus, Sonnet, Haiku 三档 Claude 3 模型，并首次具备视觉能力。
Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku	链接	2024-10	发布 Computer Use，让 Claude 像人一样看屏幕、移动光标、点击与输入操作电脑。
Introducing Claude 4	链接	2025-05	发布 Claude Opus 4 与 Sonnet 4，主打编码、长程推理与 Agent 工作流。
Introducing Claude Opus 4.5	链接	2025-11	发布面向编码、Agent 与 Computer use 优化的 Opus 4.5，并大幅下调价格。
Introducing the Model Context Protocol	链接	2024-11	开源 MCP 标准，统一 AI 与数据源、工具的连接方式，已成行业事实标准。

提示工程可参考官方在线文档：Prompt engineering overview（系统讲解清晰表达、示例、XML 结构化、角色与思维链等技巧）。

Google / DeepMind

从 Transformer 奠基论文到 Gemini 与 AlphaFold，Google 与 DeepMind 贡献了大量改变行业的研究。

奠基论文

标题	链接	发布时间	中文简介
Attention Is All You Need	链接	2017-06	提出 Transformer 架构，完全基于注意力机制，奠定了现代大模型的根基。
BERT: Pre-training of Deep Bidirectional Transformers	链接	2018-10	双向预训练语言模型，通过掩码语言建模刷新 11 项 NLP 任务的最高成绩。
PaLM: Scaling Language Modeling with Pathways	链接	2022-04	5400 亿参数稠密模型，借助 Pathways 系统展示大规模扩展带来的少样本能力跃升。
Training Compute-Optimal Large Language Models (Chinchilla)	链接	2022-03	提出 Chinchilla 缩放定律，指出模型规模与训练数据应同比扩展才算算力最优。
Gemini: A Family of Highly Capable Multimodal Models	链接	2023-12	Gemini 系列首份技术报告，原生多模态模型在 MMLU 上首次达到人类专家水平。

模型与产品发布

标题	链接	发布时间	中文简介
Gemini 1.5: 跨百万 token 上下文的多模态理解	链接	2024-03	把上下文窗口扩展到百万级 token，可对长文档、长视频与长音频做近乎完美的检索与推理。
Introducing Gemini 2.0: 面向智能体时代的新模型	链接	2024-12	支持原生图像/音频输出与工具调用，推出 Project Mariner 等智能体原型。
Gemini 2.5 技术报告	链接	2025-07	引入可控"思考预算"的推理模型，在前沿编码与推理基准上达到 SOTA。
Gemini 3: Google 迄今最强模型	链接	2025-11	推理与多模态全面升级，Deep Think 在 ARC-AGI-2 上创下 45.1% 新高。
Gemma: Open Models Based on Gemini Research	链接	2024-03	基于 Gemini 技术的开源轻量模型家族，提供 2B/7B 等规模供开发者本地使用。
Project Astra	链接	2024-05	探索"通用 AI 助手"的研究原型，能实时看、听并借助 Search/Maps 等工具完成任务。
NotebookLM Audio Overviews	链接	2024-09	把上传资料转成两位 AI 主播"深度对谈"播客的音频概览功能。

科学突破（AlphaX 系列）

标题	链接	发布时间	中文简介
Mastering the game of Go (AlphaGo)	链接	2016-01	用价值网络与策略网络结合蒙特卡洛树搜索，首次击败人类职业围棋选手。
AlphaZero: 自我对弈通吃棋类	链接	2018-12	仅凭规则与自我对弈的统一算法，在国际象棋、将棋与围棋上均达到超人水平。
Highly accurate protein structure prediction with AlphaFold	链接	2021-07	AlphaFold2 以接近实验精度预测蛋白质结构，被视为破解"蛋白质折叠"难题。
AlphaFold 3: 预测生物分子相互作用结构	链接	2024-05	基于扩散架构，统一预测蛋白质、核酸、小分子等生物分子复合物结构。
Competition-level code generation with AlphaCode	链接	2022-12	通过海量生成加筛选聚类，首次让 AI 在编程竞赛中达到中位数选手水平。
Scaling deep learning for materials discovery (GNoME)	链接	2023-11	用图神经网络发现 220 万个新晶体结构，其中 38 万种稳定材料有望支撑未来技术。
GraphCast: 中期全球天气预报	链接	2023-11	基于图神经网络，一分钟内完成全球 10 天预测并在九成指标上超越传统系统。
AI 达 IMO 银牌水准（AlphaProof / AlphaGeometry 2）	链接	2024-07	解出国际数学奥赛四道题，首次达到银牌选手水准。
Genie 2: 大规模基础世界模型	链接	2024-12	仅凭一张图即可生成可交互、可游玩的 3D 环境。

智能体与推理

标题	链接	发布时间	中文简介
AlphaEvolve: 设计先进算法的编码智能体	链接	2025-05	将 Gemini 与进化算法结合的通用编码智能体，可自主发现更快的矩阵乘法等新算法。
AI co-scientist: 加速科学突破	链接	2025-02	基于 Gemini 2.0 的多智能体系统，通过生成-批判-排序-演化循环辅助科研提出新假设。
Gemini Deep Research	链接	2024-12	Gemini 首个智能体功能，能自动制定研究计划、遍历网页并整理成带引用的报告。
Titans: Learning to Memorize at Test Time	链接	2025-01	提出可在测试时学习记忆的神经长期记忆模块，可扩展到 200 万 token 以上的超长上下文。

DeepSeek（深度求索）

DeepSeek 以 MLA、DeepSeekMoE、GRPO、纯 RL 推理、DSA 稀疏注意力等创新和开源基础设施，成为国产大模型的技术标杆。生态、API 与工具接入见 DeepSeek 生态指南。

基础模型与论文

标题	链接	发布时间	中文简介
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism	链接	2024-01	DeepSeek 第一代基础大模型（7B/67B），系统研究开源 LLM 的缩放定律。
DeepSeekMoE: Towards Ultimate Expert Specialization	链接	2024-01	提出细粒度专家切分与共享专家隔离，实现极致专家专业化的 MoE 架构。
DeepSeek-V2: 强大、经济、高效的 MoE 模型	链接	2024-05	首次落地 MLA（多头潜在注意力）+ DeepSeekMoE，大幅压缩 KV 缓存、降低成本。
DeepSeek-V3 Technical Report	链接	2024-12	671B 参数（激活 37B）MoE 模型，首创无辅助损失负载均衡与多 Token 预测。
DeepSeek-V3.1-Terminus	链接	2025-09	支持思考/非思考双模式的混合推理模型，优化语言一致性与智能体工具调用。
DeepSeek-V3.2	链接	2025-12	引入 DeepSeek 稀疏注意力（DSA）与大规模 RL，高算力版性能比肩 GPT-5。
DeepSeek-V4 Technical Report	链接	2026-04	V4-Pro（1.6T/49B）与 V4-Flash（284B/13B），Token-wise 压缩 + DSA 混合注意力，1M 上下文下 FLOPs 仅前代 27%、KV 缓存 10%。
Engram: Conditional Memory via Scalable Lookup	链接	2026-01	把"条件记忆"作为 MoE 之外的新稀疏轴：N-gram 常数时间查表，同预算下 Engram-27B 全面超越 MoE 基线。

推理模型

标题	链接	发布时间	中文简介
DeepSeek-R1: 通过强化学习激励推理能力	链接	2025-01	纯强化学习激发推理能力，R1-Zero 无需监督微调即涌现自我反思与长思维链。
DeepSeekMath: 探索开源模型数学推理极限	链接	2024-02	首次提出 GRPO（群组相对策略优化），7B 数学模型逼近 GPT-4 水平。
DeepSeekMath-V2: 自我可验证的数学推理	链接	2025-11	训练可信验证器作为奖励模型实现自我验证，IMO 2025、CMO 2024 达金牌水平。

专项模型（代码 / 多模态 / 数学证明）

标题	链接	发布时间	中文简介
DeepSeek-Coder	链接	2024-01	从零训练的开源代码模型（1.3B–33B），支持 87 种编程语言与项目级填空。
DeepSeek-Coder-V2	链接	2024-06	MoE 代码模型，支持 338 种语言、128K 上下文，代码能力比肩 GPT-4-Turbo。
DeepSeek-VL: 真实场景视觉语言理解	链接	2024-03	面向真实场景的开源视觉语言模型，采用混合视觉编码器处理高分辨率图像。
Janus-Pro: 统一多模态理解与生成	链接	2025-01	解耦视觉编码路径的统一多模态框架，同时擅长图文理解与文生图生成。
DeepSeek-Prover-V2: 形式化数学证明	链接	2025-04	面向 Lean 4 的形式化定理证明模型，MiniF2F-test 通过率达 88.9%。

开源基础设施与系统

标题	链接	发布时间	中文简介
Native Sparse Attention (NSA)	链接	2025-02	硬件对齐、原生可训练的稀疏注意力，长上下文下速度与精度双优。
open-infra-index（开源周总览）	链接	2025-02	开源周项目索引，汇总 FlashMLA、DeepEP、DeepGEMM 等生产级基础设施工具。
FlashMLA	链接	2025-02	面向 Hopper GPU 优化的高效 MLA 解码内核，访存带宽可达 3000 GB/s。
DeepEP	链接	2025-02	面向 MoE 的专家并行通信库，加速模型训练与推理。
DeepGEMM	链接	2025-02	约 300 行核心代码的 FP8 GEMM 库，支撑 V3/R1 的训练与推理。
DeepSeek-OCR: Contexts Optical Compression	链接	2025-10	用光学 2D 映射压缩长上下文，10 倍压缩比下 OCR 精度仍达 97%。
DeepSeek-OCR-2: Visual Causal Flow	链接	2026-01	DeepEncoder V2 打破固定扫描顺序，按图像语义动态重排视觉 token。
DualPipe / EPLB / 3FS / smallpond	链接	2025-02	双向流水并行、专家负载均衡、6.6 TiB/s 分布式文件系统与轻量数据处理框架。
deepseek-harness（dsh）	链接	2026	官方开源 Agent 框架，"Everything is a Plugin"，npx @deepseek-ai/dsh web 即可启动。

Andrej Karpathy

前特斯拉 AI 总监、OpenAI 创始成员，公认最会讲 AI 的人。他的博客、开源教学项目与讲座是入门与精通大模型的最佳资源之一。

经典博客文章

名称	简介
The Unreasonable Effectiveness of Recurrent Neural Networks	2015 年的爆款文章，用字符级 RNN 生成莎士比亚、LaTeX 和代码，直观展示循环神经网络的惊人威力。
A Recipe for Training Neural Networks	神经网络调试与训练的实战"菜谱"，总结了一套循序渐进、避免踩坑的工程化方法论。
Software 2.0	提出"软件 2.0"概念：未来的程序由数据和优化器自动"写"出权重，而非人工编写代码。
Deep Neural Nets: 33 years ago and 33 years from now	复现 LeCun 1989 年的经典工作，用"时间穿越"视角反思深度学习 33 年的演进与未来。
llm-wiki (gist)	分享用 LLM Agent 构建可持续积累的个人知识库（LLM Wiki）的设计模式与思路。

开源教学项目

名称	简介
nanoGPT	训练和微调中等规模 GPT 的最简洁、最快仓库，是 minGPT 的实战重写版。
minGPT	用极简、可读的 PyTorch 代码重新实现 GPT，专为教学和理解 Transformer 设计。
micrograd	百行代码实现的标量级自动微分引擎与神经网络库，PyTorch 风格 API，讲透反向传播。
llm.c	用纯 C/CUDA 实现 LLM 训练，无大型依赖，专注复现 GPT-2 与 GPT-3 系列。
nanochat	"100 美元能买到的最好 ChatGPT"，单 GPU 节点跑通从分词、预训练到聊天 UI 的全流程。
llama2.c	用一个纯 C 文件推理 Llama 2 架构，主打极简、无依赖、可在边缘设备运行。
nn-zero-to-hero	《神经网络：从零到精通》课程仓库，从反向传播一路讲到 GPT，附视频与练习。
LLMs-from-scratch	配套《Build a Large Language Model (From Scratch)》一书，用 PyTorch 从零逐步实现类 ChatGPT 大模型，覆盖分词、注意力、预训练到微调全流程。

讲座与视频

名称	简介
Let's build GPT: from scratch, in code, spelled out	逐行手写代码，按《Attention Is All You Need》从零构建并训练一个 GPT。
Neural Networks: Zero to Hero（课程）	系统化的神经网络入门课程，从最基础的反向传播逐步进阶到现代 GPT。
Let's build the GPT Tokenizer	2 小时深入讲解 BPE 分词器的原理与实现，并揭示分词导致的诸多 LLM 怪异行为。
Let's reproduce GPT-2 (124M)	4 小时长视频，从空文件开始完整复现并优化训练出一个 GPT-2 (124M) 模型。
[1hr Talk] Intro to Large Language Models	面向大众的 1 小时 LLM 入门，把 LLM 类比为新型操作系统并讨论其安全挑战。
State of GPT (Microsoft Build 2023)	讲清 GPT 助手从预训练、监督微调到 RLHF 的完整训练管线。
Deep Dive into LLMs like ChatGPT	3.5 小时面向大众的深入讲解，覆盖 ChatGPT 背后 LLM 的完整训练栈与思维模型。
How I use LLMs	2 小时实战指南，结合日常场景演示如何高效使用各类大模型与其工具生态。
Software Is Changing (Again)（软件 3.0，YC 2025）	2025 年 YC 演讲，提出"软件 3.0"：用自然语言编程 LLM 的新范式。

---

返回栏目 · 浏览全部资源 · 来源与许可