2025 年 AI 工程师必读清单

风云 · 发表于 2025-5-10 11:27

登陆有奖并可浏览互动！

您需要登录才可以下载或查看，没有账号？立即注册

×

原文来自 Latent Space：The 2025 AI Engineer Reading List

我们精选了 AI 工程领域 10 大方向的 50 篇论文/模型/博客，涵盖：LLMs（大语言模型）、基准测试、提示工程、RAG（检索增强生成）、智能体、代码生成、视觉、语音、扩散模型、微调。零基础入门 AI 学习者建议从本清单开始。
虽然我们的 2024 年度精选系列已涵盖当年精华内容，但自从发布《如何运营论文研读社》后，我们频繁被问及适合新人或学习小组的系统性学习路线。本清单以 2023 年 a16z 经典书单为蓝本，针对 2025 年进行更新，重点关注工程实践方向。
本清单以 AI 工程师量身定制「必修读物」为标准，遵循以下原则：

精选约 50 篇文献（相当于全年每周 1 篇[1]），可选扩展阅读。
侧重阐释论文价值而非仅罗列名称，提供有效背景说明
立足 AI 工程师实践需求，例如跳过《Attention is All You Need》等基础理论（原因：1. 已被广泛覆盖 2. 实际工作较少直接应用）

我们为以下每个技术方向精选了 5 篇「文献」：

第一章：前沿大语言模型（LLMs）
第二章：基准测试与评估
第三章：提示工程、上下文学习（ICL）与思维链（Chain of Thought）
第四章：检索增强生成（RAG）
第五章：智能体（Agents）
第六章：代码生成（CodeGen）
第七章：计算机视觉（Vision）
第八章：语音技术（Voice）
第九章：图像/视频扩散模型（Diffusion）
第十章：模型微调（Finetuning）

<hr/>第一章：前沿大语言模型（LLMs）

GPT系列论文（GPT-1、GPT-2、GPT-3、Codex、InstructGPT、GPT-4）：无需多说什么必要性吧。注：GPT-3.5、GPT-4o、o1、o3 等版本主要通过技术发布会和系统卡（system cards）披露信息[2]。
Claude 3 与 Gemini 1 论文：理解头部模型竞争格局。最新迭代版本为 Claude 3.5 Sonnet 和 Gemini 2.0 Flash/Flash Thinking，另外还有 Gemma 2。
LLaMA 1，LLaMA 2，LLaMA 3）：开源模型标杆研究。可以将 Mistral 7B、Mixtral 和 Pixtral 可视为 Llama 家族的分支模型。
DeepSeek 系列：V1、Coder、Math、MoE、V2、V3、R1等论文。DeepSeek 是领先的开源模型实验室。
苹果智能（Apple Intelligence）论文：将预装于每台 Mac 和 iPhone 的 AI 技术。

延伸学习建议：除上述模型外，还可以使用并学习其他 LLMs，范围很广泛：

BERT 系列作为工业级分类模型仍具重要价值——ModernBERT 代表当前最先进技术，ColBERT 侧重应用实践。
荣誉提名（了解即可）：AI2（Olmo、Molmo、OlmOE、Tülu 3、Olmo 2）、Grok、Amazon Nova、Yi、Reka、Jamba、Cohere、Nemotron、Microsoft Phi、HuggingFace SmolLM 等，多为排名较低或缺乏论文支持的模型。
扩展定律研究：若时间允许，建议研读扩展定律（Scaling Laws）文献：Kaplan、Chinchilla、涌现/Mirage、后 Chinchilla 定律。[3]
2025年前沿趋势：推理型模型（o1、o3、R1、QwQ、QVQ、f1）将主导市场，相关核心知识可参考《Let’s Verify Step By Step》[4]、STaR 及 Noam Brown 的技术演讲。实践经验多来自行业观察（LS talk）和前沿推文。

第二章：基准测试与评估

MMLU 论文：核心知识评估基准，与 GPQA、BIG-Bench 并列。2025 年前沿实验室使用 MMLU Pro、GPQA Diamond 和 BIG-Bench Hard。
MuSR 论文：长上下文评估标准，与 LongBench、BABILong、RULER 构成评估体系。通过 Needle in a Haystack （大海捞针）方法验证 Lost in The Middle 等问题。
MATH 论文：数学竞赛问题集。前沿实验室聚焦 FrontierMath 及 MATH 的困难问题子集：MATH level 5、AIME、AMC10/AMC12。
IFEval 论文：指令遵循评估标准，被苹果官方采用的外部基准。MT-Bench 可视作其变体。
ARC AGI 挑战：著名的抽象推理「智商测试」基准，持续时间超过其他快速饱和的同类基准。

延伸阅读：我们已在《基准测试 101》《基准测试 201》中详解上述内容，Carlini、LMArena 和 Braintrust 专题则涵盖私有/竞技场/产品化评估（推荐阅读 LLM-as-Judge 及应用型 LLM 论文）。基准测试与数据集紧密关联。
第三章：提示工程、上下文学习与思维链

注：GPT-3论文《Language Models are Few-Shot Learners》已系统阐述上下文学习（ICL）原理，该技术与提示工程紧密相关。提示注入攻击作为必修知识点，推荐参考 Lilian Weng 和 Simon Willison 的研究成果。

提示工程报告：领域综述性论文（配套播客）。
思维链（Chain of Thought）论文：该论文与 Scratchpads、Let’s Think Step By Step 共同推动思维链范式普及。
思维树（Tree of Thought）论文：提出前瞻回溯机制（配套播客）。
提示调优（Prompt Tuning）论文：你可能不需要提示词——通过前缀调优（Prefix-Tuning）、解码优化（如熵调控）或表示工程实现等效效果。
自动提示工程（Automatic Prompt Engineering）论文：人类自身零样本提示能力很强，所以可以通过 LLM 自我优化提示。DSPy 论文/框架是该理论的典型工程实践。

特别提示：本章节实践价值高于理论研读，推荐结合Lilian Weng 博客、Eugene Yan 教程及 Anthropic 官方《提示工程指南》+ AI 工程师研讨等进行学习。
第四章：检索增强生成（RAG）

《信息检索导论》：推荐一本书虽然有点不公平，但希望强调核心观点——信息检索（IR）问题有 60 年技术演进史（涵盖 TF-IDF、BM25、FAISS、HNSW 等基础技术）。
2020 年 Meta RAG 开山论文：定义 RAG 术语。原团队创立 Contextual 公司后提出 RAG 2.0。HyDE、文本分块、重排序器、多模态数据等现代 RAG 基础能力建议参考其他资料 1、2、3。
MTEB 论文：被认为过拟合，作者自认因过时失效，但仍取决于标准。许多主流 embedding 模型都有论文：SentenceTransformers、OpenAI、Nomic Embed/Jina v3/cde-small-v1、ModernBERT Embed，Matryoshka embeddings 更加标准。
GraphRAG 论文：微软知识图谱增强 RAG 方案（已开源），2024 年与ColBERT/ColPali/ColQwen（详见第七章）并列最热门技术趋势。
RAGAS 论文：OpenAI 官方推荐的轻量评估框架。延伸阅读建议：NVIDIA FACTS 框架、《大模型外部幻觉》（Lilian Weng 系统性分析）、Jason Wei 的召回率-精确度研究。

特别说明：RAG 是 2024 年 AI 工程落地核心场景，需积累大量行业实践知识。推荐 LlamaIndex 课程与 LangChain 视频教程作为学习渠道，同时需持续关注「RAG vs 长上下文」技术路线之争。
第五章：智能体（Agents）

SWE-Bench 论文（播客）：被 Anthropic、Devin 和 OpenAI 采用后，现为最具影响力的智能体评估基准（对比WebArena/SWE-Gym）。虽属代码评测范畴，实则检验智能体系统能力而非原始 LLM 性能。延伸阅读：SWE-Agent、SWE-Bench 多模态及 Konwinski Prize 竞赛。
ReAct 论文（播客）：开创工具调用型 LLM 研究先河，衍生出 Gorilla、BFCL 排行榜等。历史沿革可追溯至 Toolformer 和 HuggingGPT。
MemGPT 论文：长效记忆模拟方案的典型代表，技术被 ChatGPT 和 LangGraph 采用。从 MetaGPT 到AutoGen、Smallville 等智能体系统均实现类似架构。
Voyager 论文：英伟达提出的三要素认知架构（课程学习/技能库/沙盒环境），2024 年抽象化为 Agent Workflow Memory 概念的重要理论支撑。
Anthropic《构建高效智能体》指南：权威行业综述，重点解析任务链设计、路由机制、并行化编排、评估优化等核心要素。延伸推荐：Lilian Weng（前OpenAI）智能体理论、Shunyu Yao（现OpenAI）LLM 智能体研究及 Chip Huyen 智能体实践。

前沿动态：NeurIPS 2024收录多篇 SOTA 智能体设计论文，UC Berkeley《LLM 智能体》慕课提供系统学习路径。注：本章未涉及智能体定义争议，但建议参考作者提出的定义框架。
第六章：代码生成

The Stack 论文：与 The Pile 同为早期开源代码数据集，催生 The Stack v2、StarCoder 等重要工作。
主流代码模型论文：DeepSeek Coder、通义 Qwen2.5-Coder、CodeLlama。注：Claude 3.5 Sonnet 虽被公认最佳但无技术论文。
HumanEval/Codex 论文：代码领域必修基准（已趋饱和）。SWE-Bench 更侧重智能体评估（成本较高）。新兴替代方案：Aider、Codeforces、BigCodeBench、LiveCodeBench、SciCode。
AlphaCodeium 论文：Google AlphaCode 和 AlphaCode2 系列技术解析，展示流程工程如何提升基础模型性能。
CriticGPT 论文：LLM 会生成具有安全隐患的代码。OpenAI 通过 CriticGPT 实现漏洞检测，Anthropic 采用 SAE 技术定位问题特征，这是一个需要意识到的问题。

行业观察：代码生成领域前沿已转向产业实践，实用工程建议以及 Devin 等代码智能体的核心技术仅见于行业博客/技术演讲而非学术论文。
第七章：计算机视觉（Vision）

非 LLM 视觉技术但仍具价值：YOLO 系列论文（最新 v11 版本，需注意技术演进）仍是实时目标检测标杆，但 DETRs 等 Transformer 架构已形成替代趋势。
CLIP 论文：Alec Radford 开创 ViT 先河。虽被 BLIP/BLIP2、SigLIP/PaliGemma 等超越，仍属必修基础。
MMVP 基准（LS Live）：量化 CLIP 模型的固有缺陷。MMLU 多模态版（MMMU）与 SWE-Bench 多模态版已投入应用。
SAM 系列（Segment Anything Model 及 SAM 2 论文，配套播客）：开创性图像/视频分割基础模型，与 GroundingDINO 搭配。
早期融合研究：对比 LLaVA 等「晚期融合」方案（播客），需了解 Meta Flamingo、Chameleon、苹果 AIMv2、Reka Core 等技术。实际上，当前视觉语言模型存在至少 4 种技术路线。

行业现状：前沿视觉语言模型（VLM）研究趋于闭源（最后公开资料为 GPT-4V 系统卡及衍生论文）。建议重点掌握 GPT-4o 视觉调优、Claude 3.5 Sonnet/Haiku、Gemini 2.0 Flash、o1 等商用模型，同步关注 Pixtral、Llama 3.2、Moondream、QVQ 等技术动向。
第八章：语音技术（Voice）

Whisper 论文：Alec Radford 突破性语音识别（ASR）模型。v2、v3、distil-whisper、v3 Turbo 等版本虽开源但无技术论文。
AudioPaLM 论文：Gemini PaLM 语音技术的最后公开成果。延伸阅读：Meta Llama 3 语音探索。
NaturalSpeech 论文：领先 TTS 方案之一，最新 v3 版本。
Kyutai Moshi 论文：demo 惊艳业界的全双工语音-文本开源模型。可参见 Hume OCTAVE。
OpenAI 实时API技术解析：前沿全模态模型未公开技术细节，本文为最全面 API 教程。

行业建议：建议关注 Daily、Livekit、Vapi、Assembly、Deepgram、Fireworks、Cartesia、Elevenlabs 等创新企业（详见《2024 语音技术发展报告》）。NotebookLM 语音模型虽未开源，其我们尽可能描述了其建模过程作为技术参考。随着 Gemini 2.0 原生支持语音-视觉多模态，预计 2025 年后语音与视觉技术路线将深度整合。
第九章：图像/视频扩散模型（Diffusion）

Latent Diffusion 论文：即 Stable Diffusion 文献。延伸阅读 SD2、SDXL、SD3 系列论文，核心团队当前主攻 BFL Flux [schnell|dev|pro] 项目。
DALL-E系列论文（DALL-E、DALL-E-2、DALL-E-3）：OpenAI 图像生成技术。
Imagen 系列论文（Imagen、Imagen 2、Imagen 3）：Google图像生成技术路径，另可参考 Ideogram。
一致性模型（Consistency Models）论文：LCMs 蒸馏技术引爆 2023 年 12 月 AI 绘图热潮，现升级为 sCM 架构。
Sora 技术博客：虽无正式论文（相关技术可参考同作者的 DiT 论文），仍属年度最具影响力视频生成模型。有许多开源竞品如 OpenSora，可阅读 Lilian Weng 的综述报告。

拓展建议：推荐掌握 ComfyUI 工作流（专访），文本扩散、音乐扩散及自回归图像生成目前虽然小众但发展迅速。
第十章：模型微调（Finetuning）

LoRA/QLoRA 论文：低成本微调（本地模型与 GPT-4o 场景均适用，播客）。FSDP+QLoRA 组合具有教学意义。
DPO 论文：PPO 替代方案（性能略逊但更流行），现被 OpenAI 采纳为偏好微调技术。
ReFT 论文：不同于传统分层微调，专注于特征。
Orca 3/AgentInstruct论文：参阅 NeurIPS 合成数据精选案例，提供高质量微调数据构建方法论。
强化学习、推理微调论文：o1 模型的 RL 微调尚存争议，Let’s Verify Step By Step 及 Noam Brown 公开演讲揭示技术脉络。

学习路径：推荐通过 Unsloth 实践教程及 HuggingFace《开源大模型微调指南》掌握全流程。注：该领域是无穷深的兔子洞，其技术深度与 AI 研究科学家方向存在交叉。
<hr/>学习路径指引

本清单看似繁重，学习过程中难免出现倦怠期。请保持韧性，我们将持续更新至 2025 年。学习方法可自主设计，推荐参考《一小时高效阅读论文指南》。许多人会在评论区提出互助建议。