《深度学习调优指南中文版》的核心内容整理，按章节提炼重点，方便快速掌握：

📌 第1章：开始新项目的指南

• 模型架构：从成熟、常用架构开始（如ResNet、Transformer），优先复现相关论文。

• 优化器：默认选Adam或SGD+momentum，复杂优化器（如NAdam）后期再考虑。

• Batch Size：

• 选硬件支持的最大值以加速训练，但需重新调优所有超参数（尤其学习率）。

• 不直接用于提升验证集性能。

• 注意Batch Norm需固定虚拟Batch Size（如Ghost Batch Norm）。

• 初始配置：从简单、低资源消耗的配置起步，逐步迭代。

📌 第2章：科学调优方法

• 增量调优：从简单配置开始，逐步添加功能，避免一次性复杂化。

• 实验设计：

• 目标超参数：需研究其影响的参数（如层数）。

• 冗余超参数：需调优以公平比较（如学习率）。

• 固定超参数：保持不变的参数（如激活函数）。

• 实验分析：

• 检查搜索空间边界（最佳点是否在边界？）。

• 采样密度是否足够（试验次数是否覆盖关键区域？）。

• 训练曲线：识别过拟合、训练不足、步间方差等问题。

• 结果验证：用Isolation图比较目标超参数的最佳值，排除冗余参数干扰。

📌 第3章：训练步数决策

• 不受计算限制：训练至验证性能饱和，通过回溯检查点选择最佳步数。

• 受计算限制：

• 两轮调优：

• 逐步增加训练时长，平衡探索与资源消耗。

1. 短运行（如10%时长）筛选超参数（架构、优化器）。

2. 长运行验证，调整学习率衰减（如延长预热步数）。

📌 第4章：训练管道优化

• 输入管道：

• 用性能分析工具（如TensorFlow Profiler）诊断瓶颈。

• 优化数据存储（本地化）、减少在线预处理、使用预读取（prefetch）。

• 评估设置：

• 评估用更大Batch Size，固定步长间隔（非时间间隔）。

• 抽样验证集需与完整集性能一致，避免偏差。

• 检查点与跟踪：

• 保存多个最佳检查点，回溯选择。

• 记录实验配置、性能指标（推荐电子表格或工具如Weights & Biases）。

📌 第5章：常见问题解答

• 学习率衰减：

• 默认用线性或余弦衰减，复杂方案多为人工调优结果，谨慎复现。

• Adam超参数：

• 试验次数<10：调学习率。

• 10-25次：加调β1。

• 25次：再加调ε和β2。

• Quasi-Random-Search：

• 优于贝叶斯优化的场景：高并行、需可解释性、非自适应需求。

• 实现：低差异序列（如Halton序列）。

• 调试优化失败：

• 不稳定诊断：学习率扫描→梯度范数监控→早期间歇评估。

• 修复方法：

1. 学习率预热（从0逐步提升）。

2. 梯度截断（阈值设为梯度范数90%分位数）。

3. 检查架构问题（如归一化位置、残差初始化）。

🔍 关键原则总结

1. 渐进式优化：从简单到复杂，避免过度调优。

2. 科学实验：明确目标、隔离变量、验证假设。

3. 资源意识：在计算受限时，优先快速迭代。

4. 工具化：自动化实验跟踪、可视化（如TensorBoard）。

5. 可复现性：固定随机种子、记录环境配置。

📂 适用场景

• 监督/自监督学习，尤其是CV、NLP领域。

• 中小团队或个人研究者，资源有限时需高效调参。

【AI加油站】第八部：《模式识别（第四版）-模式识别与机器学习》（附下载）