完整训练管线

从核心概念到训练师实战

机器学习深入 · 第 84 课

面向 AI 训练师 / 数据标注 / 智慧图书馆应用

理解概念 · 掌握流程 · 连接岗位

为什么学习《完整训练管线》？

本课把“完整训练管线”放入 AI 训练师的真实工作流中，帮助你从概念理解走向可执行的项目实践。

痛点一：概念不清

只记住名词，无法判断它在数据、模型或项目流程中的作用。

痛点二：流程不稳

知道要做什么，却缺少可复用的步骤、模板和质量检查标准。

痛点三：应用脱节

无法把课堂知识迁移到智慧图书馆、多语种数据和真实标注任务中。

学习目标：把知识点转化为可执行、可检查、可交付的训练任务。

学习目标

01 理解

说清本课核心概念、适用场景与边界条件。

02 操作

掌握关键流程、常用工具和基础检查方法。

03 应用

能把本课方法迁移到数据标注、质检、模型评估或项目管理中。

概念

是什么→

流程

怎么做→

交付

如何验收

84.1 从数据到模型的完整流程

import torch
from torch.utils.data import Dataset, DataLoader

# ---- 自定义数据集 ----
class AnnotationDataset(Dataset):
    def __init__(self, data_path):
        import json
        with open(data_path) as f:
            self.data = json.load(f)

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        item = self.data[idx]
        return item['features'], item['label']

# ---- 数据加载 ----
dataset = AnnotationDataset('training_data.json')
loader = DataLoader(dataset, batch_size=32, shuffle=True)

# ---- 训练循环 ----
model = TextClassifier(input_dim=5000, num_classes=3)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

for epoch in range(20):
    for features, labels in loader:
        optimizer.zero_grad()
        outputs = model(features)
        loss = nn.CrossEntropyLoss()(outputs, labels)
        loss.backward()
        optimizer.step()
    print(f"Epoch {epoch+1}: loss={loss.item():.4f}")

torch.save(model.state_dict(), 'model_epoch20.pth')

第 85-88 课：模型优化技术

85.1 学习率调度策略

# Cosine Annealing（最常用）
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(
    optimizer, T_max=100  # 100 轮从初始 LR 降到 0
)

# ReduceLROnPlateau（当 loss 不再下降时降低 LR）
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(
    optimizer, mode='min', patience=5, factor=0.5
)

86.1 正则化技术总结

87.1 早停 Early Stopping

best_loss = float('inf')
patience = 5
counter = 0

for epoch in range(100):
    val_loss = evaluate(model, val_loader)

    if val_loss < best_loss:
        best_loss = val_loss
        counter = 0
        torch.save(model.state_dict(), 'best_model.pth')
    else:
        counter += 1
        if counter >= patience:
            print(f"早停于第 {epoch+1} 轮")
            break

88.1 K-Fold 交叉验证

from sklearn.model_selection import StratifiedKFold

skf = StratifiedKFold(n_splits=5, shuffle=True)
scores = []

for fold, (train_idx, val_idx) in enumerate(skf.split(X, y)):
    model = train_model(X[train_idx], y[train_idx])
    score = evaluate(model, X[val_idx], y[val_idx])
    scores.append(score)
    print(f"Fold {fold+1}: {score:.3f}")

print(f"平均: {np.mean(scores):.3f} ± {np.std(scores):.3f}")

C1 模块总结（40 课时）

下一模块：C2 大模型训练与微调（48 课时）

大模型时代的核心技能：

• BERT/GPT/LLaMA 原理
• LoRA 微调技术
• RLHF / DPO 数据准备
• 大模型评估

动手实践

任务1： 按课堂演示步骤独立完成操作

任务2： 尝试处理不同的数据/场景

任务3： 总结问题和注意事项

案例讨论

智慧图书馆场景应用

本节课方法如何在北二外图书馆使用？

1. 需要准备什么数据？
2. 选择什么方法/工具？
3. 预期效果和挑战？

随堂测验

1. 本节课最核心的方法/概念是什么？
2. 解决了什么具体问题？
3. 与传统方法比优势在哪？
4. 实际应用中注意什么？

常见错误

错误1：概念混淆 — 不同概念混合

错误2：步骤遗漏 — 操作不完整

错误3：理解偏差 — 原理理解不准

本节课总结

课后作业

必做： 复述核心内容 + 完成练习 + 回答测验

选做： 查找行业案例 + 应用到项目

📤 下次课前提交

考试实操 11：任务单

评分重点：过程可复现、结果可检查、异常有记录。

考试实操 12：样本表设计

要求：不得只写结论，必须写出判断依据或处理参数。

考试实操 13：小样本试跑

1. 从材料中抽取 5 条代表样本：样本A：borrow_count=12, renew=2, label=高需求、样本B：特征缺失或类别极少，需说明处理方式、样本C：预测错误但置信度高，需进入错例分析 至少各覆盖 1 条。
2. 先手工完成 2 条，确认“完整训练管线”的口径、字段、工具设置没有歧义。
3. 再执行：完成训练/评估小实验，提交指标、曲线、参数与错例解释。
4. 将错例写入 error_cases.csv，字段包含：样本ID、错误类型、修正依据、复核人。

小样本试跑不过关，不进入批量处理。

考试实操 14：操作步骤

Step 1

读取题目材料：图像/序列样本、配置文件、日志。→Step 2

完成训练/评估小实验，提交指标、曲线、参数与错例解释。→Step 3

提交：训练配置 + 评估结果。

禁止操作：临时改标签、覆盖原始文件、不记录异常、只提交截图不交数据。

考试实操 15：质量检查清单

• 原始数据已备份，处理文件另存为新版本
• “完整训练管线”相关规则已写入 README 或报告
• 至少抽检 10% 样本，且覆盖边界样本
• 指标检查：数据加载、模型结构、指标曲线
• 所有异常样本都有编号、原因和处理意见

质检记录是考试给分点，不是可选项。

考试实操 16：错例分析

复盘要求：至少写 2 条错例及修正依据。

考试实操 17：智慧图书馆应用

场景

搭建深度学习任务的训练管线，服务对象为读者、馆员或科研团队。

数据

图像/序列样本、配置文件、日志，需注意来源、权限和个人信息。

处理

把“完整训练管线”方法嵌入采集、标注、训练或评估流程。

验收

用 数据加载、模型结构、指标曲线 判断是否达到交付要求。

考试实操 18：评分细则

满分答案通常包含：结果 + 过程 + 质检 + 复盘。

考试实操 19：提交包结构

第84课_完整训练管线_考试提交包/
├── raw/              # 原始材料，只读保存
├── output/           # 训练配置 + 评估结果
├── qc/               # 抽检表、错例表、指标计算
├── screenshots/      # 关键步骤截图
└── README.md         # 工具版本、步骤、结论、风险

检查：压缩包解压后，阅卷老师能按 README 复现主要结果。

考试实操 20：限时训练

10 分钟版

• 读题并建立 raw/output/qc 目录
• 处理 3 条样本：正常、边界、异常各 1 条
• 写出 1 条与“完整训练管线”直接相关的边界规则

30 分钟版

• 按要求完成：完成训练/评估小实验，提交指标、曲线、参数与错例解释
• 做 10% 抽检并解释 数据加载、模型结构、指标曲线
• 生成 训练配置 + 评估结果

60 分钟版

• 批量处理 + 指标计算 + 质量报告
• 给出下一轮优化建议

考试实操 21：口头答辩题

1. 本课“完整训练管线”任务的输入、输出分别是什么？
2. 如果结果不达标，你会优先检查数据、规则、工具还是人员执行？为什么？
3. 本次提交物如何证明可追溯？
4. 在智慧图书馆项目中，哪些数据不能直接用于训练？

答辩时要结合样本编号和处理记录，不要只背概念。

考试实操 22：任务单

评分重点：过程可复现、结果可检查、异常有记录。

考试实操 23：样本表设计

要求：不得只写结论，必须写出判断依据或处理参数。

考试实操 24：小样本试跑

1. 从材料中抽取 5 条代表样本：样本A：borrow_count=12, renew=2, label=高需求、样本B：特征缺失或类别极少，需说明处理方式、样本C：预测错误但置信度高，需进入错例分析 至少各覆盖 1 条。
2. 先手工完成 2 条，确认“完整训练管线”的口径、字段、工具设置没有歧义。
3. 再执行：完成训练/评估小实验，提交指标、曲线、参数与错例解释。
4. 将错例写入 error_cases.csv，字段包含：样本ID、错误类型、修正依据、复核人。

小样本试跑不过关，不进入批量处理。

考试实操 25：操作步骤

Step 1

读取题目材料：图像/序列样本、配置文件、日志。→Step 2

完成训练/评估小实验，提交指标、曲线、参数与错例解释。→Step 3

提交：训练配置 + 评估结果。

禁止操作：临时改标签、覆盖原始文件、不记录异常、只提交截图不交数据。

考试实操 26：质量检查清单

• 原始数据已备份，处理文件另存为新版本
• “完整训练管线”相关规则已写入 README 或报告
• 至少抽检 10% 样本，且覆盖边界样本
• 指标检查：数据加载、模型结构、指标曲线
• 所有异常样本都有编号、原因和处理意见

质检记录是考试给分点，不是可选项。

考试实操 27：错例分析

复盘要求：至少写 2 条错例及修正依据。

考试实操 28：智慧图书馆应用

场景

搭建深度学习任务的训练管线，服务对象为读者、馆员或科研团队。

数据

图像/序列样本、配置文件、日志，需注意来源、权限和个人信息。

处理

把“完整训练管线”方法嵌入采集、标注、训练或评估流程。

验收

用 数据加载、模型结构、指标曲线 判断是否达到交付要求。

考试实操 29：评分细则

满分答案通常包含：结果 + 过程 + 质检 + 复盘。

考试实操 30：提交包结构

第84课_完整训练管线_考试提交包/
├── raw/              # 原始材料，只读保存
├── output/           # 训练配置 + 评估结果
├── qc/               # 抽检表、错例表、指标计算
├── screenshots/      # 关键步骤截图
└── README.md         # 工具版本、步骤、结论、风险

检查：压缩包解压后，阅卷老师能按 README 复现主要结果。

大学生学习拓展：机器学习深入：从算法选择到可解释性

本页为大学生培训增强内容：把本课知识连接到真实校园、科研与就业场景。

拓展 1

高级AI训练师需要理解特征工程、树模型、神经网络、Transformer和公平性。

拓展 2

大学生要学会根据数据规模、标签质量和业务目标选择合适算法。

拓展 3

模型解释性和公平性是科研与行业落地的重要要求。

知识加餐：本课在AI项目中的位置

课堂实训升级：从“听懂”到“做出来”

建议实训任务（三级/高级）

• 比较决策树、随机森林和神经网络在同一数据集上的表现。
• 写出模型解释与偏差风险分析。

交付物建议：数据文件 / 处理脚本 / 截图证据 / 1页说明 / 课堂展示。

工具链建议：国产模型 + 本地工具 + 可复现记录

数据与标注

Excel/WPS、Label Studio、CVAT、JSONL/CSV、抽样质检表。

模型与评估

Qwen、DeepSeek、BGE-M3、RAG、LoRA、F1/Recall/MRR等指标。

记录与展示

Jupyter、Markdown、Git/版本记录、PPT答辩、学习档案。

课堂讨论与课后反思

1. 本课内容如果用于智慧图书馆，会服务哪个具体场景？
2. 本课最容易出现的数据质量问题是什么？如何检查？
3. 哪些数据不能直接进入训练或评估？为什么？
4. 如何把本课成果放进个人作品集？
5. 如果你是项目负责人，本课对应的验收指标是什么？