CS249r Book (MLSysBook.ai) 是哈佛大学 Vijay Janapa Reddi 教授主导的机器学习系统工程教材项目，定位于填补"ML 算法 ↔ 系统工程"之间的教学空白。项目当前版本为 v0.5.1 (Early Access Preview)，计划由 MIT Press 于 2026 年出版精装版。
- 定位描述：Introduction to Machine Learning Systems — Principles and Practices of Engineering Artificially Intelligent Systems
- 所属机构：Harvard University (harvard-edge)
- 作者/维护者：Prof. Vijay Janapa Reddi
- 主要语言：JavaScript (81.2%), Python (13.9%), TeX (2.4%), HTML, Lua, Shell
| 层级 | 组件 | 用途 | 状态 |
|---|
| READ | 教材 | 理论、概念与最佳实践（涵盖 ML ↔ 系统工程桥梁） | ✅ 可用 |
| BUILD | TinyTorch 框架 | 从零实现 ML 框架（仅依赖 NumPy） | ✅ 可用 |
| DEPLOY | 硬件 Kits | 在真实受限设备上部署（Arduino、Raspberry Pi 等） | ✅ 可用 |
| EXPLORE | Software Co-Labs | 对延迟、内存、能耗、成本等做受控实验 | 🔄 2026 推出 |
| PROVE | AI Olympics | 跨赛道竞争与基准测试 | 🔄 2026 推出 |
| Part | 主题 | 覆盖章节 |
|---|
| I. Foundations | 核心概念 | Introduction, ML Systems, DL Primer, Architectures |
| II. Design | 构建模块 | Workflow, Data Engineering, Frameworks, Training |
| III. Performance | 加速 | Efficient AI, Optimizations, HW Acceleration, Benchmarking |
| IV. Deployment | 部署 | MLOps, On-device Learning, Privacy, Robustness |
| V. Trust | 可信与可持续 | Responsible AI, Sustainable AI, AI for Good |
| VI. Frontiers | 前沿 | 新兴趋势与未来方向 |
| Part | 模块编号 | 构建内容 |
|---|
| I. Foundations | 01-08 | Tensors, activations, layers, losses, dataloader, autograd, optimizers, training |
| II. Vision | 09 | Conv2d, CNNs for image classification |
| III. Language | 10-13 | Tokenization, embeddings, attention, transformers |
| IV. Optimization | 14-20 | Profiling, quantization, compression, acceleration, benchmarking, capstone |
工作流：src/*.py → modules/*.ipynb → tinytorch/*.py，由 tito CLI 驱动（23 条子命令）
- Arduino Nicla Vision（STM32H7，超低功耗视觉）
- Seeed XIAO ESP32S3（WiFi 视觉）
- Grove Vision AI V2（无代码快速原型）
- Raspberry Pi（复杂边缘 AI 流水线）
| Lab | 构建内容 | 技能 |
|---|
| Setup | 硬件与环境配置 | 工具链、烧录、调试 |
| Image Classification | CNN 图像识别 | 模型部署、推理 |
| Object Detection | 实时目标检测 | YOLO、边界框 |
| Keyword Spotting | 音频唤醒词检测 | DSP、MFCC 特征 |
| Motion Classification | IMU 手势识别 | 传感器融合、时间序列 |
| ML 概念 | 系统概念 | 学习要点 |
|---|
| 模型参数 | 内存约束 | 如何在资源受限设备上装入大模型 |
| 推理延迟 | 硬件加速 | GPU/TPU/NPU 如何执行神经网络 |
| 训练收敛 | 计算效率 | 混合精度与优化技术如何降低成本 |
| 模型精度 | 量化与剪枝 | 如何压缩模型并保持性能 |
| 数据需求 | 流水线基础设施 | 如何构建高效的数据加载与预处理 |
| 模型部署 | MLOps 实践 | 如何监控、版本管理与更新生产模型 |
| 隐私约束 | 端侧学习 | 如何在不上传数据的情况下训练与适配模型 |
| 年份 | 里程碑 | 学习成就 |
|---|
| 1958 | 感知机 | 梯度下降二分类 |
| 1969 | XOR 危机 | 多层网络解决非线性问题 |
| 1986 | 反向传播 | 多层网络训练 |
| 1998 | CNN 革命 | 卷积图像分类 |
| 2017 | Transformer | 自注意力语言生成 |
| 2018+ | MLPerf | 生产级优化基准 |
# 在线阅读
open https://mlsysbook.ai
# 下载格式
curl -O https://mlsysbook.ai/pdf # PDF
curl -O https://mlsysbook.ai/epub # EPUB
cd book
./binder setup
./binder doctor
./binder build # 构建 HTML 书
./binder preview intro # 带热重载预览章节
./binder pdf # 构建 PDF
./binder epub # 构建 EPUB
cd tinytorch
pip install -r requirements.txt
tito --help
cs249r_book/
├── book/ # 教材源码（Quarto Markdown）
├── tinytorch/ # TinyTorch 框架与课程（600+ 测试用例）
├── kits/ # 硬件实验 Labs
├── labs/ # 通用实验室资源
├── _brand/ # 品牌与设计资源
├── binder/ # 根目录 binder 脚本
├── pyproject.toml # Python 项目配置
├── CITATION.bib # 学术引用
└── LICENSE.md # 许可证声明
- 高校课程教材：机器学习系统、边缘 AI、嵌入式智能课程
- 自学者进阶路径：从 DL 理论走向框架实现与生产部署
- 工程培训材料：团队系统性补齐 ML Sys 知识图谱
- 研究参考：MLSys 研究入门与文献线索