机器之心整理

参与：张倩、蛋酱

从 2016 年起，机器之心每年都会盘点全年的精华教程。去年就有小伙伴留言说要在 2019 年上半年把 2018 年的教程合集「啃下来」。现在都 2020 了，不知道这位朋友啃完没有？要是 flag 没倒，不妨再来一份？

与往年类似，今年的盘点分为入门解惑、优质教材及课程、语言、工具、GitHub 项目、经验分享几大板块。无论你是刚迈入 AI 领域的萌新，还是工作多年的数据分析师、炼丹师、码农，这份合集都能帮到你。

如果这些都学完了还没尽兴，可以跳到文末链接找出往年教程合集。

入门解惑

去年，教育部公布了 35 所新增 AI 本科高校名单，为想学 AI 的同学提供了更多选择。对于这部分刚迈入 AI 领域的萌新，我们提供了一系列完备的学习路线和入门教程：

• 完备的 AI 学习路线，最详细的中英文资源整理
• 不交学费也能成为数据科学家，这里有一条免费学习路径
• 机器学习成才之路：这是一条 GitHub 高赞的学习路径
• 入门机器学习，照这个课程清单按顺序学就对了
• 18 个月自学 AI，2 年写就三万字长文，过来人教你如何掌握这几个 AI 基础概念
• 机器学习必学 10 大算法
• 机器学习基础：相似度和距离度量究竟是什么
• p 值是什么？数据科学家用最简单的方式告诉你
• Distribution is all you need：这里有 12 种做 ML 不可不知的分布
• 计算机视觉入门大全：基础概念、运行原理、应用案例详解
• NLP 技术路线详解：这是从数学到算法的艺术
• 深度强化学习入门难？这份资料手把手教会你
• 数据清洗&预处理入门完整指南
• 不要只关注算法与模型，这里有份产品级深度学习开发指南
• 没人告诉你的大规模部署 AI 高效流程！
• 用纯 NumPy 码一个 RNN、LSTM：这是最好的入门方式了
• 为什么我的 CV 模型不好用？没想到原因竟如此简单……
• 3 天上手，30 天精通！——深度学习 FPGA 加速器设计
• 预训练语言模型关系图 必读论文列表，清华荣誉出品
• 学习 GAN 模型量化评价，先从掌握 FID 开始吧
• 生成式模型入门：训练似然模型的技巧
• 如何入门 CUDA 并行计算？
• 图像配准的前世今生：从人工设计特征到深度学习

当然，在搞定 AI 之前，你必须要先搞定数学：

• 像堆乐高一样：从零开始解释神经网络的数学过程
• 刷脸背后，卷积神经网络的数学原理原来是这样的
• 1900 页数学基础：面向 CS 的线性代数、拓扑、微积分和最优化
• 人工智能中的线性代数：如何理解并更好地应用它
• 新手上路：图文解读助你理解和使用正则表达式
• 不可不知的数据科学入门数学指南
• 数学还能这么学？高中要有这个网站我早就及格了
• 浅显易懂！「高中数学」读懂梯度下降的数学原理
• 高中就开始学的正态分布，原来如此重要

接下来是一些简短而全面的教程，「一文读懂」基本概念：

• 卷积有多少种？一文读懂深度学习中的各种卷积
• 从 ReLU 到 GELU，一文概览神经网络的激活函数
• 关于图算法 & 图分析的基础知识概览
• 图论与图学习（一）：图的基本概念
• 图论与图学习（二）：图算法
• PageRank、最小生成树：ML 开发者应该了解的五种图算法
• 一文读懂：图卷积在基于骨架的动作识别中的应用
• HyperparameterHunter 3.0：一文教你学会自动化特征工程

相比于文字，图解教程能够帮助你更直观、快速地领会知识的精髓：

• 图解神经机器翻译中的注意力机制
• 图解人工智能，这群大学生做了个有趣的交互项目（中文版）
• 图解 NumPy，这是理解数组最形象的一份教程了
• 完全图解 GPT-2：看完这篇就够了（一）
• 完全图解 GPT-2：看完这篇就够了（二）
• 透过现象看本质，图解支持向量机
• 能「看到」的张量运算：因子图可视化
• BERT 模型超酷炫，上手又太难？请查收这份 BERT 快速入门指南！
• 包学包会，这些动图和代码让你一次读懂「自注意力」
• 手把手教你将矩阵&概率画成图
• 手把手教你将矩阵画成张量网络图
• 看得见的高斯过程：这是一份直观的入门解读

优质教材、课程

如果你去购物网站、在线课程网站直接搜索，会发现与「人工智能」相关的图书资料有上万种，课程也有数百种。在学习资料异常丰富的今天，挑出优质的教材、课程也成了一大难题。不过不用担心，在机器之心编辑部和读者的共同努力下，今年的优质参考书、课程都已经筛选好了：

开卷有益

2019 年，周志华等多位老师联合撰写的《演化学习：理论与算法进展》问世；李航老师的《统计学习方法》第二版上线；李沐老师的《动手学深度学习》有了 TF 2.0、PyTorch 版本；贝叶斯之父 Judea Pearl 的《The Book of Why》也有了中文版本……要获取这些优质教材的新动向，关注机器之心就够了：

• 十四年的 NYU 教学精华，开放书《机器学习基础》第二版可以下载啦
• 李航《统计学习方法》第二版上线，6 年耕耘增加无监督学习（新书赠送）
• 学它！李航《统计学习方法》课件，清华大学深圳研究院教授制作
• 实战入门深度学习，李沐中文新书赠送
• 全新版本，李沐《动手学深度学习》TF2.0 版本来了
• PyTorch 版《动手学深度学习》开源了，最美 DL 书遇上最赞 DL 框架
• 开放下载！复旦大学邱锡鹏教授发布教科书《神经网络与深度学习》
• 「机器学习基础与趋势」系列丛书最新成员：140 页《深度强化学习入门》发布
• 南大周志华、俞扬、钱超最新力作：《演化学习：理论与算法进展》正式上线
• 线性代数与数据学习：MIT 教授 Gilbert Strang 帮你打下坚实的数学基础
• 沉浸式学习线性代数！这里有一本全交互的线性代数书
• 一图胜千言，这本交互式线代教科书让你分分钟理解复杂概念，佐治亚理工出品
• 一场因果革命，Judea Pearl 最新力作《为什么》中文版发布（赠书）
• 为机器学习插上因果推理的翅膀：这是一本系统的因果推理开源书
• 500 页开放书搞定概率图建模，图灵奖得主 Judea Pearl 推荐

• 集 20 年之大成，这是一本开源的算法教科书
• 从六大概念总结吴恩达新书：做好工程实践应该这样走
• 从算法到 HPC：最全优秀编程书籍列表
• 如何用 Julia 做数据统计？这里有一本全面教材（附代码图示）
• 系统探讨「跨语言词嵌入」，这是一本刚出炉新书

站在巨人的肩膀上

除了以上经典教材，还有些优质课程可以参考。这些课程来自麻省理工学院、斯坦福大学、多伦多大学、哥伦比亚大学等多所国内外知名高校，授课者包括 Bengio、吴恩达、李宏毅等名师：

• 最强学习资料：国内多所重点大学课程攻略
• 最全中科大计算机学院课程资源（含答案）

• 做个爱学习的孩子！收藏 2019 知名机器学习暑期学校大列表
• 选机器学习课程怕踩雷？有人帮你选出了 top 5 优质课
• 硬核暑假要学习：Imperial College London 开放 ML 暑期课程视频
• 中文课程！台大李宏毅机器学习公开课 2019 版上线
• 李宏毅机器学习完整笔记发布，AI 界「最热视频博主」中文课程笔记全开源

• MIT 2019 深度学习课程开课，第一课视频&PPT 已放出
• 14 周无监督学习课程，UC 伯克利出品，含课件、视频
• 吴恩达深度学习课最新补充教程：交互式 demo 助你轻松理解神经网络
• Bengio、Sutton 的深度学习&强化学习暑期班又来了，2019 视频已放出

• 2019 年最佳计算机视觉课程推荐
• 多伦多大学出品：Coursera 宣布首个自动驾驶专项课程

• 时隔两年，斯坦福 NLP 标准公开课 CS224N 将再次开放视频
• 学习时间！2019 斯坦福 CS224n、CMU NLP 公开课视频开放啦
• 只知道 CS224N？斯坦福最新推出 NLU 公开课 CS224U
• 社科 NLP 课程来了：斯坦福开年公开课主讲 NLP 和社交网络应用

• 想快速学会数据可视化？这里有一门 4 小时的 Kaggle 微课程
• 如何自学 MIT 的应用数学课程？这里有个参照给你

温故而知新

教程、课程看完一遍很容易忘记，这时候就需要笔记来帮忙了。在过去的一年中，我们发现了以下几份优秀的笔记项目，可以作为学习的辅助材料。

• 80 页笔记看遍机器学习基本概念、算法、模型，帮新手少走弯路
• 百页课程笔记，统计物理视角下的深度学习
• 周志华西瓜书详细公式推导，Datawhale 开源 pumpkin-book 项目
• 一日千星的「机器学习系统设计指南」，这个英伟达小姐姐的项目火了

语言

去年 11 月，地产大佬潘石屹突然宣布开始学 Python，众读者纷纷惊呼：居然不是广告？从这串长长的列表来看，你大概能够体会到 Python 有多火了，毕竟它也是最有益于保持头发浓密的语言之一。在这部分，我们列举了 Python 的官方文档、使用技巧、实用工具包等有用信息（谁帮忙 @ 一下潘总？）。

• Python 用不好？看官方中文文档啦
• Python 从入门到精通：一个月就够了！
• 微软出品，文科生也能学得懂的 Python 免费入门视频
• 编程大神进阶之路：Python 技巧小贴士
• 30 段极简 Python 代码：这些小技巧你都 Get 了么
• 学 Python，从列表推导到 zip() 函数，这五种技巧应知应会
• 迭代列表不要 For 循环，这是 Python 列表推导式最基本的概念
• 7 个 Python 特殊技巧，助力你的数据分析工作之路
• Python 3.8 即将到来，这是你需要关注的几大新特性
• 详解 Python 3.8 的海象算子：大幅提高程序执行效率
• Python 初学者常犯的 5 个错误，布尔型竟是整型的子类
• Python 的高级特征你知多少？来对比看看
• 新手如何发布第一个 Python 项目开源包？这里有一份详细指南
• 如何从 C 转 Python：改变你的思维方式
• 用半励志的方式告诉你，怎么学习 Python 开发

• 平均 3293 颗星的 34 个年度开源 Python 库
• 这里有 8 个流行的 Python 可视化工具包，你喜欢哪个？
• 一文读懂 Python 装饰器，这是一个会打扮的装饰器
• 哪种 Python IDE 最适合你？这里有一份优缺点列表
• 人生苦短，我用 PyCharm
• Python 新工具：用三行代码提取 PDF 表格数据
• 想成为高效数据科学家？不会 Pandas 怎么行
• DeBug Python 代码全靠 print 函数？换用这个一天 2K Star 的工具吧
• 如何将 Numpy 加速 700 倍？用 CuPy 呀
• 用 Python 登录主流网站，我们的数据爬取少不了它
• Windows 文件名非用反斜杠？Python 小技巧帮你解决这个麻烦
• 如何在 Windows 上做 Python 开发？微软出了官方教程
• 在 Win 上做 Python 开发？当然是用官方的 MS Terminal 和 VS Code 了
• 40 行 Python 代码，实现卷积特征可视化
• Heartrate：如追综心跳般实时动态可视化监测 Python 程序运行
• 四种高性能数据类型，Python collections 助你优化代码、简洁任务
• PySpark 源码解析，教你用 Python 调用高效 Scala 接口，搞定大规模数据分析

工具及技巧

古人说过，「工欲善其事，必先利其器」。工具的好坏及使用技巧与我们的学习效果息息相关。要列举 AI 学习中用到的重要工具，首先要从深度学习框架说起。

深度学习框架

2019 年，ML 框架之争中只剩两个实力玩家：PyTorch 和 TensorFlow。研究者大批涌向 PyTorch，而业界的首选仍然是 TensorFlow。因此，这部分着重筛选出这两个框架的相关教程。

• TensorFlow 与 PyTorch 之争，哪个框架最适合深度学习
• PyTorch 称霸学界，TensorFlow 固守业界，ML 框架之争将走向何方？
• 一行代码切换 TensorFlow 与 PyTorch，模型训练也能用俩框架
• Texar-PyTorch：在 PyTorch 中集成 TensorFlow 的最佳特性

1. TensorFlow

• 英文教程太难啃？这里有一份 TensorFlow2.0 中文教程（持续更新中）
• TensorFlow 2.0 中文开源书项目：日赞 700，登上 GitHub 热榜
• 请快点粘贴复制，这是一份好用的 TensorFlow 代码集
• 你真的会正确地调试 TensorFlow 代码吗？
• Tensorflow Lite 人体姿势跟踪功能上线：基于 PosNet 的实时人体姿态估计
• 如何在 TensorFlow 2.0 中构建强化学习智能体
• TensorFlow 2.0 中的 tf.Keras 和 Keras 有何区别？为什么以后一定要用 tf.keras？

2.PyTorch

• 万字综述，核心开发者全面解读 PyTorch 内部机制
• 60 分钟入门 PyTorch，官方教程手把手教你训练第一个深度学习模型
• 点赞收藏：PyTorch 常用代码段整理合集
• LeCun 力荐，PyTorch 官方权威教程书来了，意外的通俗易懂

• PyTorch 进阶之路（一）：张量与梯度
• PyTorch 进阶之路（二）：如何实现线性回归
• PyTorch 进阶之路（三）：使用 logistic 回归实现图像分类
• PyTorch 进阶之路（四）：在 GPU 上训练深度神经网络
• PyTorch 最佳实践，怎样才能写出一手风格优美的代码
• 分布式入门，怎样用 PyTorch 实现多 GPU 分布式训练
• 五天入门深度学习，这里有一份 PyTorch 实战课程
• 三四行代码打造元学习核心，PyTorch 元学习库 L2L 现已开源
• 超原版速度 110 倍，针对 PyTorch 的 CPU 到 GPU 张量迁移工具开源
• 基于 PyTorch 的「Keras」：除了核心逻辑通通都封装
• 基于 PyTorch 的 CV 模型框架，北大学生出品 TorchCV

其他工具

1. 神奇的编辑器

• 世界上最好的编辑器 Vim：1700 多页数学笔记是如何实时完成的
• 最好用的文字与公式编辑器，这套数学笔记神器送给你
• 免费数学神器 Mathpix 发布移动版，一起来写更快的公式
• 公式免费转 LaTex 代码，截图、转换一气呵成，每月 1000 次全免费
• 写下 LaTeX 代码就要看结果？这款编辑器让你「所见即所得」
• 向 Excel 说再见，神级编辑器统一表格与 Python

2. 代码补全利器

• DL 时代的代码补全利器，北大出品，效果远超语言模型
• 你是一个成熟的 AI 了，应该自己学会补全 Python 代码了
• AI 加持，Kite 增加智能代码补全功能：减少一半操作，实时补全

3.Git

• 如何优雅地向别人介绍高端大气上档次的 Git
• 你可能不太会用的 10 个 Git 命令
• 走在前沿的弄潮儿，怎能不会 Git 的那些奇技淫巧
• 根据 Git 推算程序员大佬作息：同样是熬夜，为什么他发量那么多？

4. 笔记本

• 是时候联盟 Jupyter 与 PyCharm 了，Jupytext 就是你需要的
• 只有想不到，「99」种扩展 Jupyter 功能的好方法
• Jupyter Notebook 界面也可以如此炫酷？有人把 Notebook 玩出了新花样
• 增强 Jupyter Notebook 的功能，这里有四个妙招
• Netflix 开源 Polynote：对标 Jupyter，一个笔记本运行多种语言

5. 其他

• 命令行忘性大？这个开源备忘工具一次解决你的所有烦恼
• 50 种常用的 matplotlib 可视化，再也不用担心模型背着我乱跑了
• 新模型学到头秃？gobbli 统一模型库帮你快速上手文本分类，内置 BERT、fastText 等
• 集成图网络模型实现、基准测试，清华推出图表示学习工具包
• 强化学习、联邦学习、图神经网络，飞桨全新工具组件详解
• 更改形状和背景色、自定义风格、颜色流动…这款词云工具都能做到

技巧

这里还有一些小技巧，可以帮助你解决一些「令人头秃」的问题：

• 模型秒变 API 只需一行代码，支持 TensorFlow 等框架
• 图像转换 3D 模型只需 5 行代码，英伟达推出 3D 深度学习工具 Kaolin
• 如何让计算机工作环境更便捷？几行简单的命令即可
• GitHub 最热！码代码不得不知的所有定律法则
• 数据科学家易犯的十大编码错误，你中招了吗？
• 5 种高效利用 value-counts 函数的方法，一键提升数据挖掘姿势水平
• 数据处理遇到麻烦不要慌，5 个优雅的 Numpy 函数助你走出困境
• 内存不足、钱包不鼓怎么办？三种技巧助你摆脱内存使用困境
• 26 秒单 GPU 训练 CIFAR10，Jeff Dean 也点赞的深度学习优化技巧
• 还在为数据清洗抓狂？这里有一个简单实用的清洗代码集

GitHub 年度精选

作为全球最大的同性交友网站，GitHub 上几乎能找到你想要的一切。「我在 GitHub 上北大，他在 Pornhub 考研究生」这句话不是说说而已（忽略后半句）：

• 这是一份专为程序员编写的英语学习指南
• Github 近 5 万赞的计算机专业课程，从小白到大牛的学习之路
• GitHub 上 Star 量最高的 5 个机器学习项目
• GitHub 不为人知的小秘密…让你的工作更高效

同时，GitHub 上还有很多神奇项目，让我们流连忘返，唱、跳、Rap、篮球，应有尽有：

• 我这个人不懂什么 CPU，于是我用代码模拟出了一个
• 框一下就能从视频隐身，这是现实版的「隐身衣」？
• 在浏览器训练个剪刀石头布探测器，你的小电脑也可以
• 漫画汉化组福音：深度学习工具一键抠图
• 你跳宅舞的样子很专业：不，这都是 AI 合成的结果
• 用自己的风格教 AI 说话，语言生成模型可以这样学
• 破解神经网络、攻击 GPU，AI 黑客教程来了，已登 GitHub 热榜
• 老婆问「我今天穿什么合适」？让 AI 来帮你想答案吧
• Github 中文项目排行榜，你永远想不到开发者都用它干了什么
• 只需单击三次，让中文 GPT-2 为你生成定制故事
• 决战春运之巅，我们用这个项目抢到了火车票
• 真工程师：20 块钱做了张「名片」，可以跑 Linux 和 Python
• 3D 模型学会了「唱、跳、Rap、篮球」，GitHub 网友也沉迷「鸡你太美」
• 使用 Python 和 Mask R-CNN 自动寻找停车位，这是什么神操作？
• 用霍夫变换&SCNN 码一个车道追踪器
• 惊为天人，NumPy 手写全部主流机器学习模型，代码超 3 万行
• 让大卫雕塑跳舞、蒙娜丽莎说话，英伟达视频合成有如此多「*操作」
• 大小仅 1MB，超轻量级通用人脸检测模型登上 GitHub 趋势榜
• 让二次元妹子动起来，用一张图生成动态虚拟主播

一个靠谱的数据集会让模型训练工作事半功倍，这一年里，我们分享过这些优质 GitHub 数据集：

• 情人节：一本正经地为单身狗推荐这个 158 万张图像的鉴黄数据集
• DeepFashion2 数据集：87.3 万对买家秀-卖家秀图像 海量标注
• 神经网络也能解数学题，DeepMind 发布千万数学题海数据集
• 280 万分割掩码，谷歌 Open Images 数据集再更新
• 找不到合适的数据？这里有 281 个计算机视觉数据集任你选
• 打击换脸技术滥用，谷歌发布大型数据集对抗 deepfake
• 图神经网络的 ImageNet？斯坦福大学等开源百万量级 OGB 基准测试数据集
• 20 个安全可靠的免费数据源，各领域数据任你挑
• 开放的一天，吴恩达、谷歌、Facebook 纷纷开源数据集

经验分享，「深度好文」

最后，我们总结了一系列经验分享，涵盖读博、面试、职场经验等多个方面。低头赶路的时候，也要抬头看看远方。

读博那点事儿

• 博士生的 deadline 血泪史，这是一份来自 Nature 的避坑指南
• 守住发际线：南大蒋炎岩谈读博那些事儿
• 成为数据科学家，到底需要怎样的学历？
• 读博一时爽，不听这些建议会一直爽……
• 毕业论文无从下手？一文帮你理清头绪
• Science「劝退文」：读博压力山大，是时候退学了
• 读博熬不住了，拿个硕士学位投身业界如何？看过来人怎么说

备战春招

• 准备好春招了么？上科大小哥的面试题与复习资料祝你寒假无忧
• 春招已近，这份 GitHub 万星的 ML 算法面试大全请收下
• 春招苦短，我用百道 Python 面试题备战
• 技术面试中，当面试官「套路」你时，怎么「反套路」回去？
• 如何把薪资谈高一倍？请看大厂 offer 拿到手软的 ML 大神自述
• 2019 高考编程卷：谷歌面试编程题及解题技巧（MIT 版）
• 准备程序员面试？你需要了解这 14 种编程面试模式
• 备战秋招：国内大厂技术面试指南，GitHub 六千星
• 百道 Python 面试题实现，搞定 Python 编程就靠它

职业生涯回顾与行业展望

• 陈天奇：深度学习编译技术的现状和未来
• 数据科学岗位将在未来 5 年内重新洗牌，你准备好转型了吗？
• 微软沈向洋自述：在实现职业目标的道路上，我得到了七个教训
• 在 12 家科技创业公司工作后，这是我的 8 条经验
• 这是一篇关于如何成为一名 AI 算法工程师的长文
• 谷歌高级研究员 Nature 发文：避开机器学习三大「坑」
• 香侬科技李纪为：初入 NLP 领域的一些小建议
• 我从资深软件工程师学到的避坑大法
• 五个给机器学习和数据科学入门者的学习建议
• 独立研究中顶会 Spotlight，从读博就业无门到一举成名，这位小哥的经验分享火了

码农的自我修养

• 高级码农反思录：我当菜鸟时不懂的七件事
• 谷歌软件工程师分享编程经验：有效的流程很关键
• 你已经是一个成熟的码农了，这些思维习惯你要有
• 经验之谈：代码该怎样写才能干净整洁（36 页）
• 如何把自己包装成程序员大佬？这里有一份「装 X 指南」
• 16 岁成为全栈开发者：我从开发游戏到写加密货币投资机器人的心路历程
• 脱发、秃头防不胜防？这里有一份给码农的减压指南

参赛、参会经验贴

• 年轻人的第一块金牌：我是如何成为 Kaggle 全网第一的
• 半年 5 战 5 金：Kaggle 史上最快 GrandMaster 是如何炼成的
• 7 年斩获 15 金，最高全球第 8：Kaggle Grandmaster 分享竞赛经验
• 想在 Kaggle 中脱颖而出？先听听这位 GrandMaster 怎么说
• Kaggle 首战斩获第三，看深度学习菜鸟团队如何一鸣惊人
• 想快速学会数据可视化？这里有一门 4 小时的 Kaggle 微课程
• 仅需 10 分钟：开启你的机器学习之路
• 除了 Kaggle，这里还有一些高质量的数据科学竞赛平台
• 如何在 9000 多人的 NeurIPS 会场优雅地展示 Poster
• 数千人顶会的干货，ICML、CVPR2019 演讲视频资源在此

往年教程盘点

• 2018：新年大礼包：机器之心 2018 高分教程合集
• 2017：灵魂追问 | 教程那么多，你……看完了吗？
• 2016：人工智能从入门到进阶，机器之心高分技术文章全集

过去几年的干货都在这里了，flag 是不是也该立起来了？

明年想上墙的朋友欢迎留言。