课程大纲
该课程分为三天,第三天是可选的。
第 1 天 - Machine Learning 和 Deep Learning:理论概念
1. 引言 IA, Machine Learning & Deep Learning
- 人工智能的历史、基本概念和通常应用与该领域的幻想相去甚远
- 集体智慧:聚合许多虚拟代理共享的知识
- 遗传算法:通过选择进化虚拟代理群体
- Machine Learning 通常:定义。
- 任务类型:监督学习、无监督学习、强化学习
- 操作类型:分类、回归、聚类、密度估计、降维
- 算法示例 Machine Learning:线性回归、朴素贝叶斯、随机树
- 机器学习 VS Deep Learning:Machine Learning 仍然是当今最先进的问题(Random Forests 和 XGBoosts)
2. 神经网络的基本概念(应用:多层感知器)
- 提醒数学基础知识。
- 神经网络的定义:经典架构、先前激活的激活和加权函数、网络深度
- 神经网络训练的定义:成本函数、反向传播、随机梯度下降、最大似然。
- 神经网络建模:根据问题类型(回归、分类等)对输入和输出数据进行建模。维度的诅咒。多特征数据和信号的区别。根据数据选择成本函数。
- 通过神经网络逼近函数:演示和示例
- 通过神经网络近似分布:演示和示例
- 数据增强:如何平衡数据集
- 神经网络结果的泛化。
- 神经网络的初始化和正则化:L1/L2 正则化、批量归一化等。
- 优化和收敛算法。
3. 常用的 ML/DL 工具
计划进行简单的演示,包括优点、缺点、在生态系统中的位置和用途。
- 数据管理工具:Apache Spark、Apache Hadoop
- 常用工具 Machine Learning:Numpy、Scipy、Sci-kit
- 高级 DL 框架:PyTorch、Keras、Lasagna
- 低级深度学习框架:Theano、Torch、Caffe、Tensorflow
第 2 天 - 卷积和循环网络
4. 卷积 Neural Networks (CNN)。
- CNN的介绍:基本原理和应用
- CNN的基本功能:卷积层,内核的使用,填充和步幅,特征图的生成,池化层。1D、2D 和 3D 扩展。
- 介绍不同的 CNN 架构,这些架构带来了图像分类的最新技术:LeNet、VGG Networks、Network in Network、Inception、Resnet。介绍每种架构带来的创新及其更全面的应用(1x1 卷积或残差连接)
- 使用注意力模型。
- 适用于常见分类方案(文本或图像)
- 用于生成的 CNN:超分辨率、像素到像素分割。概述增加图像生成特征图的主要策略。
5.复发性Neural Networks(RNN)。
- RNN的介绍:基本原理和应用。
- RNN的工作原理:隐藏激活,随时间反向传播,展开版本。
- 向GRU(门控循环单元)和LSTM(长短期记忆)的演变。介绍这些架构带来的不同状态和演变
- 收敛问题和梯度消失
- 经典架构的类型:时间序列的预测、分类等。
- RNN 编码器解码器架构。使用注意力模型。
- NLP应用:单词/字符编码,翻译。
- 视频应用:预测视频序列的下一个生成帧。
第 3 天 - 代际模型和 Reinforcement Learning
6. 代际模型:变分自动编码器(VAE)和生成对抗网络(GAN)。
- 介绍代际模型,与第 2 天看到的 CNN 相关联
- 自动编码器:降维和有限生成
- 变分自动编码器:数据分布的世代模型和近似值。潜在空间的定义和使用。重新参数化技巧。应用和观察到的局限性
- 生成对抗网络:基础知识。双格架构(生成器和判别器),具有交替学习,提供成本函数。
- GAN的收敛和遇到的困难。
- 改进的收敛性:Wasserstein GAN、BeGAN。地球移动距离。
- 图像或照片生成、文本生成、超级
分辨率。
7.深Reinforcement Learning。
- 强化学习概述:在状态定义的环境中控制智能体和可能的操作
- 使用神经网络来近似状态函数
- 深度 Q 学习:体验回放,并应用于视频游戏的控制。
- 优化学习策略。On-policy & off-policy(策略上与策略外)。演员评论家建筑。答3C。
- 应用:控制简单的视频游戏或数字系统。
要求
Level ingénieur