课程大纲

Machine Learning 的 Apache Airflow 简介

  • Apache Airflow 概述及其与数据科学的相关性
  • 自动化机器学习工作流程的主要功能
  • 为数据科学项目设置 Airflow

使用 Airflow 构建 Machine Learning 管道

  • 为端到端ML工作流设计DAG
  • 使用运算符进行数据摄取、预处理和特征工程
  • 计划和管理管道依赖关系

模型训练和验证

  • 使用 Airflow 自动执行模型训练任务
  • 将 Airflow 与 ML 框架集成(例如 TensorFlow、PyTorch)
  • 验证模型并存储评估指标

模型部署和监控

  • 使用自动化管道部署机器学习模型
  • 使用 Airflow 任务监控已部署的模型
  • 处理重新训练和模型更新

高级定制和整合

  • 为 ML 特定任务开发自订运算元
  • 将 Airflow 与云平台和 ML 服务整合
  • 使用外挂程式和感测器扩展 Airflow 工作流

优化和扩展 ML 管道

  • 提高大规模数据的工作流性能
  • 使用 Celery 和 Kubernetes 扩展 Airflow 部署
  • 生产级 ML 工作流的最佳实践

案例研究和实际应用

  • 使用 Airflow 实现 ML 自动化的真实范例
  • 动手练习:构建端到端ML管道
  • 讨论 ML 工作流管理中的挑战和解决方案

总结和后续步骤

要求

  • 熟悉机器学习工作流程和概念
  • 对 Apache Airflow 有基本的了解,包括 DAG 和运算符
  • 熟练掌握 Python 程式设计

观众

  • 数据科学家
  • 机器学习工程师
  • AI 开发人员
 21 小时

即将举行的公开课程

课程分类