课程大纲

高级部署 Apache Airflow

  • 在云平台(AWS、Azure、GCP)上部署 Apache Airflow
  • 使用 Docker 和 Kubernetes 将 Airflow 容器化
  • 配置 Airflow 以实现高可用性和容错能力

适用于 Apache Airflow 的 CI/CD 管道

  • 自动化 DAG 测试和部署
  • 将 Airflow 与 CI/CD 工具集成(例如,Jenkins、GitHub 操作)
  • 管理工作流版本控制和更新

监控和日志记录

  • 为工作流实施强大的日志记录实践
  • 使用 Prometheus 和 Grafana 等工具进行系统监控
  • 为故障场景设置警报机制

性能优化和扩展

  • 调整 Airflow 配置以获得最佳性能
  • 使用 Celery 执行程式扩展 Airflow 部署
  • 处理大规模工作流编排

安全和 Access 控制

  • 在 Airflow 中实施基于角色的存取控制 (RBAC)
  • 保护 Airflow 环境和工作流程
  • 在工作流中管理敏感数据的最佳实践

案例研究和实际应用

  • 用于 DevOps 自动化的 Airflow 的真实示例
  • 动手练习:使用 CI/CD 和监控工具部署 Airflow
  • 讨论 DevOps 工作流编排中的挑战和解决方案

总结和后续步骤

要求

  • 具有 Apache Airflow 基础知识的经验,包括 DAG 创建和任务管理
  • 了解 CI/CD 管道和 DevOps 实践
  • 熟悉云环境和容器化(例如,Docker、Kubernetes)

观众

  • DevOps 工程师
  • 基础设施经理
  • 云专家
 21 小时

即将举行的公开课程

课程分类