感谢您发送咨询！我们的团队成员将很快与您联系。
感谢您发送预订！我们的团队成员将很快与您联系。
课程大纲
介绍
- Apache Beam 与 MapReduce、Spark Streaming、Kafka Streaming、Storm 和 Flink
安装与设定Apache Beam
Apache Beam 功能和架构概述
- 梁模型、SDK、梁管道流道
- 分散式处理后端
了解 Apache Beam Programming 模型
- 管道的执行方式
运行示例管道
- 准备 WordCount 管道
- 在本地执行 Pipeline
设计管道
- 规划结构、选择转换以及确定输入和输出方法
创建管道
- 编写驱动程式并定义管道
- 使用 Apache Beam 类
- 数据集、转换、I/O、数据编码等
执行管道
- 在本地、远端电脑和公共云上执行管道
- 选择运行器
- 特定于 Runner 的配置
测试和除错 Apache Beam
- 使用类型提示模拟静态类型
- 管理 Python 管道依赖项
处理有界和无界数据集
- 视窗化和触发器
使您的管道可重用且可维护
创建新的数据源和接收器
- Apache Beam 源 API 和接收器 API
将 Apache Beam 与其他 Big Data 系统集成
- 阿帕奇 Hadoop， Apache Spark， Apache Kafka
故障排除
总结和结论
要求
- Python Programming 的经验。
- 使用 Linux 命令行的经验。
观众
- 开发人员
14 小时
