为电信服务供应商的智能大数据信息业务 培训

每日主题细分：（每节课2小时）

第 1 天：第 1 节：电信业为何使用大数据的业务概述 Business Intelligence。

• 来自 T-Mobile、Verizon 等的案例研究。
• 北美电信公司的大数据适应率，以及他们如何围绕大数据BI调整未来的业务模式和运营
• 广泛的应用领域
• 网络和服务管理
• 客户流失 Management
• 数据集成和仪表板可视化
• 欺诈管理
• 业务规则生成
• 客户画像
• 本地化广告推送

第一天：第二节：Big Data-1介绍

• 大数据的主要特征——数量、种类、速度和准确性。卷的 MPP 体系结构。
• 数据仓库 – 静态模式，缓慢演变的数据集
• MPP 数据库，如 Greenplum、Exadata、Teradata、Netezza、Vertica 等。
• 基于Hadoop的解决方案 – 对数据集的结构没有条件。
• 典型模式：HDFS、MapReduce（crunch）、从 HDFS 检索
• 批处理 - 适用于分析/非交互式
• 卷 ： CEP 流数据
• 典型选择 – CEP 产品（例如 Infostreams、Apama、MarkLogic 等）
• 生产准备不足 – Storm/S4
• NoSQL 数据库 – （列式和键值）：最适合作为数据仓库/数据库的分析辅助工具

第 1 天：第 -3 节：Big Data-2 简介

否SQL解决方案

• KV Store - Keyspace、Flare、SchemaFree、RAMCloud、Oracle NoSQL 数据库 （OnDB）
• KV 商店 - Dynamo、Voldemort、Dynomite、SubRecord、Mo8onDb、DovetailDB
• KV 存储（分层）- GT.m、缓存
• KV Store（已订购）- TokyoTyrant、Lightcloud、NMDB、Luxio、MemcacheDB、Actord
• KV 缓存 - Memcached、Repcached、Coherence、Infinispan、EXtremeScale、JBossCache、Velocity、Terracoqua
• 元组存储 - Gigaspaces、Coord、Apache River
• 对象数据库 - ZopeDB、DB40、Shoal
• 文档存储 - CouchDB、Cloudant、Couchbase、MongoDB、Jackrabbit、XML-Databases、ThruDB、CloudKit、Prsevere、Riak-Basho、Scalaris
• 广泛的列式存储 - BigTable、HBase、Apache Cassandra、Hypertable、KAI、OpenNeptune、Qbase、KDI

数据的种类：大数据中的Data Cleaning问题简介

• RDBMS – 静态结构/模式，不提倡敏捷、探索性环境。
• NoSQL – 半结构化的，足够的结构来存储数据，在存储数据之前没有精确的模式
• 数据清理问题

第一天：第四节：大数据介绍-3：Hadoop

• 何时选择 Hadoop？
• 结构化 - 企业数据仓库/数据库可以存储大量数据（有成本），但会强加结构（不利于主动探索）
• SEMI 结构化数据 – 传统解决方案 （DW/DB） 难以实现
• 仓储数据 = 即使在实施后也付出了巨大的努力和静态
• 对于各种数据和数据量，在商用硬件上处理 – HADOOP
• 创建 Hadoop 集群所需的商品硬件

Map Reduce /HDFS 简介

• MapReduce – 将计算分布在多个服务器上
• HDFS – 使数据在本地可用于计算过程（具有冗余）
• 数据 – 可以是非结构化的/无模式的（与 RDBMS 不同）
• 开发人员有责任理解数据
• Programming MapReduce = 使用 Java（优点/缺点），手动将数据加载到 HDFS 中

第 2 天：会话 1.1：Spark：内存中分布式数据库

• 什么是“内存中”处理？
• 火花 SQL
• Spark SDK
• Spark API
• RDD型
• Spark 库
• 汉娜
• 如何将现有 Hadoop 系统迁移到 Spark

第 2 天会话 -1.2：Storm - Big Data 中的实时处理

• 流
• 豆芽
• 螺栓
• 拓扑

第2天：第二节：大数据Management系统

• 移动部件、计算节点启动/失败：ZooKeeper - 用于配置/协调/命名服务
• 复杂的流水线/工作流：Oozie – 管理工作流、依赖项、菊花链
• 部署、配置、群集管理、升级等（系统管理员）：Ambari
• 在云中：呼啸
• 不断发展的 Big Data 跟踪平台工具
• ETL 层应用程序问题

第 2 天：第 3 节：Business Intelligence -1 中的预测分析：基础技术和基于机器学习的 BI：

• 机器学习简介
• 学习分类技术
• 贝叶斯预测准备训练文件
• 马尔可夫随机场
• 监督学习和无监督学习
• 特征提取
• 支持向量机
• 神经网络
• 强化学习
• Big Data 大变量问题 -随机森林 （RF）
• 表征学习
• 深度学习
• Big Data 自动化问题 – 多模型集成射频
• 通过 Soft10-M 实现自动化
• LDA 和主题建模
• 敏捷学习
• 基于智能体的学习 - 电信运营示例
• 分布式学习——以电信运营为例
• 用于预测分析的开源工具简介：R、Rapidminer、Mahut
• 更具可扩展性的 Analytic-Apache Hama、Spark 和 CMU Graph 实验室

第 2 天：第 4 节 预测分析生态系统 2：Telecom 中常见的预测分析问题

• 洞察分析
• 可视化分析
• 结构化预测分析
• 非结构化预测分析
• 客户画像
• 推荐引擎
• 模式检测
• 规则/场景发现 - 失败、欺诈、优化
• 发现根本原因
• 情绪分析
• CRM分析
• 网络分析
• 文本分析
• 技术辅助审查
• 欺诈分析
• 实时分析

第 3 天：第 1 天：网络运营分析——网络故障的根本原因分析、元数据服务中断、IPDR 和 CRM：

• CPU 使用率
• 内存使用情况
• QoS 队列使用情况
• 设备温度
• 接口错误
• IoS 版本
• 路由事件
• 延迟变化
• Syslog 分析
• 丢包
• 负载模拟
• 拓扑推理
• 性能阈值
• 设备陷阱
• IPDR（IP详细记录）收集和处理
• 将 IPDR 数据用于用户带宽消耗、网络接口利用率、调制解调器状态和诊断
• HFC信息

第 3 天：第 2 节：网络服务故障分析工具：

• 网络摘要仪表板：监控整体网络部署并跟踪组织的关键绩效指标
• 高峰期分析仪表板：了解推动高峰利用率的应用程序和用户趋势，并具有特定于位置的粒度
• 路由效率仪表板：通过全面了解互连和传输关系，控制网络成本并为资本项目构建业务案例
• 实时娱乐仪表板：访问重要指标，包括视频观看次数、持续时间和视频体验质量 （QoE）
• IPv6 过渡仪表板：调查 IPv6 在您的网络上的持续采用情况，并深入了解推动趋势的应用程序和设备
• 案例研究1：阿尔卡特朗讯大网络分析（BNA）数据挖掘器
• 多维移动智能（m.IQ6）

第 3 天：第 3 节：Marketing/Sales 的大数据 BI – 从销售数据中了解销售/营销：（所有这些都将通过实时预测分析演示展示）

• 识别速度最快的客户端
• 标识给定产品的客户端
• 为客户确定正确的产品集（推荐引擎）
• 市场细分技术
• 交叉销售和追加销售技术
• 客户细分技术
• 销售收入预测技术

第 3 天：第 4 节：电信首席财务官办公室需要 BI：

• CFO 办公室所需的 Business 分析工作概述
• 新投资风险分析
• 收入、利润预测
• 新客户获取预测
• 损失预测
• 财务欺诈分析（下节详述）

第 4 天：第 1 节：电信欺诈分析中 Big Data 的欺诈预防 BI：

• 带宽泄漏/带宽欺诈
• 供应商欺诈/项目多收费用
• 客户退款/索赔欺诈
• 差旅报销欺诈

第 4 天：第 2 节：从流失预测到流失预防：

• 3 种流失类型：主动/故意、轮换/偶然、被动、非自愿
• 流失客户的 3 种分类：总计、隐藏、部分
• 了解客户流失的 CRM 变量
• 客户行为数据收集
• 客户感知数据收集
• 客户人口统计数据收集
• 清理CRM数据
• 非结构化CRM数据（客户电话、工单、电子邮件）及其转换为结构化数据以进行客户流失分析
• Social Media CRM-提取客户满意度指数的新方法
• 案例研究 1 ： T-Mobile USA：客户流失率降低 50%

第 4 天：第 3 节：如何使用预测分析进行客户不满意的根本原因分析：

• 案例研究 -1 ： 将不满意与问题联系起来 – 会计、工程故障，如服务中断、带宽服务差
• 案例研究-2：Big Data QA 仪表板，用于跟踪来自各种参数的客户满意度指数，例如呼叫升级、问题的严重性、待处理的服务中断事件等。

第 4 天：第 4 节：Big Data 用于快速访问各种数据和显示的仪表板：

• 现有应用平台与大数据仪表盘的整合
• 大数据管理
• 大数据仪表板案例研究：Tableau 和 Pentaho
• 使用大数据应用程序推送基于位置的广告
• 跟踪系统和管理

第 5 天：第 1 节：如何证明 Big Data BI 在组织内实施的合理性：

• 定义 Big Data 实施的 ROI
• 节省分析师收集和准备数据时间的案例研究 - 提高生产力
• 客户流失带来的收入增长案例研究
• 基于位置的广告和其他定向广告的收入收益
• 一种集成的电子表格方法，用于计算 Big Data 实施的近似费用与收入收益/节省。

第 5 天：第 2 节：将遗留数据系统替换为 Big Data 系统的分步过程：

• 了解实用 Big Data 迁移路线图
• 在构建 Big Data 实现之前需要哪些重要信息
• 计算数据量、速度、多样性和准确性的不同方法有哪些
• 如何估算数据增长
• 2 家电信公司的案例研究

第 5 天：第 3 节和第 4 节：审查 Big Data 供应商并审查他们的产品。问答环节：

• 埃森哲阿尔卡特朗讯
• 亚马逊–A9
• APTEAN（前身为 CDC Software）
• 思科系统
• 克劳德拉
• 山谷
• 电磁兼容
• GoodData公司
• 番石榴
• 日立数据系统
• 霍顿工厂
• 华为
• 惠普
• IBM公司
• 信息网
• 英特尔
• Jaspersoft的
• Microsoft
• MongoDB（以前称为 10Gen）
• MU西格玛
• NetApp 的
• Opera 解决方案
• 神谕
• 贝尔塔霍
• 普拉特福拉
• Qliktech的
• 量子
• 机架空间
• 革命分析
• Salesforce的
• 树液
• SAS学院
• 西森
• 软件 AG/Terracotta
• Soft10 自动化
• Splunk的
• 平方
• Supermicro 超微
• Tableau 软件
• Teradata的
• 大分析思维
• 潮汐系统
• VMware （EMC 的一部分）