视频课程：Spark原理深入与编程实战
视频标题： (2022)Spark结构化流_流DataSink
发布时间：2025-11-27
视频描述
流应用程序的最后一步通常是将计算结果写入一些外部系统或存储系统。Spark结构化流提供了5个内置数据接收器（Data Sink）。其中三个是用于生产的，两个用于测试目的。
课程章节 返回课程首页
-
Ch01 Spark架构与集群搭建
-
Ch02 开发和部署Spark程序
-
Ch03 Spark核心编程
- Spark核心数据抽象RDD
- Spark RDD单词计数示例
- 创建和操作RDD
- aggregate算子详解
- Spark Pair RDD
- RDD上的描述性统计操作
- RDD持久化操作
- RDD数据重分区
- Spark程序执行原理
- 广播变量和累加器
- (2022)理解核心数据抽象RDD
- (2022)掌握RDD编程模型
- (2022)创建RDD的三种方法
- (2022)RDD上的Transformation和Action操作
- (2022)数值型RDD上的描述性统计操作方法
- (2022)键值对RDD上的专用操作方法
- (2022)持久化RDD
- (2022)RDD数据分区和数据重分区 VIP
- (2022)自定义数据分区器
- (2022)基于分区的操作函数
- (2022)深入理解RDD的执行过程
- (2022)Spark资源管理
- (2022)使用共享变量_广播变量和累加器
- (2022)RDD编程案例_合并小文件 VIP
- (2022)RDD编程案例_实现二次排序 VIP
- (2022)RDD编程案例_Top N实现 VIP
- (2022)RDD编程案例_酒店数据预处理 VIP
-
Ch04 Spark SQL编程
- Spark SQL数据抽象DataFrame
- 加载各种数据源构造DataFrame
- 操作DataFrame
- 临时表与SQL查询
- Spark SQL模块详解
- 使用IntelliJ IDEA开发_Spark SQL项目创建与编程模型
- 使用IntelliJ IDEA开发_创建DataFrame的方法
- 使用IntelliJ IDEA开发_SparkSQL内置数据源
- 使用IntelliJ IDEA开发_对DataFrame执行transformation和action操作
- 使用IntelliJ IDEA开发_DataFrame上的描述性统计操作
- 使用IntelliJ IDEA开发_将DataFrame保存到文件或数据库中
- 使用IntelliJ IDEA开发_使用强类型的Dataset
- 使用IntelliJ IDEA开发_临时表和使用SQL语句
- (2022)Spark SQL数据抽象 VIP
- (2022)Spark SQL编程模型 VIP
- (2022)Spark SQL中的数据类型_列对象和行对象 VIP
- (2022)创建DataFrame VIP
- (2022)操作DataFrame VIP
- (2022)DataFrame上的描述性数据分析函数 VIP
- (2022)取DataFrame中特定字段的值 VIP
- (2022)存储DataFrame VIP
- (2022)DataFrame分区存储 VIP
- (2022)使用类型化的Dataset VIP
- (2022)使用临时视图与SQL查询 VIP
- (2022)缓存DataFrame VIP
-
Ch05 Spark SQL编程(高级)
- Spark SQL内置函数
- 用户定义函数UDF
- DataFrame的join连接操作
- 将分析结果存储到文件或数据库中
- Spark SQL示例_分析银行客户数据
- 使用IntelliJ IDEA开发_Spark SQL内置日期和时间处理函数
- 使用IntelliJ IDEA开发_Spark SQL内置字符串函数和数学函数
- 使用IntelliJ IDEA开发_Spark SQL内置聚合函数
- 使用IntelliJ IDEA开发_Spark SQL窗口分析函数和时间窗口函数
- 使用IntelliJ IDEA开发_Spark SQL用户自定义函数UDF
- 使用IntelliJ IDEA开发_Spark SQL业务分析案例_订单数据集分析 VIP
- 使用IntelliJ IDEA开发_Spark SQL低层_Catalyst优化器和Tungsten VIP
- (2022)日期时间处理函数 VIP
- (2022)字符串和数学处理函数 VIP
- (2022)集合元素处理函数 VIP
- (2022)其他函数和函数应用示例 VIP
- (2022)Spark3数组函数 VIP
- (2022)聚合和数据透视函数 VIP
- (2022)高级分析函数 VIP
- (2022)用户自定义函数UDF VIP
- (2022)DataFrame的JOIN连接 VIP
- (2022)Spark SQL读写Hive表 VIP
- (2022)查询优化器Catalyst VIP
- (2022)Tungsten项目 VIP
-
Ch06 Spark Streaming流处理
-
Ch07 Spark结构化流处理
- Spark新的结构化流编程模型_使用Socket数据源
- Spark新的结构化流处理手机事件流_使用文件数据源
- Spark新的结构化流_使用Rate数据源
- Spark新的结构化流_了解安装和使用Kafka
- Spark新的结构化流_使用Kafka数据源
- Spark结构化流DataFrame操作
- Spark结构化流计算结果写入到Kafka
- Spark结构化流_Data Sink_foreach和memory
- Spark结构化流_输出模式_状态查询_触发器
- (2022)Spark结构化流简介 VIP
- (2022)Spark结构化流编程模型 VIP
- (2022)Spark结构化流_核心概念 VIP
- (2022)Spark结构化流_数据源 VIP
- (2022)Spark结构化流_Kafka数据源 VIP
- (2022)Spark结构化流_转换操作 VIP
- (2022)Spark结构化流_流的JOIN连接 VIP
- (2022)Spark结构化流_流DataSink VIP
- (2022)Spark结构化流_Kafka接收器 VIP
- (2022)深入研究输出模式 VIP
- (2022)深入研究触发器 VIP
-
ch08 Spark结构化流(高级)
-
综合项目实训