视频课程：Spark原理深入与编程实战
视频标题： (2022)Spark结构化流_数据去重
发布时间：2025-11-27
视频描述
当数据源多次发送相同的数据时，实时流数据中的数据就会产生重复。Spark结构化流使得流应用程序能够轻松地执行数据去重。
课程章节 返回课程首页
-
Ch01 Spark架构与集群搭建
-
Ch02 开发和部署Spark程序
-
Ch03 Spark核心编程
- Spark核心数据抽象RDD
- Spark RDD单词计数示例
- 创建和操作RDD
- aggregate算子详解
- Spark Pair RDD
- RDD上的描述性统计操作
- RDD持久化操作
- RDD数据重分区
- Spark程序执行原理
- 广播变量和累加器
- (2022)理解核心数据抽象RDD
- (2022)掌握RDD编程模型
- (2022)创建RDD的三种方法
- (2022)RDD上的Transformation和Action操作
- (2022)数值型RDD上的描述性统计操作方法
- (2022)键值对RDD上的专用操作方法
- (2022)持久化RDD
- (2022)RDD数据分区和数据重分区 VIP
- (2022)自定义数据分区器
- (2022)基于分区的操作函数
- (2022)深入理解RDD的执行过程
- (2022)Spark资源管理
- (2022)使用共享变量_广播变量和累加器
- (2022)RDD编程案例_合并小文件 VIP
- (2022)RDD编程案例_实现二次排序 VIP
- (2022)RDD编程案例_Top N实现 VIP
- (2022)RDD编程案例_酒店数据预处理 VIP
-
Ch04 Spark SQL编程
- Spark SQL数据抽象DataFrame
- 加载各种数据源构造DataFrame
- 操作DataFrame
- 临时表与SQL查询
- Spark SQL模块详解
- 使用IntelliJ IDEA开发_Spark SQL项目创建与编程模型
- 使用IntelliJ IDEA开发_创建DataFrame的方法
- 使用IntelliJ IDEA开发_SparkSQL内置数据源
- 使用IntelliJ IDEA开发_对DataFrame执行transformation和action操作
- 使用IntelliJ IDEA开发_DataFrame上的描述性统计操作
- 使用IntelliJ IDEA开发_将DataFrame保存到文件或数据库中
- 使用IntelliJ IDEA开发_使用强类型的Dataset
- 使用IntelliJ IDEA开发_临时表和使用SQL语句
- (2022)Spark SQL数据抽象 VIP
- (2022)Spark SQL编程模型 VIP
- (2022)Spark SQL中的数据类型_列对象和行对象 VIP
- (2022)创建DataFrame VIP
- (2022)操作DataFrame VIP
- (2022)DataFrame上的描述性数据分析函数 VIP
- (2022)取DataFrame中特定字段的值 VIP
- (2022)存储DataFrame VIP
- (2022)DataFrame分区存储 VIP
- (2022)使用类型化的Dataset VIP
- (2022)使用临时视图与SQL查询 VIP
- (2022)缓存DataFrame VIP
-
Ch05 Spark SQL编程(高级)
- Spark SQL内置函数
- 用户定义函数UDF
- DataFrame的join连接操作
- 将分析结果存储到文件或数据库中
- Spark SQL示例_分析银行客户数据
- 使用IntelliJ IDEA开发_Spark SQL内置日期和时间处理函数
- 使用IntelliJ IDEA开发_Spark SQL内置字符串函数和数学函数
- 使用IntelliJ IDEA开发_Spark SQL内置聚合函数
- 使用IntelliJ IDEA开发_Spark SQL窗口分析函数和时间窗口函数
- 使用IntelliJ IDEA开发_Spark SQL用户自定义函数UDF
- 使用IntelliJ IDEA开发_Spark SQL业务分析案例_订单数据集分析 VIP
- 使用IntelliJ IDEA开发_Spark SQL低层_Catalyst优化器和Tungsten VIP
- (2022)日期时间处理函数 VIP
- (2022)字符串和数学处理函数 VIP
- (2022)集合元素处理函数 VIP
- (2022)其他函数和函数应用示例 VIP
- (2022)Spark3数组函数 VIP
- (2022)聚合和数据透视函数 VIP
- (2022)高级分析函数 VIP
- (2022)用户自定义函数UDF VIP
- (2022)DataFrame的JOIN连接 VIP
- (2022)Spark SQL读写Hive表 VIP
- (2022)查询优化器Catalyst VIP
- (2022)Tungsten项目 VIP
-
Ch06 Spark Streaming流处理
-
Ch07 Spark结构化流处理
- Spark新的结构化流编程模型_使用Socket数据源
- Spark新的结构化流处理手机事件流_使用文件数据源
- Spark新的结构化流_使用Rate数据源
- Spark新的结构化流_了解安装和使用Kafka
- Spark新的结构化流_使用Kafka数据源
- Spark结构化流DataFrame操作
- Spark结构化流计算结果写入到Kafka
- Spark结构化流_Data Sink_foreach和memory
- Spark结构化流_输出模式_状态查询_触发器
- (2022)Spark结构化流简介 VIP
- (2022)Spark结构化流编程模型 VIP
- (2022)Spark结构化流_核心概念 VIP
- (2022)Spark结构化流_数据源 VIP
- (2022)Spark结构化流_Kafka数据源 VIP
- (2022)Spark结构化流_转换操作 VIP
- (2022)Spark结构化流_流的JOIN连接 VIP
- (2022)Spark结构化流_流DataSink VIP
- (2022)Spark结构化流_Kafka接收器 VIP
- (2022)深入研究输出模式 VIP
- (2022)深入研究触发器 VIP
-
ch08 Spark结构化流(高级)
-
综合项目实训