视频课程:PySpark原理深入与编程实战
视频标题: PySpark SQL用户自定义函数(UDF)
发布时间:2025-11-27
视频描述
【PySpark原理深入与实战】配套精讲视频
尽管PySpark SQL为大多数常见用例提供了大量的内置函数,但总会有一些情况下,这些函数都不能提供用户的场景所需要的功能。PySpark SQL提供了一个相当简单的工具来编写用户定义的函数(UDF),并在PySpark数据处理逻辑或应用程序中使用它们,就像使用内置函数一样。
UDF用于扩展框架的函数,并在多个DataFrame上重用这些函数。UDF实际上是用户可以扩展PySpark的功能以满足特定需求的一种方式。
课程章节 返回课程首页
-
Ch01 Spark架构与集群搭建
-
Ch02 开发和部署PySpark程序
-
Ch03 PySpark核心编程
-
Ch04 PySpark SQL编程(初级)
-
Ch05 PySpark SQL编程(高级)
-
Ch06 PySpark结构化流处理(初级)
-
Ch07 PySpark结构化流处理(高级)
-
ch08 PySpark大数据分析综合案例