问题描述 最近安装了新版的IDEA 2021.2.2。当我要创建Spring MVC Maven项目时，突然发现，archetype项目模板的列表中只显示两个Kotlin的项目模板，其他模板都不见了。 问题分析 出现这个问题，是因为在新版本的IDEA中，没有内置模板。所以我们通过插件加载项目模板列表就好了。 解决方法 1）选...

因为Scala API和Java API可以互操作，所以在使用Scala API开发Spark应用时，我们经常会遇到这样的场景：调用Java的API库/包，返回的是java.util.List类型，但是我们需要的是Scala的List类型(scala.collection.immutable.List)。 换句话说，如何把java.util.List类型转换为Scala的List类型...

问题描述 我有一个Hive表，在其上创建了一个视图。然后查询视图，结果发现视图中的中文列值全显示为?（问号）。 问题原因 虽然Hive元数据库编码设置为utf8，但是TBLS表的定义却有自己的编码。我们登录Hive的元数据库MySQL，打开数据库hive，查看TBLS表的create table语句： mysql> show create t...

问题描述 我们在Spark中，使用DataFrame.saveAsTable()方法将DataFrame存入到Hive数据仓库中。然后在hive shell中直接使用Hive QL查询表数据，出现如下异常： Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDecodingExcepti...

从Flink 0.9开始，在Flink中就有了一个内置的ParameterTool，它可以帮助从外部源（如命令行参数、系统属性或属性文件）获取参数。在内部，它是字符串的map映射，保留key作为参数名，value作为参数值。 例如，我们可以考虑在DataStream API示例中使用ParameterTool，我们需要在其中设置Kafka属性： String kafkapr...