分享大数据领域的最新技术、实践经验和行业动态

标签: Hadoop

前端框架vue.js系列教程: 在本教程中,将学习在Vue 3应用程序中使用JavaScript的Fetch API来获取数据和使用REST API。 通常情况下,用户需要在前端应用程序中获取数据或消费REST API。Vue3中有内置和外部的库来发送HTTP请求到服务器,比如Fetch API和Axios HTTP客户端。在前面的教程中,我们已经掌握如何使用Axi...

标签: Hive

问题描述 使用Spark SQL将DataFrame(列名为中文)写入到Iceberg Hive Catalog中时,出现如下异常信息,并且写入失败: “org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Ad...

标签: Spark

问题描述 最近,当我使用Spark SQL构建的ETL写入数据到Hive ODS中时,出现如下异常信息: Caused by: org.apache.spark.SparkUpgradeException: You may get a different result due to the upgrading of Spark 3.0: writing dates befor...

标签: HBase

问题描述: Hive启动时,给出如下警告信息: which: no hbase in (/opt/java/jdk1.8.0_101/bin:...... 问题剖析: 默认Hive启动时,会对HBase进行检查,查找bin/hbase这个脚本。如果找不到,就给出上述错误信息。如果用户没有配置HBase环境变量,则启动时通常会出现这个错误信息。...

标签: Spark

通常会将大量数据抽取到Hadoop分布式文件系统(HDFS)中进行分析。通常情况下,我们需要用新的变化定期更新这些数据。很长一段时间以来,实现这一目标的最常见方法是使用Apache Hive增量地将新的或更新的记录合并到现有数据集中。增量合并也可以使用Apache Spark执行。在这篇博客中,我将探索如何使用Spark SQL和Spark DataFrame增量更新数据,并演示三种不同的实现方法...

热门标签
大数据 Spark Flink Hadoop 性能优化 流处理 数据分析
关于博客

这里是大数据技术博客专区,定期发布最新的技术文章、实践经验和行业动态,欢迎大家交流学习!