logo

小白学苑PBCP

PBCP, 让大数据竞赛更简单!

2022-2023赛季高职大数据竞赛(样题解析)-数据挖掘-任务三:特征工程(二)

本任务包含以下两个子任务:

启动Hive Metastore服务

Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:

$ hive --service metastore

这将保持Hive Metastore服务一直运行,请勿关闭终端。如果要将其作为后台服务启动,则可以使用下面的命令:

$ nohup hive --service metastore &

这个命令将启动Hive Metastore服务,并在后台持续运行。

子任务1

子任务1描述

1、据Hive的dwd库中相关表或MySQL数据库ds_db01中订单相关表,对用户购买过的商品进行去重,将其转换为以下格式:第一列为用户id mapping,第二列为用户购买过的商品id mapping,按照customer_id与product_id进行升序排序,输出前5行;

字段 ......

抱歉,只有登录会员才可浏览!会员登录