热门文章
联系方式
您现在的位置:主页 > 热门文章 > 内容

Hive使用HDFS目录数据创建Hive表分区

发布时间:2018-10-23 编辑:AG集&#

Hive使用HDFS目录数据创建Hive表分区

描述:

Hive表pms.cross_sale_path建立以日期作为分区,将hdfs目录/user/pms/workspace/ouyangyewei/testUsertrack/job1Output/crossSale上的数据,写入该表的$yesterday分区上

表结构:

hive -e " 
set mapred.job.queue.name=pms; 
 
drop table if exists pms.cross_sale_path; 
create external table pms.cross_sale_path 

track_id string, 
track_time string, 
session_id string, 
gu_id string, 
end_user_id string, 
page_category_id bigint, 
algorithm_id int, 
is_add_cart int, 
rcmd_product_id bigint, 
product_id bigint, 
category_id bigint, 
path_id string, 
path_type int, 
path_length int, 
path_list string, 
order_code string 

PARTITIONED BY (ds string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' 
LINES TERMINATED BY ' ' 
STORED AS TEXTFILE;" 

写法:

yesterday=`date -d -1days +%AAAAAAA` 
hive -e "load data inpath '/user/pms/workspace/ouyangyewei/testUsertrack/job1Output/crossSale' into table pms.cross_sale_path partition(ds='$yesterday');" 

基于Hadoop集群的Hive安装

Hive内表和外表的区别

Hadoop + Hive + Map +reduce 集群安装部署

Hive本地独立模式安装

Hive学习之WordCount单词统计

Hive运行架构及配置部署

Hive 的详细介绍:请点这里
Hive 的下载地址:请点这里

本文永久更新链接地址:

http://www.bkjia.com/Linux/935881.htmlwww.bkjia.comtruehttp://www.bkjia.com/Linux/935881.htmlTechArticleHive使用HDFS目录数据创建Hive表分区 描述: Hive表pms.cross_sale_path建立以日期作为分区,将hdfs目录/user/pms/workspace/ouyangyewei/testUsertrack/job1Outpu...

本文源自: 凯发国际

上一篇:GooglePixel3融入更多人工智能,AI将会如何改变手机?

下一篇:Ubuntu下安装Hadoop(单机版)

Copyright © 2005-2016 http://www.erlygoods.com 凯发国际_凯发国际开户礼金_凯发注册送_搜狐财经版权所有 凯发国际_凯发国际开户礼金_凯发注册送_搜狐财经