好程序员-千锋教育旗下高端IT职业教育品牌

400-811-9990
  • 客服QQ
  • 官方微信

    好程序员

    专注高端IT职业培训

[HTML5] 好程序员​大数据学习路线之hive存储格式

[复制链接]
31 0
叶子老师 发表于 3 天前 | 只看该作者 |阅读模式 打印 上一主题 下一主题
  好程序员​大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile 、 sequencefile 、 rcfile 、 orc 、自定义 set hive.default.fileformat=TextFile; 默认存储格式为:textfile textFile:普通文本存储,不进行压缩。查询效率较低。
1.sequencefile:
hive提供的二进制序列文件存储,天生压缩。
sequeceFile 和 rcfile都不允许使用load方式加载数据。需要使用insert 方式插入
默认支付压缩、分割,使用便捷、写和查询较快。sequencefile和压缩属性可以搭配使用。
create table if not exists seq1(
id int,
name string
)
row format delimited fields terminated by '\t'
lines terminated by '\n'
stored as sequencefile
;
###加载数据错误方式
load data local inpath '/home/user' into table seq1;
###加载数据正确方式
insert into table seq1
select * from user1
;
2.rcfile:
rcfile可以进行行列混合压缩,将附近的列和行的数据尽量保存到相同的块里面,该存储格式会提高查询效率,但是写数据较慢。该方式和gzcodeC压缩属性结合不是很好() set mapred.output.compression=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
###创建rcfile表:
create table if not exists rc1(
id int,
name string
)
row format delimited fields terminated by '\t'
stored as rcfile
;
create table if not exists rc2(
id int,
name string
)
row format delimited fields terminated by '\t'
stored as rcfile
;
###加载数据错误方式
load data local inpath '/home/user' into table rc1;
###加载数据正确方式
insert into table rc2
select * from user1
;
3.存储自定义:
数据: seqyd元数据文件: aGVsbG8saGl2ZQ== aGVsbG8sd29ybGQ= aGVsbG8saGFkb29w seqyd文件为base64编码后的内容,decode后数据为:
##hello,hive
##hello,world
##hello,hadoop
create table cus(str STRING)  
stored as  
inputformat 'org.apache.hadoop.hive.contrib.fileformat.base64.Base64TextInputFormat'  
outputformat 'org.apache.hadoop.hive.contrib.fileformat.base64.Base64TextOutputFormat';  
LOAD DATA LOCAL INPATH '/home/cus' INTO TABLE cus;
通常是使用 defaultCodec + rcfile搭配效率最好

精彩内容,一键分享给更多人!
收藏
收藏0
转播
转播
分享
淘帖0
支持
支持0
反对
反对0
您需要登录后才可以回帖

本版积分规则

关注我们
千锋好程序员

北京校区(总部):北京市海淀区宝盛北里西区28号中关村智诚科创大厦

深圳西部硅谷校区:深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605-619

杭州龙驰智慧谷校区:浙江省杭州市下沙经济技术开发区元成路199号龙驰智慧谷B座7层

郑州校区:郑州市二七区航海中路60号海为科技园C区10层、12层

Copyright 2007-2019 北京千锋互联科技湖南福彩网 .All Right

京ICP备12003911号-5 京公安网11010802011455号

请您保持通讯畅通1对1咨询马上开启

湖南福彩网 辽宁福彩网 西藏福彩网 西藏福彩网 上海福彩网 淅江福彩网 淅江福彩网 湖南福彩网 江苏福彩网 淅江福彩网