海牛部落 hive 系列教程（二十一）：hive 的 orc 文件、bucket 使用、表操作、关联查询

1. ORC文件

一、定义
　　ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。
和RCFile格式相比，ORC File格式最主要的优点是在文件中存储了一些轻量级的索引数据
二、ORC File文件结构
　　ORC File包含一组组的行数据，称为stripes，除此之外，ORC File的file footer还包含一些额外的辅助信息。在ORC File文件的最后，有一个被称为postscript的区，它主要是用来存储压缩参数及压缩页脚的大小。在默认情况下，一个stripe的大小为250MB。大尺寸的stripes使得从HDFS读数据更高效。
　　在file footer里面包含了该ORC File文件中stripes的信息，每个stripe中有多少行，以及每列的数据类型。当然，它里面还包含了列级别的一些聚合的结果，比如：count, min, max, and sum。下图显示出可ORC File文件结构：

以下内容回帖刷新可见………………