Hive基于HADOOP來執行分布式程式的，和普通單機程式不同的一個特點就是最終的資料會産生多個子檔案，每個reducer節點都會處理partition給自己的那份資料産生結果檔案，這導緻了在HADOOP環境下很難對資料進行全局排序，如果在HADOOP上進行order by全排序，會導緻所有的資料集中在一台reducer節點上，然後進行排序，這樣很可能會超過單個節點的磁盤和記憶體存儲能力導緻任務失敗。
4個By差別 1）Sort By：分區内有序； 2）Order By：全局排序，隻有一個Reducer； 3）Distrbute By：類似MR中Partition，進行分區，結合sort by使用。 4） Cluster By：當Distribute by和Sorts by字段相同時，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外還兼具Sort by的功能。但是排序隻能是升序排序，不能指定排序規則為ASC或者DESC。
1. order by
Hive中的order by跟傳統的sql語言中的order by作用是一樣的，會對查詢的結果做一次全局排序，但是隻能有一個partition，是以說，隻有hive的sql中制定了order by所有的資料都會到同一個reducer進行處理（不管有多少map，也不管檔案有多少的block隻會啟動一個reducer）。但是對于大量資料這将會消耗很長的時間去執行。
這裡跟傳統的sql還有一點差別：如果指定了hive.mapred.mode=strict（預設值是nonstrict）,這時就必須指定limit來限制輸出條數，原因是：所有的資料都會在同一個reducer端進行，資料量大的情況下可能不能出結果，那麼在這樣的嚴格模式下，必須指定輸出的條數。
2. sort by
sort by 排序出來的資料是局部有序的，但是全局無序。即partition内部是有序的，但是partition與partition之間的資料時沒有順序關系的。
Hive中指定了sort by，那麼在每個reducer端都會做排序，也就是說保證了局部有序（每個reducer出來的資料是有序的，但是不能保證所有的資料是有序的，除非隻有一個reducer），好處是：執行了局部排序之後可以為接下去的全局排序提高不少的效率（其實就是做一次歸并排序就可以做到全局排序了）。
3. distribute by和sort by一起使用
distribute by是控制map的輸出在reducer是如何劃分的。
舉個例子，我們有一張表，mid是指這個store所屬的商戶，money是這個商戶的盈利，name是這個store的名字。
store：
mid money name
AA 15 商店1
BB 16 商店2
CC 17 商店3
DD 18 商店4
AA 20 商店5
執行hive語句：
select mid, money, name from tmp.by_test1 distribute by mid sort by mid asc, money asc
select mid, money, name from tmp.by_test1 distribute by mid sort by mid asc, money desc
我們所有的mid相同的資料會被送到同一個reducer去處理，這就是因為指定了distribute by mid。
這樣的話就可以統計出每個商戶中各個商店盈利的排序了（某個商戶的所有的商店肯定是全局有序的，因為相同的商戶會放到同一個reducer去處理）。這裡需要注意的是distribute by必須要寫在sort by之前。
注意：
distribute by不必非要跟sort by一起用，單獨使用distribute by即相當于聚合（隻是把資料聚集到一起，比如這裡按商戶，把各商戶自己的商店資料聚集到一起，非資料的累加等聚合），加上sort by就是對聚合後各類分别排序。一起使用能實作某些場景而已。
4. cluster by
cluster by的功能就是distribute by和sort by相結合。
如下2個語句是等價的：
select mid, money, name from tmp.by_test1 cluster by mid select mid, money, name from tmp.by_test1 distribute by mid sort by mid
如果需要獲得與3中語句一樣的效果：
select mid, money, name from tmp.by_test1 cluster by mid sort by money --報錯
注意被cluster by指定的列隻能是升序，不能指定asc和desc。