Hadoop綜合大作業

作業來源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

準備上傳的檔案夾，建立檔案夾bigdatacase

擷取bigdatacase檔案夾的權限 并再裡面建立dataset檔案夾

檢視我爬取資料的前5條資料

#!/bin/bash
infile=$1
outfile=$2
awk -F "," 'BEGIN{
 id=0;}
{id=id+1;
 print id"\t"$1"\t"$2"\t"$3"\t"$4\t"$5\t"$6\t"$7\t"$8\t"$9\t"$10\t"$11\t"$12\t"$13\t"$14\t"$15\t"$16\t"$17\t"$18\t"$19\t"$20\t"$21\t"$22\t"$23\t"$24\t"$25\t"$26\t"$27
}' $infile > $outfile      

這是pre_deal.sh配置檔案，因為我擷取了27列的資料，是以打了那麼多。

預處理成功，生成了user_table.txt檔案

檢視user_table.txt前面的資料

檢視bigdatacase檔案

HDFS上傳檔案夾/bigdatacase/dataset

檢視HDFS上傳的user_table.txt檔案的前10條資料

建立資料庫bdlab

使用資料庫bdlab

無法建立資料庫表 不知道是什麼原因，百度了很多遍，按照百度上的各種解決方法都解決不了。

總結：前面都很順利，UTF-8也設定好了，但是在hive中無法建立資料庫表，不知道什麼原因，重新安裝HIVE和MYSQL都無法成功，HIVE和MYSQL的安裝配置都是正常的。