大資料技術與應用學習日志

大資料技術與應用

• 學習内容
• 問題
• 解決
• 啟發

大資料定義

大資料需要特殊的技術，以有效地處理大量的容忍經過時間内的資料。适用于大資料的技術，包括大規模并行處理（MPP）資料庫、資料挖掘、分布式檔案系統、分布式資料庫、雲計算平台、網際網路和可擴充的存儲系統。最小的基本機關是bit，按順序給出所有機關：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

1 Byte =8 bit

1 KB = 1,024 Bytes = 8192 bit

1 MB = 1,024 KB = 1,048,576 Bytes

1 GB = 1,024 MB = 1,048,576 KB

1 TB = 1,024 GB = 1,048,576 MB

1 PB = 1,024 TB = 1,048,576 GB

1 EB = 1,024 PB = 1,048,576 TB

1 ZB = 1,024 EB = 1,048,576 PB

1 YB = 1,024 ZB = 1,048,576 EB

1 BB = 1,024 YB = 1,048,576 ZB

1 NB = 1,024 BB = 1,048,576 YB

1 DB = 1,024 NB = 1,048,576 BB

大資料特點

1. 容量（Volume）：資料的大小決定所考慮的資料的價值和潛在的資訊
2. 種類（Variety）：資料類型的多樣性
3. 速度（Velocity）：指獲得資料的速度
4. 可變性（Variability）：妨礙了處理和有效地管理資料的過程
5. 真實性（Veracity）：資料的品質
6. 複雜性（Complexity）：資料量巨大，來源多管道
7. 價值（value）：合理運用大資料，以低成本創造高價值

趨勢

1. 資料的資源化
2. 與雲計算的深度結合
3. 科學理論的突破
4. 資料科學和資料聯盟的成立
5. 資料洩露泛濫
6. 資料管理成為核心競争力
7. 資料品質是BI(商業智能)成功的關鍵
8. 資料生态系統複合化程度加強

問題

大資料未來會應用到什麼領域

啟發

大資料目前對人類社會影響巨大，與日常生活息息相關。要應用好大資料帶來的便利與機會