從後端到大資料，這裡幫你規劃一條高薪之路！

大資料（big data），是近幾年很火的一共概念。

**什麼是大資料？**就舉一個生活中很常見的一個例子，平常我們使用APP在各大商城進行商品浏覽購物的時候，你會發現，當你在一類商品停留的時間較長時，回到首頁，輪播圖推薦跟猜你喜歡那一欄就有很大的可能給你推薦你剛剛浏覽過去商品的同類。這裡面就涉及到了大資料的一個概念，APP通過你的浏覽記錄，分析使用者行為，再根據大資料的推薦系統，就完成了從點選浏覽，到秒處理推薦的一個過程。

大資料，說白了就是大量資料的一個集合，來源于海量使用者的一次次行為資料。大資料的核心意義不在于擷取掌握龐大的資料資訊，而在于對這些具有巨大價值的資料進行處理，進而得到這些資料的價值。

大資料主要具有四個特征：

資料量巨大（這也是大資料最基本的特性）

資料類型繁多

價值密度低，商業價值高

資料的處理速度快

從java後端到大資料開發：

對于是大資料開發崗位好還是java開發崗位好，這個是仁者見仁，智者見智。但是，根據招聘網站的需求來看，java開發的工程師中低層次的崗位可以說是幾乎達到了飽和的程度，而最近幾年興起的大資料技術則是對于市場來說具有較大的需求。我認為Java開發對于網際網路專業的同學來說可能是一個不錯的選擇，但是後期如果想要更好的發展，從後端轉型大資料也是一個有很好前景的選擇。

Java後端轉大資料的優勢：

1、從Java後端轉大資料開發周期較短，具有極大的優勢，因為很多大資料開發的架構都是基于Java語言來寫的，而且大資料與後端資料的手機與互動也是比較密切的，對于資料的一些處理 ，有後端經驗的同學就具有了很大的優勢。

2、大資料開發的工資整體上來說要高于java開發，java後端開發到達一定的層次之後工資的上漲幅度也會逐漸下降。對于現興起的大資料專業來說，薪資的整體水準也較高

3、大資料是未來發展的趨勢，以後的時代是大資料的時代，也是以後人工智能，AI等等先進基礎發展的一個基礎，具有很好的一個發展前景。

什麼是大資料技術：

按照官方一點的說法來說，大資料技術可以定義為一種軟體應用程式，主要對機器複雜的大型資料集進行一個分析，處理和提取，而傳統資料處理軟體無法對這些資料進行處理。在我們生活中很多地方需要應用到大資料技術對大量的技術進行一個實時的分析，并得出結論讓資料産生價值。

大資料技術最重要的四個領域：

資料儲存

資料分析

資料挖掘

資料可視化

大資料開發工程師的一些必備技能：

對于一些需要掌握的技術，這裡給大家整理好了一個大綱

大資料技術簡介：

HDFS ：Hadoop的分布式檔案系統，是Apache Hadoop Core項目的一部分

MapReduce：是面向大資料并行處理的計算模型、架構和平台

YARN:是Hadoop的資料總管，可為上層應用提供統一的資源管理和排程

Zookeeper:是一個分布式的，開放源碼的分布式應用程式協調服務

Sqoop:主要用于在Hadoop(Hive)與傳統的資料庫(mysql、postgresql…)間進行資料的傳遞，可以将一個關系型資料庫*（例如 ： MySQL ,Oracle ,Postgres等）*中的資料導進到Hadoop的HDFS中，也可以将HDFS的資料導進到關系型資料庫中。

Hue:可以整合多個大資料技術棧進行互動的架構

Hive:是基于Hadoop的一個資料倉庫工具，用來進行資料提取、轉化、加載，這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模資料的機制

ElasticSesarch:是一個基于Lucene的搜尋伺服器。它提供了一個分布式多使用者能力的全文搜尋引擎，基于RESTful web接口。

Hbase:是一個分布式的、面向列的開源資料庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化資料的分布式存儲系統

MySql:是一個關系型資料庫管理系統]

Spark:是專為大規模資料處理而設計的快速通用的計算引擎

Flink:是由Apache軟體基金會開發的開源流處理架構，其核心是用Java和Scala編寫的分布式流資料流引擎

Kafka:是一種高吞吐量的分布式釋出訂閱消息系統，它可以處理消費者在網站中的所有動作流資料

Flume:是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統