《機器人作業系統ROS原理與應用》——導讀

為什麼要寫這本書

随着2013年大資料元年的開啟，各行各業都已經将大資料視為推動企業發展、推進行業進步、加快産業更新、促進民生繁榮、鞏固社會安全甚至提升國家競争力的核心武器。從個性化推薦、關聯銷售到精準營銷，從雲平台、雲服務、雲計算到大資料産業鍊，從百度遷徙、聯考預測到冬季流感預測，從機器學習、圖像識别到智能交通，從奧巴馬總統競選到美國中央情報局反恐，從美國的大資料研究和發展計劃到中國的促進大資料發展行動綱要等一系列事實說明了大資料正受到來自政治、經濟、社會、文化、軍事等各個領域的廣泛關注，并越來越彰顯其巨大價值。

大資料不僅是一個技術名詞，更是當下企業資産、核心競争力、完整産業鍊和先進生産力的代名詞。是以，大資料應該是作為一個整合概念和體系被認知，而非獨立的方法論、技術論甚至應用論。處于飛速變革時代的中國，在大資料産業鍊各個環節的企事業機關受限于自身産業屬性、盈利模式、利益趨向、認知、能力等，無法完整地展示出大資料的知識圖譜與價值圖譜。

縱觀當下整個大資料認知取向，大緻有三類基本認知點：

第一類是大資料知識論，這種認知以大資料方法、理論、知識的研究和推導為聚焦點，通過深度學習，歸納、總結出大資料知識體系。這是典型的學院派，優勢是對基礎理論研究非常透徹并且具備深厚的理論基礎，不足之處是缺乏對産業、學術、應用的結合，更缺少真正能落地的應用案例。

第二類是大資料技術論，這種認知以大資料技術為聚焦點，落腳于大資料的硬體、服務、架構、開發、計算、算法等具體實施層面。誠然，大資料技術是大資料實施的核心，也是帶來技術變革和生産力突破的關鍵，但隻有技術而缺乏正确的方向以及有價值的應用引導，技術便無法發揮作用，更無法轉化為經濟價值、社會價值和政治價值。

第三類是大資料應用論，這種認知以大資料的場景化為聚焦點，通過對曆史、現在、未來的變革、創新和實踐的總結和構想，營造出大資料的豐富應用場景和能力空間。這是一種典型的以應用為驅動的認知理論，通過落地案例驅動技術來表現大資料的巨大價值。但這種應用論過于專注場景化包裝，更強調落地而忽視技術的巨大潛力和推動作用，更無法展現出大資料作為企業資産、技術競争力等非直接利潤表現的價值因素。

本書的幾位聯合作者彼此是共事多年的朋友，各自負責大資料工作中的不同環節。大家的工作和知識有交集更有互補，是以，我們認為隻有依靠這種“知識合并”和“知識互補”的關系才能夠呈現出大資料的全貌，這也是撰寫本書的出發點之一。

目前，市場上有非常多關于大資料的書籍，但能從整體性、全局性、安全性、價值性、技術性、體系性等方面完整考慮的書非常少。我們希望通過本書讓讀者認識到大資料不僅僅是資料、技術、架構、應用，更是結合了商業模式、戰略定位、資訊安全、機關協同、組織保障、實施選型的完整體系。

幾位聯合作者對于本書内容的貢獻如下：呂兆星撰寫了技術的架構部分，包括第4章、第5章、第6章；鄭傳峰撰寫了戰略和應用的部分，包括第1章、第2章、第9章；宋天龍撰寫了資料和價值評估的部分，包括第3章、第8章、第10章、第11章、第12章、第13章；楊曉鵬撰寫了技術開發的部分中第7章的全部内容。

前言

<a href="https://yq.aliyun.com/articles/109252">第1章 企業大資料戰略定位</a>

<a href="https://yq.aliyun.com/articles/109255">1.1 宏觀</a>

<a href="https://yq.aliyun.com/articles/109258">1.2 微觀</a>

1.2.1 資源協同

1.2.2 戰略定位

1.2.3 啟動契機

1.2.4 大資料曆程

<a href="https://yq.aliyun.com/articles/109260">1.3 本章小結</a>

<a>第2章 企業大資料職能規劃</a>

<a href="https://yq.aliyun.com/articles/109265">2.1 大資料組織架構體系</a>

2.1.1 大資料部門在企業中的角色

2.1.2 常見的大資料職能及職責

<a href="https://yq.aliyun.com/articles/109268">2.2 大資料職位建構體系</a>

2.2.1 基礎平台類

2.2.2 資料管理類

2.2.3 技術研發類

2.2.4 産品設計類

2.2.5 資料挖掘類

2.2.6 資料分析類

<a href="https://yq.aliyun.com/articles/109269">2.3 大資料制度和流程規範</a>

2.3.1 制度和流程規範意義

2.3.2 制度和流程規範内容

2.3.3 制度和流程規範模闆

<a href="https://yq.aliyun.com/articles/109270">2.4 本章小結</a>

<a href="https://yq.aliyun.com/articles/109273">第3章 企業大資料解決方案</a>

<a href="https://yq.aliyun.com/articles/109275">3.1 企業大資料解決方案實作方式</a>

3.1.1 獨立研發

3.1.2 第三方解決方案

3.1.3 聯合開發

<a href="https://yq.aliyun.com/articles/109276">3.2 如何選擇解決方案</a>

3.2.1 外部環境分析

3.2.2 内部環境分析

3.2.3 需求規劃分析

3.2.4 解決方案特性分析

3.2.5 解決方案費用評估

<a href="https://yq.aliyun.com/articles/109277">3.3 本章小結</a>

第4章 企業大資料自主實施思路

4.1 制定規劃原則

4.1.1 價值性

4.1.2 實時性

4.1.3 高效性

4.1.4 安全性

4.1.5 延展性

4.1.6 全局性

4.2 制定目标藍圖

4.3 制定建設目标

4.4 明确組織規劃

4.4.1 組織結構設計的作用

4.4.2 組織結構設立的導向

4.4.3 組織結構的最終設立

4.5 設計技術方案

4.5.1 大資料系統建設方案

4.5.2 大資料系統與傳統bi的融合方案

4.6 制定人才規劃

4.6.1 指導思想

4.6.2 規劃原則

4.6.3 核心内容

4.7 投入産出評估

4.7.1 資料投入與産出的内涵

4.7.2 資料投入與産出的特征

4.7.3 資料投入與産出的管理

4.8 資料風險管理

4.8.1 資料風險管理的概念

4.8.2 資料風險管理的類型

4.8.3 資料風險管理的原則

4.8.4 資料風險管理與控制

4.9 本章小結

第5章 大資料技術介紹

5.1 核心技術

5.1.1 hadoop生态

5.1.2 nosql

5.1.3 實時計算

5.1.4 全文檢索

5.2 相關技術

5.2.1 資料可視化

5.2.2 資料緩存

5.2.3 中間件

5.2.4 關系型資料庫

5.2.5 資料etl

5.3 大資料算法庫

5.4 本章小結

第6章 大資料架構設計

6.1 大資料架構設計原則

6.2 大資料核心架構要素

6.3 大資料架構設計模式

6.4 本章小結

第7章 大資料技術開發

7.1 資料采集

7.1.1 批量采集

7.1.2 增量采集

7.2 資料存儲

7.2.1 hdfs檔案存儲引擎

7.2.2 hive資料存儲引擎

7.2.3 hbase列式存儲引擎

7.2.4 mysql關系型資料存儲引擎

7.3 多元計算

7.4 功能服務

7.5 平台管理

7.5.1 監控管理

7.5.2 排程管理

7.5.3 權限管理

7.6 應用域

7.7 本章小結

第8章 大資料工作流

8.1 資料源

8.1.1 日志/檔案

8.1.2 資料庫

8.1.3 網絡爬蟲

8.1.4 第三方api/合作

8.2 資料處理

8.2.1 資料品質校驗

8.2.2 清洗轉換

8.2.3 品質提升

8.2.4 資料脫敏

8.2.5 內建整合

8.3 資料存儲

8.3.1 關系型資料庫

8.3.2 分布式檔案系統

8.4 資料計算

8.4.1 三種資料計算時效性

8.4.2 結構化資料計算

8.4.3 半/非結構化資料計算

8.4.4 深度挖掘學習

8.5 資料應用

8.5.1 輔助決策

8.5.2 資料驅動

8.6 資料品質管理

8.6.1 資料品質建設的内涵

8.6.2 影響資料品質的常見因素

8.6.3 資料品質建設的架構

8.7 本章小結

第9章 企業大資料業務應用

9.1 大資料應用場景概述

9.1.1 場景商業目的分析

9.1.2 場景資料來源分析

9.1.3 場景資料難易分析

9.1.4 場景應用舉例

9.2 使用者畫像

9.2.1 業務應用背景

9.2.2 主要實作過程

9.2.3 關鍵應用場景

9.2.4 應用價值提煉

9.2.5 場景總結回顧

9.3 個性化營銷

9.3.1 業務應用背景

9.3.2 主要實作過程

9.3.3 關鍵應用場景

9.3.4 應用價值提煉

9.3.5 場景總結回顧

9.4 精準廣告

9.4.1 業務應用背景

9.4.2 主要實作過程

9.4.3 關鍵應用場景

9.4.4 應用價值提煉

9.4.5 場景總結回顧

9.5 征信

9.5.1 應用場景背景

9.5.2 主要實作過程

9.5.3 主要應用場景

9.5.4 應用價值提煉

9.5.5 場景總結回顧

9.6 本章小結