開源大資料周刊-第81期

<a href="https://mp.weixin.qq.com/s/38-JeGynRboFT2KLVHRLmw">2018年的5個人工智能趨勢</a>

在2018年人工智能會有什麼進展？下面是我們觀察到的：期待機器學習在方法、了解和教育方面會取得實質性的進展；在硬體方面的進步和更低的花費，将會帶來更好的資料收集和更快的深度學習；我們會看到更多的自動化應用案例；人工智能社群将繼續解決對于人工智能在隐私、倫理道德和責任方面的擔憂。

<a href="http://www.oschina.net/news/93155/tensorflow-1-6-0-rc0-released">TensorFlow 1.6.0 版本釋出</a>

TensorFlow 1.6.0-rc0 釋出了，TensorFlow 是谷歌的第二代機器學習系統，按照谷歌所說，在某些基準測試中，TensorFlow的表現比第一代的DistBelief快了2倍。

<a href="https://mp.weixin.qq.com/s/dLMeXyZCCfq9_cxRQVyaHg">Python 3.7 有何新亮點 ？</a>

Python 3.7增添了衆多新的類，可用于資料處理、針對腳本編譯和垃圾收集的優化以及更快的異步I/O。Python這種語言旨在使複雜任務變得簡單，最新版本Python 3.7已正式進入測試版釋出階段。Python 3.7的最終版定于2018年6月釋出，但此後不會為Python 3.7版本添加任何新功能。

<a href="https://yq.aliyun.com/articles/446778">YARN中的CPU資源隔離-CGroups</a>

CGroups(Control Groups)是Linux核心的一個資源隔離功能，限制/隔離/統計程序的資源使用，包括CPU/記憶體/磁盤IO/網絡等資源。YARN中也內建了CGroups的功能，使得NodeManger可以對container的CPU的資源使用進行控制，比如可以對單個container的CPU使用進行控制，也可以對NodeManger管理的總CPU進行控制。

<a href="https://tech.meituan.com/real-timedata_measure.html">美團點評基于Storm的實時資料處理實踐</a>

本文将從目前主流實時資料處理引擎的特點和我們面臨的問題出發，簡單的介紹一下美團是如何搭建實時資料處理系統。計算引擎的完整性、資料的平滑處理以及計算政策等。

<a href="http://www.infoq.com/cn/articles/dataflow-apache-beam">使用Dataflow模型和Apache Beam進行流資料處理的基礎</a>

無限資料流中的資料遲到是資料處理系統必須考慮的問題。水印（watermark）是一種用于解決遲到資料問題的概念。當資料處理系統接受到了一個水印時間戳時，它就會假設它不會再接收到比該時間戳更舊的消息。Google Dataflow模型以及對應的Apache Beam實作都鼓勵使用者為了能夠更好地了解資料處理的方法，需要問自己四個問題：你在計算什麼？事件時間（Event time）在哪裡？什麼時候進行處理？如何進行改進？

<a href="https://engineering.linkedin.com/blog/2018/02/dynamometer--scale-testing-hdfs-on-minimal-hardware-with-maximum">Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity</a>

Dynamometer是LinkedIn推出的一款開源HDFS性能評測工具。Dynamometer最初是為了解決HDFS叢集擴充的性能瓶頸，旨在精确預測HDFS性能。Dynamometer能夠建立HDFS叢集，模拟NameNode和DataNode節點（内部稱為"Dyno-HDFS", "Dyno-NN", and "Dyno-DN"），通過審計日志回放生産環境下真實的負載。本文主要介紹了Dynamometer誕生的背景、原理，以及在LinkedIn内部如何運用于HDFS新特性測試和NameNode調優。

版權聲明：資訊都是來自網際網路，如果侵權，請聯系我們，我們負責删除。