機器學習工程師是開發産品和建構算法團隊中的一部分,并確定其可靠、快速和成規模地工作。他們和資料科學家密切合作來了解理論知識和行業應用。資料專家和機器學習工程師的主要差別是:
● 機器學習工程師建構、開發和維護機器學習系統的産品。
● 資料專家進行調查研究形成有關于機器學習項目的想法,然後分析來了解機器學習系統的度量影響。
下面是機器學習的架構介紹:
1. Apache Singa 是一個用于在大型資料集上訓練深度學習的通用分布式深度學習平台,它是基于分層抽象的簡單開發模型設計的。
它還支援各種目前流行的深度學習模型,有前饋模型(卷積神經網絡,CNN),能量模型(受限玻爾茲曼機,RBM和循環神經網絡,RNN),還為使用者提供了許多内嵌層。
2. Amazon Machine Learning(AML)是一種讓各種級别使用機器學習技術的開發人員可輕松掌握的一個服務,提供了視覺工具和向導,可以指導您在不必學習複雜的機器學習算法和技術的情況下建立機器學習。
3. Azure ML Studio允許微軟Azure的使用者建立和訓練模型,随後将這些模型轉化為能被其他服務使用的API。盡管您可以将自己的Azure存儲連結到更大模型的服務,但是每個賬戶模型資料的存儲容量最多不超過10GB。在Azure中有大量的算法可供使用,這要感謝微軟和一些第三方。甚至你都不需要新增賬號,就可以匿名登入,使用Azure ML Studio服務長達8小時。
4. Caffe是由伯克利視覺學習中心(BLVC)和社群貢獻者們基于BSD-2-協定開發的一個深度學習架構,它秉承“表示、效率和子產品化”的開發理念。模型群組合優化通過配置而不是寫死實作,并且使用者可根據需要在CPU處理和GPU處理之間進行切換,Caffe的高效性使其在實驗研究和産業部署中的表現很完美,使用單個NVIDIA K40 GPU處理器每天即可處理超過六千萬張圖像 。
5. H2O使人輕松地應用數學和預測分析來解決當今極具挑戰性的商業問題,它巧妙的結合了目前在其他機器學習平台還未被使用的獨有特點:最佳開源技術,易于使用的WebUI和熟悉的界面,支援常見的資料庫和不同檔案類型。用H2O,你可以使用現有的語言和工具。此外,也還可以無縫擴充到Hadoop環境中。
6. Massive Online Analysis (MOA)是目前最受歡迎的資料流挖掘開源架構,擁有一個非常活躍的社群。它包含一系列的機器學習算法(分類,回歸,聚類,離群檢測,概念漂移檢測和推薦系統)和評價工具。和WEKA項目一樣,MOA 也是用Java編寫,但擴充性更好。
7. MLlib (Spark)是Apache Spark的機器學習庫,目的是讓機器學習實作可伸縮性和易操作性,它由常見的學習算法和實用程式組成,包括分類、回歸、聚類,協同過濾、降維,同時包括底層優化原生語言和高層管道API。
8. Mlpack是一個基于C++的基礎學習庫 ,最早于2011年推出,據庫的開發者聲稱,它秉承“可擴充性、高效性和易用性”的理念來設計的。執行Mlpack有兩種方法:通過快速處理簡易的“黑盒”操作指令行執行的緩存,或者借助C++ API處理較為複雜的工作。Mlpack可提供簡單的能被整合到大型的機器學習解決方案中的指令行程式和C++的類。
9. Pattern是Python程式設計語言的web挖掘元件,有資料挖掘工具( Google、Twitter 、Wikipedia API,網絡爬蟲,HTML DOM解析器),自然語言處理(詞性标注,n-gram搜尋,情感分析,WordNet接口),機器學習(向量空間模型,聚類,支援向量機),網絡分析和可視化。
10. Scikit-Learn為了數學和科學工作,基于現有的幾個Python包(Numpy,SciPy和matplotlib)拓展了Python的使用範圍。最終生成的庫既可用于互動式工作台應用程式,也可嵌入到其他軟體中進行複用。該工具包基于BSD協定,是完全免費開源的,可重複利用。Scikit-Learn中含有多種用于機器學習任務的工具,如聚類,分類,回歸等。Scikit-Learn是由擁有衆多開發者和機器學習專家的大型社群開發的,是以,Scikit-Learn中最前沿的技術往往會在很短時間内被開發出來。
11. Shogu是最早的機器學習庫之一,它建立于1999年,用C++開發,但并不局限于C++環境。借助SWIG庫,Shogun适用于各種語言環境,如Java,Python,c#,Ruby,R,Lua,Octave和Mablab。Shogun 旨在面向廣泛的特定類型和學習配置環境進行統一的大規模學習,如分類,回歸或探索性資料分析。
12. TensorFlow是一個使用資料流圖進行數值運算的開源軟體庫,它實作了資料流圖,其中,張量(“tensors”)可由一系列圖形描述的算法來處理,資料在該系統中的變化被稱為“流”,由此而得名。資料流可用C++或Python編碼後在CPU或GPU的裝置上運作。
13. Theano是一個基于BSD協定釋出的可定義、可優化和可數值計算的Phython庫。使用Theano也可以達到與用C實作大資料處理的速度相媲美,是支援高效機器學習的算法。
14. Torch是一種廣泛支援把GPU放在首位的機器學習算法的科學計算架構。由于使用了簡單快速的腳本語言LuaJIT和底層的C/CUDA來實作,使得該架構易于使用且高效。Torch目标是讓你通過極其簡單的過程、最大的靈活性和速度建立自己的科學算法。Torch是基于Lua開發的,擁有一個龐大的生态社群驅動庫包設計機器學習、計算機視覺、信号處理,并行處理,圖像,視訊,音頻和網絡等。
15. Veles是一套用C++開發的面向深層學習應用程式的分布式平台,不過它利用Python在節點間自動操作與協作任務。在相關資料集中到該叢集之前,可對資料進行分析與自動标準化調整,且REST API允許将各已訓練模型立即添加至生産環境當中,它側重于性能和靈活性。Veles幾乎沒有寫死,可對所有廣泛認可的網絡拓撲結構進行訓練,如全卷積神經網絡,卷積神經網絡,循環神經網絡等。
原文釋出時間為:2018-09-4
本文來自雲栖社群合作夥伴“
資料派THU”,了解相關資訊可以關注“
”。