天天看點

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

💡 作者:韓信子@ShowMeAI

📘 資料分析實戰系列:https://www.showmeai.tech/tutorials/40

📘 機器學習實戰系列:https://www.showmeai.tech/tutorials/41

📘 本文位址:https://www.showmeai.tech/article-detail/286

📢 聲明:版權所有,轉載請聯系平台與作者并注明出處

📢 收藏ShowMeAI檢視更多精彩内容

低代碼開發,顧名思義,指的是軟體開發過程中隻需要編寫少量代碼就夠了。與傳統開發方式相比,低代碼大幅減少了編寫代碼的工作量,這使其具備了更快的速度、更短的開發時間與更低的成本。

無代碼 / 低代碼機器學習平台(和庫)的興起,加速了代碼開發速度。借助于這些平台和架構,資料科學家們在繁重的探索研究和大量的程式設計任務之間,取得更好的平衡。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

在本篇内容中,ShowMeAI 給大家總結了最值得學習&使用 Python 低代碼機器學習庫,覆寫資料科學最熱門的幾大方向——資料分析&簡單挖掘、機器學習、深度學習。

📌 資料分析&簡單挖掘

💡 D-Tale

D-Tale 是一個易于使用的低代碼 Python 庫,通過将 Flask 編寫的後端與 React 編寫的前端相結合,與 Jupyter Notebook 無縫內建,可以檢視和分析 Pandas 形态的資料,包括 DataFrame、Series、MultiIndex、DatetimeIndex 和 RangeIndex。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

D-Tale 是 SAS 到 Python 轉換的産物,最初是基于 SAS 的 perl 腳本包裝器,現在是基于 Pandas 資料結構的輕量級 Web 用戶端。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

大家可以在D-Tale的官方 📘Github 檢視它的詳細教程和用法,也可以前往 📘線上平台 操作體驗。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

💡 AutoViz

對于低代碼探索式資料分析任務,AutoViz 是 Python 中另一個不錯的選擇。在功能方面,它隻需編寫一行代碼即可使用 AutoViz 完成任何資料集的自動可視化。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

AutoViz 能夠結合任務确定哪些特征是最重要的,然後通過僅使用那些自動選擇的元素來繪制和呈現資訊。而且AutoViz速度極快,可視化可以在幾秒鐘内完成。

大家可以檢視官方 📘AutoViz 示例 Jupyter Notebook 進行學習。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

💡 Lux

Lux 工具庫是一個非常自動的資料分析可視化工具。無需做太多的資料預處理,它會自動根據資料生成一系列候選圖表,根據實際需要從中做選擇即可。這大大減少了制作圖表所需的時間以及資料預處理工作量。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

大家可以通過 Lux 的官方 📘GitHub 頁面了解更多用法細節。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

💡 Pandas-Profiling

pandas-profiling 庫自動針對 pandas DataFrame 格式的資料生成資料分析報告。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

最終的結果以互動式 HTML 報告呈現,包含以下資訊:

  • 類型推斷:字段列的類型
  • 要點:類型、唯一值、缺失值
  • 分位數統計:包括最小值、Q1、中位數、Q3、最大值、範圍、四分位間距
  • 描述性統計:包括均值、衆數、标準差、總和、中值絕對差、變異系數、峰度、偏度等
  • 直方圖:分類和數字
  • 相關性:Spearman、Pearson 和 Kendall 矩陣
  • 缺失值:矩陣、計數、熱圖和缺失值的樹狀圖
  • 文本分析:了解文本資料的類别(大寫、空格)、腳本(拉丁文、西裡爾文)和塊(ASCII)
  • 檔案和圖像分析:提取檔案大小、建立日期和尺寸,并掃描截斷的圖像或包含 EXIF 資訊的圖像
2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料
2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

大家可以在 pandas-profiling 的項目 📘GitHub 頁面擷取詳細使用方法。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

📌 機器學習

💡 PyCaret

PyCaret 是 Python 中的一個開源、低代碼機器學習庫,可自動執行機器學習工作流。它也是一個端到端的機器學習和模型管理工具,可以成倍地加快實驗周期,提升工作開發效率。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

與其他開源機器學習庫相比,PyCaret 有着明顯的低代碼特質,可僅用幾行代碼完成原本需要數百行代碼完成的工作,尤其是對于密集的實驗疊代過程可以大大提速。PyCaret 本質上是圍繞多個機器學習庫和架構封裝而成,包括大家熟悉的 Scikit-Learn、XGBoost、LightGBM、CatBoost、spaCy、Optuna、Hyperopt 和 Ray 等。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

大家可以通過 Pycaret 的 📘官方文檔,📘官方GitHub,📘官方教程 了解更多使用細節。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

📌 深度學習

💡 PyTorch Lightning

PyTorch Lightning 是一個應用在深度學習/神經網絡的 Python 低代碼庫,為 PyTorch 提供進階接口。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

它具備高性能和輕量級的架構,以一種将研究與工程分離的方式來建構 PyTorch 代碼,使深度學習實驗更容易了解和重複。借助它能輕松建構分布式硬體上的可擴充深度學習模型。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

官網介紹說,PyTorch Lightning 的設計是為了讓大家可以将更多的時間花在研究上,而不是花在工程上。大家可以通過 PyTorch Lightning 的 📘官方網站 了解更多使用細節。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

💡 Hugging Face Transformers

Hugging Face Transformers 是 Hugging Face 的開源深度學習工具庫。借助 Transformers,大家可以非常友善快速地下載下傳最先進的預訓練模型,應用在自己的場景中,或者基于自己的資料做再訓練。

2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

因為官方提供的大量預訓練模型,我們可以減少計算費用(因為無需從頭訓練)。豐富的模型覆寫多種資料類型和業務源,包括:

  • 文本:對文本進行分類、資訊抽取、問答系統、機器翻譯、摘要生成,文本生成(覆寫 100 多種語言)
  • 圖像:圖像分類、目标檢測和圖像分割
  • 音頻:語音識别和音頻分類
2022了你還不會『低代碼』?資料科學也能玩轉Low-Code啦! ⛵📌 資料分析&簡單挖掘📌 機器學習📌 深度學習參考資料

PyTorch、TensorFlow 和 JAX 是三個最著名的深度學習庫,transformers 的對這三個架構都支援得很好,甚至可以在一個架構中用三行代碼訓練模型,在另一個架構中加載模型并進行推理。

參考資料

  • 📘 D-Tale 官方 Github: https://github.com/man-group/dtale
  • 📘 AutoViz 官方示例 Jupyter Notebook: https://github.com/AutoViML/AutoViz/tree/master/Examples
  • 📘 Lux 官方 GitHub: https://github.com/lux-org/lux
  • 📘 pandas-profiling 項目 GitHub: https://github.com/ydataai/pandas-profiling
  • 📘 Pycaret 官方文檔: https://pycaret.gitbook.io/
  • 📘 Pycaret 官方GitHub: https://www.github.com/pycaret/pycaret
  • 📘 Pycaret 官方教程: https://pycaret.gitbook.io/docs/get-started/tutorials
  • 📘 PyTorch Lightning 官方網站: https://www.pytorchlightning.ai/
  • 📘 Hugging Face Transformers 官方網站: https://huggingface.co/
  • 📘 Hugging Face Transformers GitHub: https://github.com/huggingface/transformers

繼續閱讀