文章目錄
-
- 簡介
- 建立項目
- 前期配置
-
- 1.修改筆記本環境
- 2.安裝必要的包和軟體、
- 3.挂載Google Drive
- 4.安裝深度學習平台
- 進階操作
-
- 1.更改工作目錄
- 2.運作自己的代碼
- 常見問題解答
-
- 基礎知識
- 使用Colab
- 資源限制
- 其他問題
- 一些技巧
-
- 1.切換黑暗模式
- 2.讀取自己的CSV檔案
- 3.棧溢出的快捷方式如果你的代碼有問題，則可以點選輸出單元格（output cell）下方的「SEARCH STACK OVERFLOW」按鈕。
- 4.啟動核心
- 5.送出至GitHub存儲庫并共享
- 6.分享Google Colab Notebook
簡介
Google Colaboratory是谷歌開放的一款研究工具，主要用于機器學習的開發和研究。這款工具現在可以免費使用，但是不是永久免費暫時還不确定。Google Colab最大的好處是給廣大的AI開發者提供了 免費的GPU 使用！GPU型号是 Tesla K80 ！你可以在上面輕松地跑例如：Keras、Tensorflow、Pytorch等架構
官方文檔
常見問題解答
建立項目
建立新檔案夾‘Colab’
首次建立Colab項目需要點選“關聯更多應用”，添加“Colaboratory”應用。
建立完就可以進入Colab的主界面。
現在，我們就可以在代碼框中輸入一些代碼。這裡注意，如果我們直接輸入代碼，系統會當作是Python代碼執行。例如我們輸入：
a=1
print(a)
運作之後輸出為1.
執行系統指令，在指令前加！。例如上圖輸入!ls
其實我們在Colab中連接配接的雲端的那台虛拟機正是使用的Ubuntu作業系統，我們可以将自己在Colab中的一切操作看作是在用指令行控制雲端的那台Ubuntu虛拟機。你可以用它來直接跑代碼，也可以使用一些系統指令（我們後面要安裝第三方軟體都需要借助一系列的系統指令）。看到這有沒有感覺自己瞬間多了一台電腦~
前期配置
1.修改筆記本環境
我們每建立一個Colab項目，先對筆記本環境進行配置，選擇是python2還是pyhton3,是否使用GPU。點選筆記本設定，修改完儲存。
2.安裝必要的包和軟體、
在代碼段輸入以下代碼：
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} &1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
運作代碼，運作中會提示輸入驗證碼，點選程式給出的網址進行驗證即可。
3.挂載Google Drive
完成前面的操作我們可以在Colab中敲寫或者輸入一些系統指令了，但是我們現在連接配接的虛拟機是和Google Drive脫離的，也就是說我們跑的程式無法使用谷歌雲盤裡的檔案，這就非常受限了。是以，我們一般需要将谷歌雲盤看做是虛拟機中的一個硬碟挂載，這樣我們就可以使用虛拟機輕松通路谷歌雲盤。
挂載谷歌雲盤的額代碼如下：
!mkdir -p drive
!google-drive-ocamlfuse drive
挂載完成後在虛拟機中會多出一個檔案夾“Drive”,我們可以使用!s檢視。
4.安裝深度學習平台
在官方教程中已經有Keras、Tensorflow、Pytorch的安裝方法，我平時使用Pytorch比較多，是以這裡隻給出Pytorch的安裝代碼。
!pip install http://download.pytorch.org/whl/cu80/torch-0.3.1-cp36-cp36m-linux_x86_64.whl torchvision
我這裡安裝的是0.3.1的版本，大家可以根據自己的需要調整版号。
在Colab下，已經預先提供了兩個版本的 TensorFlow： a 2.x 和 a 1.x 版本。對 TensorFlow 的玩家來說無需進行多餘的安裝配置，使用TensorFlow隻需在運作前聲明版本即可：
%tewnsorflow_version 1.x
import tensorflow as tf
print(tf.__version__)
Pytorch 玩家可直接檢視官方安裝指令pytorch官方直接用 pip install 指令進行安裝即可，分别安裝 torch 和 torchvision，再次提示在colab環境下，系統指令必須添加”!”符号才能正常使用！
!pip install http://download.pytorch.org/whl/cu80/torch-0.3.1-cp36-cp36m-linux_x86_64.whl
!pip install torchvision
安裝完後輸入 import pytorch 沒有報錯，基本上就是安裝成功了。
到此，我們介紹完了Colab中的基本操作，我們現在可以在Colab中跑一些簡單的代碼了。但這顯然還不夠，下面我将介紹一些進階操作以及舉例說明如何在Colab中跑自己寫好的.py檔案。
進階操作
1.更改工作目錄
在Colab中cd指令是無效的，切換工作目錄使用chdir函數。
import os
os.chdir("drive")
執行以上代碼，目前工作目錄會進入到drive檔案夾下。我們再使用!ls指令會發現系統輸出的是drive檔案夾下的目錄。
回到上級目錄：
2.運作自己的代碼
- 将py檔案和其他必要檔案上傳到Google Drive
- 将工作目錄切換到py檔案所在的目錄
import os
os.chdir('drive/Colab/自己的檔案')
不放心的話切換之後用!s指令檢視是不是到指定目錄
- 運作代碼
!python xx.py
-
注意事項
1，Linux系統下檔案路徑使用‘/’而不是“ ”
2，使用雲端硬碟儲存資料
直接使用colab可以上傳臨時資料，儲存臨時結果，一旦斷開連接配接，資料将會丢失，是以強烈建議使用雲端硬碟儲存資料。
3，斷開連接配接的解決辦法
在使用Colab時，一段時間挂機未操作有可能導緻連接配接斷開，但是要是想跑時間較長的項目時不可能一直盯着螢幕，解決辦法如下：
在浏覽器中按F12,找到console将下面的代碼粘貼到控制台運作即可。
function ClickConnect(){
colab.config
console.log("Connnect Clicked - Start");
document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click();
console.log("Connnect Clicked - End");
};
setInterval(ClickConnect, 60000)
4，運作時間過長的項目
建議儲存中間結果，下次使用時直接讀取中間結果繼續跑。
常見問題解答
基礎知識
1，
使用Colab
資源限制
其他問題
一些技巧
1.切換黑暗模式
如果開發者想使用 Google Colab 的暗黑模式，請點選「Tools」頁籤，然後按照下圖所示的步驟進行設定。
在「settings」中，你可以單擊「Site」菜單，然後選擇「dark」功能，單擊儲存。操作完成後即可切換暗黑模式。
2.讀取自己的CSV檔案
從 Google Drive 雲端硬碟讀取 CSV 檔案非常容易，你可能在 Google Drive 雲盤上為 notebooks 或資料檔案建立或指定了檔案夾。或者你将資料自動上傳至建立的檔案夾「drive/MyDrive/Colab Notebooks」。
你隻需在「Drive-MyDrive-Colab Notebooks」檔案夾找到自己的檔案就可以了。右鍵單擊要讀取的檔案名，你将看到如下所示的菜單。左鍵單擊「Copy path」選項。
有了檔案路徑後，你可以将路徑位址粘貼在代碼行中的引号之間。當運作單元格時，「df」也會運作，如下所示：
3.棧溢出的快捷方式如果你的代碼有問題，則可以點選輸出單元格（output cell）下方的「SEARCH STACK OVERFLOW」按鈕。
4.啟動核心
如果 Google Colab 核心有問題，你可以重新啟動并運作所有代碼，也可以像在 Jupyter notebooks 中那樣從菜單中選擇選項。具體來講，選擇「Runtime」，然後選擇所需的選項。
5.送出至GitHub存儲庫并共享
當檔案在 notebook 中處理完後，你既可以将檔案儲存到 Google Drive 雲盤，也可以将其上傳至 GitHub 存儲庫。
将檔案送出至 GitHub 存儲庫後，你可以使用檔案上方的快捷連結（shortcut link）從 GitHub 帳戶打開檔案。當使用 Google Colab 連結打開檔案時，你将看到檔案左上角的 GitHub 圖示。
如果你想分享 GitHub 檔案，則可以點選右上角的「share」按鈕。同時會出現一個警告：「警告：共享連結将不包含你的編輯或輸出。如果想要包含編輯内容，請選擇 File→将副本儲存在驅動器（Drive ）中，并基于該副本生成連結。」
通過上述方式可以複制并分享 notebook。但是，如果你想分享檔案，并希望同僚可以看到檔案更新和變更，則可以通過 notebook 左上角的連結（Copy to Drive）将其儲存到 Drive 中，并共享來自 Google Drive 的連結。
6.分享Google Colab Notebook
當你想要分享 notebook（在 Google Drive 檔案夾中操作檔案），則可以單擊「Share」按鈕。
你可以将同僚的郵件位址添加到下面的行中來分享你的 notebook，然後單擊「Done」。
或者，你可以單擊「Get link」窗格中的任意位置，然後單擊「Restricted 」選項附近的小三角形圖示，并将選項更改為「Anyone with the link」，如下所示：
然後單擊檢視「Viewer」附近的小三角形圖示，有 3 個共享選項。「viewer」選項僅顯示具有連結的檔案；「Commenter」選項可以為他人提供連結，通路者不會對你的檔案進行修改，但可以評論；「Editor」選項允許擁有連結的人檢視、送出和編輯你的檔案。
一旦你設定了其中一個選項，則可以将連結分享給其他人。
參考文獻：參考