目錄
前言
Google Colab基本操作
前期配置
1. 修改筆記本環境
2. 安裝必要的包和軟體
3. 挂載Google Drive
更改工作目錄
運作自己的代碼
1. 将.py檔案和其它必要的檔案上傳到Google Drive
2. 将工作目錄切換到.py檔案所在目錄
3. 運作代碼
4. 注意事項
總結
前言
最近在學深度學習HyperLPR項目時,由于一直沒有比較合适的裝置訓練深度學習的模型,是以在網上想找到提供模型訓練,經過一段時間的搜尋,最終發現了一個谷歌的産品--Google Colaboratory。它幾乎可以實作零成本玩轉深度學習,達到快速訓練模型的目的。
Google Colaboratory是谷歌開放的一款深度學習的研究工具,主要用于深度學習的開發和研究。這款工具現在是可以免費使用,但是暫時還是無法确定是不是永久免費。Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU和TPU使用!GPU型号是Tesla K80!你可以在上面輕松地跑例如:Keras、Tensorflow、Pytorch等架構。
Google Colab基本操作
網站:Google Colab
進入Google Colab網站-》建立項目
建立項目
建立完項目之後我們就可以進入Colab的主界面了。
添加代碼塊
現在,我們就可以在代碼框中輸入一些代碼。這裡注意,如果我們直接輸入代碼,系統會當作是Python代碼執行。例如我們輸入:
a = 1
print(a)
運作之後輸出框中會列印出"1"。
運作結果
如果想去執行系統指令,隻需要在指令前加感歎号
!
。例如我們輸入:
!ls
運作結果如下:
運作結果
執行之後輸出框中會顯示目前目錄下的所有檔案夾。這是不是很像Linux下的指令行操作?
其實在Google Colab中連接配接的雲端的那台虛拟機正是使用的Ubuntu作業系統,我們可以将自己在Google Colab中的一切操作看作是在用指令行控制雲端的那台Ubuntu虛拟機。你可以用它來直接跑代碼,也可以使用一些系統指令(我們後面要安裝第三方軟體都需要借助一系列的系統指令)。
前期配置
1. 修改筆記本環境
每建立一個Colab項目,都需要先對筆記本環境進行配置,運作類型選擇是Python2還是Python3,硬體類型選擇CPU、GPU或者TPU。(其中Python2是2.7版本,Python3是3.6版本)
筆記本設定
修改完後點選儲存即可。
2. 安裝必要的包和軟體
在代碼段中輸入以下代碼:
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
運作代碼,運作中會提示輸入驗證碼,點選程式給出的網址進行驗證即可。
3. 挂載Google Drive
其實完成前面的操作我們就可以在Google Colab中敲寫代碼或者輸入一些系統指令了,但是我們現在連接配接的虛拟機是和Google Drive脫離的,也就是說我們跑的程式無法使用谷歌雲盤裡的檔案,這就非常受限制了。是以我們一般需要将谷歌雲盤看作是虛拟機中的一個硬碟挂載,這樣我們就可以使用虛拟機輕松通路谷歌雲盤。
挂載Google Drive代碼:
!mkdir -p drive
!google-drive-ocamlfuse drive
運作挂載Google Drive代碼會出現應認證的連結
裝載Google Drive
點選連結獲得應用認證碼
應用認證碼
将應用認證碼複制輸入到下面的文本框中,點選Enter鍵即可
輸入應用認證碼
加載成功之後在左邊的檔案中多了一個dirve檔案夾
加載成功
挂載完後在虛拟機中會多出一個檔案夾"drive",我們可以用
!ls
指令檢視。
更改工作目錄
在Colab中
cd
指令是無效的,切換工作目錄使用
chdir
函數。
import os
os.chdir("drive")
執行以上代碼,目前工作目錄會進入到drive檔案夾下。我們再使用
!ls
指令會發現系統輸出的是drive檔案夾下的目錄。
回到上級目錄:
os.chdir('../')
運作自己的代碼
好了,各種準備工作都做好了,我們如何在Colab上直接運作自己寫好的代碼呢?其實很簡單,就跟在自己電腦上一樣,使用指令
!python XXX.py
就可以了!詳細步驟如下:
1. 将.py檔案和其它必要的檔案上傳到Google Drive
上傳速度很快,不用擔心網速問題~
2. 将工作目錄切換到.py檔案所在目錄
import os
os.chdir('drive/Colab/Your project folder')
如果不放心的話切換完之後用
!ls
指令看一下是不是到了指定目錄下。
3. 運作代碼
!python XXX.py
4. 注意事項
Linux系統下檔案路徑使用'/'而不是'\'
總結
- 可以把Google Colab看成是一台帶有GPU或者TPU的Ubuntu虛拟機,隻不過我們隻能用指令行的方式操作它。你可以選擇執行系統指令,也可以直接編寫運作python代碼。
- 挂載完Google Drive,會在虛拟機裡生成一個drive檔案夾,直接将Google Drive當成是一塊硬碟即可。通路drive檔案夾裡的檔案,就是在通路你的Google Drive裡的檔案。
- Colab最多連續使用12小時,超過時間系統會強制掐斷正在運作的程式并收回占用的虛拟機。(好像再次連接配接到虛拟機後,虛拟機是被清空的狀态,需要重新配置和安裝庫等等)
- 請使用科學上網方式。
好了,Google Colab的使用方法就先介紹到這裡了,筆者也是剛接觸不久,寫下了這篇使用總結的文章與大家分享。文中若有問題之處,還請大家多多包涵,可以在評論區指出我的錯誤,互相學習。
zeusee.com 智雲視圖