天天看點

Google Colab——零成本玩轉深度學習

目錄

前言

Google Colab基本操作

前期配置

1. 修改筆記本環境

2. 安裝必要的包和軟體

3. 挂載Google Drive

更改工作目錄

運作自己的代碼

1. 将.py檔案和其它必要的檔案上傳到Google Drive

2. 将工作目錄切換到.py檔案所在目錄

3. 運作代碼

4. 注意事項

總結

前言

最近在學深度學習HyperLPR項目時,由于一直沒有比較合适的裝置訓練深度學習的模型,是以在網上想找到提供模型訓練,經過一段時間的搜尋,最終發現了一個谷歌的産品--Google Colaboratory。它幾乎可以實作零成本玩轉深度學習,達到快速訓練模型的目的。

Google Colaboratory是谷歌開放的一款深度學習的研究工具,主要用于深度學習的開發和研究。這款工具現在是可以免費使用,但是暫時還是無法确定是不是永久免費。Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU和TPU使用!GPU型号是Tesla K80!你可以在上面輕松地跑例如:Keras、Tensorflow、Pytorch等架構。

Google Colab基本操作

網站:Google Colab

進入Google Colab網站-》建立項目

Google Colab——零成本玩轉深度學習

建立項目

建立完項目之後我們就可以進入Colab的主界面了。

Google Colab——零成本玩轉深度學習

添加代碼塊

現在,我們就可以在代碼框中輸入一些代碼。這裡注意,如果我們直接輸入代碼,系統會當作是Python代碼執行。例如我們輸入:

a = 1
print(a)
           

運作之後輸出框中會列印出"1"。

Google Colab——零成本玩轉深度學習

運作結果

如果想去執行系統指令,隻需要在指令前加感歎号

!

。例如我們輸入: 

!ls
           

運作結果如下: 

Google Colab——零成本玩轉深度學習

運作結果

執行之後輸出框中會顯示目前目錄下的所有檔案夾。這是不是很像Linux下的指令行操作?

其實在Google Colab中連接配接的雲端的那台虛拟機正是使用的Ubuntu作業系統,我們可以将自己在Google Colab中的一切操作看作是在用指令行控制雲端的那台Ubuntu虛拟機。你可以用它來直接跑代碼,也可以使用一些系統指令(我們後面要安裝第三方軟體都需要借助一系列的系統指令)。

前期配置

1. 修改筆記本環境

每建立一個Colab項目,都需要先對筆記本環境進行配置,運作類型選擇是Python2還是Python3,硬體類型選擇CPU、GPU或者TPU。(其中Python2是2.7版本,Python3是3.6版本)

Google Colab——零成本玩轉深度學習

筆記本設定

 修改完後點選儲存即可。

2. 安裝必要的包和軟體

在代碼段中輸入以下代碼:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
           

運作代碼,運作中會提示輸入驗證碼,點選程式給出的網址進行驗證即可。

3. 挂載Google Drive

其實完成前面的操作我們就可以在Google Colab中敲寫代碼或者輸入一些系統指令了,但是我們現在連接配接的虛拟機是和Google Drive脫離的,也就是說我們跑的程式無法使用谷歌雲盤裡的檔案,這就非常受限制了。是以我們一般需要将谷歌雲盤看作是虛拟機中的一個硬碟挂載,這樣我們就可以使用虛拟機輕松通路谷歌雲盤。

挂載Google Drive代碼:

!mkdir -p drive
!google-drive-ocamlfuse drive
           

 運作挂載Google Drive代碼會出現應認證的連結

Google Colab——零成本玩轉深度學習

裝載Google Drive

 點選連結獲得應用認證碼

Google Colab——零成本玩轉深度學習

應用認證碼

 将應用認證碼複制輸入到下面的文本框中,點選Enter鍵即可

Google Colab——零成本玩轉深度學習

輸入應用認證碼

加載成功之後在左邊的檔案中多了一個dirve檔案夾

Google Colab——零成本玩轉深度學習

加載成功

 挂載完後在虛拟機中會多出一個檔案夾"drive",我們可以用

!ls
           

指令檢視。

更改工作目錄

在Colab中

cd

指令是無效的,切換工作目錄使用

chdir

函數。

import os
os.chdir("drive")
           

執行以上代碼,目前工作目錄會進入到drive檔案夾下。我們再使用

!ls

指令會發現系統輸出的是drive檔案夾下的目錄。

回到上級目錄:

os.chdir('../')
           

運作自己的代碼

好了,各種準備工作都做好了,我們如何在Colab上直接運作自己寫好的代碼呢?其實很簡單,就跟在自己電腦上一樣,使用指令

!python XXX.py
           

就可以了!詳細步驟如下:

1. 将.py檔案和其它必要的檔案上傳到Google Drive

上傳速度很快,不用擔心網速問題~

2. 将工作目錄切換到.py檔案所在目錄

import os
os.chdir('drive/Colab/Your project folder')
           

如果不放心的話切換完之後用

!ls

指令看一下是不是到了指定目錄下。

3. 運作代碼

!python XXX.py
           

4. 注意事項

Linux系統下檔案路徑使用'/'而不是'\'

總結

  1. 可以把Google Colab看成是一台帶有GPU或者TPU的Ubuntu虛拟機,隻不過我們隻能用指令行的方式操作它。你可以選擇執行系統指令,也可以直接編寫運作python代碼。
  2. 挂載完Google Drive,會在虛拟機裡生成一個drive檔案夾,直接将Google Drive當成是一塊硬碟即可。通路drive檔案夾裡的檔案,就是在通路你的Google Drive裡的檔案。
  3. Colab最多連續使用12小時,超過時間系統會強制掐斷正在運作的程式并收回占用的虛拟機。(好像再次連接配接到虛拟機後,虛拟機是被清空的狀态,需要重新配置和安裝庫等等)
  4. 請使用科學上網方式。
好了,Google Colab的使用方法就先介紹到這裡了,筆者也是剛接觸不久,寫下了這篇使用總結的文章與大家分享。文中若有問題之處,還請大家多多包涵,可以在評論區指出我的錯誤,互相學習。
Google Colab——零成本玩轉深度學習

zeusee.com 智雲視圖

繼續閱讀