學習一段時間的tensor flow之後,想找個項目試試手,然後想起了之前在看theano教程中的一個文本分類的執行個體,這個星期就用tensorflow實作了一下,感覺和之前使用的theano還是有很大的差別,有必要總結mark一下。
這個分類的模型其實也是很簡單,主要就是一個單層的lstm模型,當然也可以實作多層的模型,多層的模型使用tensorflow尤其簡單,下面是這個模型的圖
簡單解釋一下這個圖,每個word經過embedding之後,進入lstm層,這裡lstm是标準的lstm,然後經過一個時間序列得到的t個隐藏lstm神經單元的向量,這些向量經過mean pooling層之後,可以得到一個向量h,然後緊接着是一個簡單的邏輯斯蒂回歸層(或者一個softmax層)得到一個類别分布向量。
公式就不一一介紹了,因為這個實驗是使用了tensorflow重制了theano的實作,是以具體的公式可以參看lstm networks for sentiment analysis這個連結。
鄙人接觸tensor flow的時間不長,也是在慢慢摸索,但是因為有之前使用theano的經驗,對于符号化程式設計也不算陌生,是以上手tensorflow倒也容易。但是感覺tensorflow還是和theano有着很多不一樣的地方,這裡也會提及一下。
代碼的模型的主要如下:
模型不複雜,也就不一一解釋了,在debug的時候,還是入了幾個tensorflow的坑,是以想單獨說一下這幾個坑。
坑1:tensor flow的lstm實作
tensorflow是已經寫好了幾個lstm的實作類,可以很友善的使用,而且也可以選擇多種類型的lstm,包括basic、bi-directional等等。
這個代碼用的是basiclstm:
#build lstm network lstm_cell = tf.nn.rnn_cell.basiclstmcell(hidden_neural_size,forget_bias=0.0,state_is_tuple=true) if self.keep_prob<1: lstm_cell = tf.nn.rnn_cell.dropoutwrapper( lstm_cell,output_keep_prob=self.keep_prob ) cell = tf.nn.rnn_cell.multirnncell([lstm_cell]*hidden_layer_num,state_is_tuple=true) self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32) out_put=[] state=self._initial_state with tf.variable_scope("lstm_layer"): for time_step in range(num_step): if time_step>0: tf.get_variable_scope().reuse_variables() (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output)
在這段代碼裡面,tf.nn.rnn_cell.basiclstmcell的初始化隻需要制定lstm神經元的隐含神經元的個數即可,然後需要初始化lstm網絡的參數:self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32),這句代碼乍看一下很迷糊,開始并不知道是什麼意義,在實驗以及查閱源碼之後,返現這句話傳回的是兩個次元是batch_size*hidden_neural_size的零向量元組,其實就是lstm初始化的c0、h0向量,當然這裡指的是對于單層的lstm,對于多層的,傳回的是多個元組。
坑2:這段代碼中的zero_state和循環代數num_step都需要制定
這裡比較蛋疼,這就意味着tensorflow中實作變長的情況是要padding的,而且需要全部一樣的長度,但是因為資料集的原因,不可能每個batch的size都是一樣的,這裡就需要每次運作前,動态制定batch_size的大小,代碼中展現這個的是assign_new_batch_size函數,但是對于num_step參數卻不能動态指定(可能是因為筆者沒找到,但是指定tf.variable()方法确實不行),出于無奈隻能将資料集全部padding成指定大小的size,當然既然使用了padding那就必須使用mask矩陣進行計算。
坑3:cost傳回non
cost傳回non一般是因為在使用交叉熵時候,logits這一邊出現了0值,是以stack overflow上推薦的一般是:sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target) 這樣寫法。
實驗背景:
tensor flow: tensor flow 1.1 platform:mac os 資料集:subject dataset,資料集都經過了預處理,拿到的是其在詞表中的索引
得益于tensorboard各個參數訓練過程都可以可視化,下面是實驗訓練結果:
訓練集訓練結果:
驗證集訓練結果 :
損失函數訓練過程 :
各個參數訓練結果:
最終在測試集上,準确度約為85%,還不錯。
tensor flow 和 theano 是最近比較流行的深度學習架構,兩者非常相似但是兩者又不一樣,下面就我個人體驗比較下兩者的異同。
1. 難易程度
就使用難度而言,tensorflow的便易性要遠勝于theano,畢竟theano是一堆學者研究出來的,而tensorflow是google研究出來的,比較面向工業化。tensor flow直接內建了學術界的很多方法,比如像rnn、lstm等都已經被tensorflow內建了,還有比如參數更新方法如梯度下降、adadelta等也已經被tensorflow寫好了,但是對于theano這個就得自己寫,當然難易程度不一樣了。
2. 靈活性
就靈活性而言,theano是要勝過tensor flow的,正是因為上一點theano的門檻稍高,卻也使得theano有着更大的彈性,可以實作自己任意定義的網絡結果,這裡不是說tensorflow不行,tensorflow也能寫,但是使用tensorflow久了之後,寫一些自定義的結構能力就會生疏許多,比如修改lstm内的一些結構。而theano則沒有這個限制。
3. 容錯性
我個人覺得theano的容錯性是比tensor flow要高的,theano定義變量,隻需要制定類型,比如imatrix、ivertor之類的而不用制定任何的次元,隻要你輸入的資料和你的網絡結構圖能夠對的上的話,就沒問題,而tensorflow擇需要預先指定一些參數(如上面代碼的num_step參數),相比而言,theano的容錯能力多得多,當然這樣也有壞處,那就是可能對導緻代碼調試起來比較費勁兒。
本文作者:ai研習社