天天看點

比男友更了解你的穿搭喜好,這個模型可以陪你挑衣服 | 論文論文摘要資料集風格化樣式空間類比測試

本文來自AI新媒體量子位(QbitAI)

購物網站總想通過推薦系統讓你多買幾件衣服。

但穿搭可是個不太好把控的東西,複雜的服裝風格不僅讓人挑得眼花缭亂,推薦系統也無法準确推薦出你想買的。最近一項研究表示,有個模型能準确判斷衣服的風格,推薦最有可能被購買的服裝。

這項成果來自首爾國立大學計算機科學與工程學系的Hanbit Lee、Jinseok Seol和Sang-goo Lee三人。本周一,他們在arXiv上發表了題為《Style2Vec: Representation Learning for Fashion Items from Style Sets》的論文。

量子位挑選精彩的部分編譯整理,與大家分享這個比男友更了解你穿搭喜好的模型。

比男友更了解你的穿搭喜好,這個模型可以陪你挑衣服 | 論文論文摘要資料集風格化樣式空間類比測試

随着線上時尚産業的發展,我們對潮流推薦系統的需求越來越大且要求越來越高。對于推薦系統來說,找到使用者喜歡的風格比根據購買記錄推薦相似衣服重要得多。

隻知道使用者一個月中購買了禮服和工裝褲還不能做些什麼,因為我們不知道這些服裝具有什麼特征。如果能用一種可行的方式表示時裝的風格特征,并将它們整理成連貫的風格集,将能向使用者準确推薦他喜歡的衣服。

在這裡,我們引入了一種服裝向量表示模型,并将它命名為Style2Vec。基于詞嵌入中使用的直覺分布式語義,Style2Vec通過對照資料集中的穿衣搭配了解時尚的表現形式。

為了準确評估,我們用類比測試評估各種與時尚相關的語義,如形狀、顔色、圖案甚至是潛在的樣式。最後,用Style2Vec将衣物風格分類,結果顯示,它能勝任時裝相關的分類任務。

Polyvore是一個服裝線上搭配的網站,搜羅了幾百萬件網店的流行單品,使用者可以根據自己的喜好将服裝圖檔自行組合檢視穿搭效果。

比男友更了解你的穿搭喜好,這個模型可以陪你挑衣服 | 論文論文摘要資料集風格化樣式空間類比測試

△ 圖檔來自Polyvore

研究人員在Polyvore上選取了将近30萬套流行服裝的搭配,總共包含53460件上裝、43180件下裝、31199件外塔、77981雙鞋子和30852件連衣裙,總共23萬多件不重複的單品,每一套搭配中含有2到4樣。

擷取了這麼多服裝搭配的樣例後,研究人員用一個16層的VGGNet結構将圖檔映射成1024維的向量。

整個網絡用小批量梯度下降法(Mini-batch Gradient Descent,MBGD)通過batch normalization的Adam優化器進行訓練。

之後,研究人員用t-SNE算法将1024維的服裝特征嵌入2D空間。

比男友更了解你的穿搭喜好,這個模型可以陪你挑衣服 | 論文論文摘要資料集風格化樣式空間類比測試

△ 可視化樣式空間

從上圖可以看到,算法做的不錯。左上角是劃分出的正裝區,包含一些西服、禮裙與高跟鞋;左下是朋克區,彙集了張揚的搖滾元素與朋克範;右上是休閑區,帶着滿滿的居家與舒适感;緊挨着休閑區的右下部分是被分出的運動鞋與休閑鞋。

這個風格化的樣式空間證明了模型可以比較準确地将圖像轉換到合理的樣式空間中。

為了研究這些潛在風格特征的内在特征,研究人員進行了潮流類比測試。測試題很有意思,也很固定——如果x對應y,那麼z對應着?

比如這個問題:“如果朋克靴對應夾克,那麼高跟鞋對應什麼?”研究人員想用這種形式測試是否存在一些潛在的與風格有關的規則。下面這張圖是模型比對的結果——

比男友更了解你的穿搭喜好,這個模型可以陪你挑衣服 | 論文論文摘要資料集風格化樣式空間類比測試

我們可以看到,模型類比推理顯示出很多隐藏的規則。(a)表示了顔色和樣式的轉移,即粉色短裙-黑色短裙和黑色夾克-粉色夾克之間的比對;(b)案例與(a)類似,是格子褲-黑褲與黑裙-格子裙之間的轉換;(c)(d)是風格的轉換,即朋克上衣-休閑上衣與朋克褲-休閑褲的比對;(e)與(f)顯示出正裝與休閑裝的轉換。

通過這項對比實驗,我們可以看出模型的特征向量具有顔色、圖案、形狀等基本特征以及潛在的分類特征。

能夠判斷出你喜愛哪一類風格的服飾,知道這些風格含有哪些時尚元素——看來,這個模型有能力做你的穿搭助手,有潛力被應用在網店的推薦系統中。

而你,離剁手又進了一步。

最後,附論文位址:

https://arxiv.org/pdf/1708.04014v1.pdf

— 完 —

本文作者:安妮 

原文釋出時間:2017-08-16

繼續閱讀