小叽導讀：數字化的時代，無論是商場裡的大小專櫃，還是小區門口的便利店，大多仍處于“資料荒漠”中。店家不知道店内多少商品被人浏覽，多少衣服被試穿了，作為顧客的我們也不知道哪些商品是最受同齡人喜愛的暢銷好物。
在新零售場景中，線下的行為資料是潛藏的寶礦。如何進行數字化更新，更好輔佐商家和消費者，成為擺在我們眼前的重要課題。
下面，搜尋事業部的算法專家京五将為大家詳細介紹阿裡線上下場景的客流數字化探索與應用。
在網際網路時代，資料是所有應用的基礎，淘寶的商家可以基于商品曆史的點選成交量來判斷店内各個商品的情況，并做出相應的營運行為，淘寶的買家會根據商品曆史的成交資料，評論資料等，來輔助自己判斷是否進行購買，同時我們平台也會基于使用者和商品的曆史資料，來訓練模型，預測各個商品的點選率，預測各個使用者的偏好，使展示的結果更符合使用者的需求。可以看出，資料對于各個不同的角色都有很重要的作用。
在網際網路中，擷取資料相對容易，反觀線下零售場景，大部分資料都是缺失的，商家并不知道店内多少商品被浏覽了，多少商品被試穿了，買家也不知道各件商品的曆史資料。
是以，我們的客流數字化相關的探索，就是要将線下的使用者和商品的行為資料收集起來，讓線下的行為也能有迹可循，為商業決策和市場營運提供準确有效的資料支撐，将傳統零售中的導購經驗逐漸數字化成可量化和統計的數字名額，能夠輔助商家營運，同時幫助使用者進行決策。基于這些資料，也能夠讓算法線上下發揮更大的作用。
整體方案
整體方案如下圖所示，方案涉及場外的選品政策指導，線下引流，進店的人群畫像，顧客軌迹跟蹤，人貨互動資料沉澱，試衣鏡互動/推薦，以及離店後的線上二次觸達。從場外到場内再到線上，構成了整體全流程的産品方案。
客流數字化探索
在門店客流數字化的探索中，硬體部署上，我們使用了門店已有的監控攝像頭和RFID标簽，并結合視覺及射頻相關技術，通過在門店部署GPU終端進行計算。技術方案上，我們基于人臉識别技術，識别進店使用者的性别，年齡，新老客等基礎屬性，并通過行人檢測跟蹤與跨攝像頭的行人重識别技術跟蹤使用者在門店内的動線變化，同時得到整體門店各個區域的熱力圖分布，此外，還通過攝像頭與RFID 多傳感器融合的技術識别使用者在門店内的行為，包括翻動，試穿等，精确定位門店内各個商品的浏覽與試穿頻次以及使用者線上下的偏好。下面會主要介紹其中的行人檢測，行人重識别和動作識别這3個技術方向相關的優化。
行人檢測
在新零售的客流數字化場景中，我們需要通過監控攝像頭對門店客流的進店頻次、性别、動作、行為軌迹、停留時間等全面的記錄和分析。要達到我們的目标，首先需要能夠檢測并識别出攝像頭中的行人。
雖然目前YOLO等目标檢測算法可以做到近乎實時的計算性能，但其評估環境都是Titan X、M40等高性能GPU，且隻能支援單路輸入。無論從硬體成本或是計算能力方面考慮，這些算法都無法直接應用到真實場景中。當然YOLO官方也提供了像YOLOv3-Tiny這種輕量級的模型方案，但模型性能衰減過大，在COCO上mAP下降超過40%。同時現有目标檢測方案的泛化能力還比較弱，不同場景的差異對模型性能會造成較大的影響。門店場景下的視角、光線、遮擋、相似物體幹擾等情況與開源資料集差異較大，直接使用基于VOC、COCO資料集訓練的模型對該場景進行檢查，效果非常不理想。我們分别針對模型的性能和在實際資料集的效果兩方面做了相應的優化。
網絡結構精簡與優化
我們在YOLO架構的基礎上對模型進行改進，實作了一種輕量級實時目标檢測算法，在服飾門店的真實場景下，和YOLOv3相比，模型性能下降不超過2%，模型大小縮小至原來的1/10，在Tesla P4上對比FPS提升268%，可直接部署到手機、晶片等邊緣裝置上，真實業務場景中一台GTX1070可以同時支援16路錄影機同時檢測，有效節約了門店改造的經濟成本。
标準YOLOv3的網絡結構有106層，模型大小有237M，為了設計一個輕量級的目标檢測系統，我們使用Tiny DarkNet來作為骨幹網絡，Tiny DarkNet是一個極簡的網絡結構，最大通道數為512，模型大小僅4M，該模型結構比YOLO官方的YOLOv3-Tiny的骨幹網絡還要精簡，但精簡網絡會造成特征抽取能力的衰減，模型性能下降劇烈，在我們人工标注的2萬多張服飾門店場景資料集上，替換後的Tiny DarkNet + FPN結構較原生結構的AP-50（IOU=0.5）下降30%。我們在特征抽取網絡之後進行Spatial Pyramid Pooling[10]，與原特征一起聚合，之後通過下采樣與反卷積操作将不同層級特征合并，希望将底層的像素特征和高層的語義特征進行更充分的融合來彌補特征抽取能力的下降，整體網絡結構如下圖所示，精簡後的檢測模型大小約為原來的1/10。
目标檢測網絡結構
知識蒸餾進一步優化
知識蒸餾[2]通過Teacher Network輸出的Soft Target來監督Student Network學習網絡中Dark Knowledge，以實作Knowledge Transfer的目的，與量化、剪枝、矩陣近似等方法常被用來實作對模型的壓縮。但蒸餾與量化等方法之間又是可以互相結合的，而且蒸餾本身對模型的修改更加透明，無需特殊的依賴及執行架構。
知識蒸餾網絡結構
上圖是我們網絡蒸餾的模型結構設計，蒸餾時我們采用原生YOLOv3作為Teacher Network，雖然YOLOv3擁有較好的檢測性能，且結構上與我們的模型比較相似，但直接在二者輸出層之間建立L2限制，無法克服Teacher Network中的噪聲及回歸預測的波動，結果反而抑制了Student Network的學習。實驗中發現Hint Layer的損失設計和回歸預測的不确定性是蒸餾效果的核心問題，強行在對應Channel之間建立損失限制的方式過于嚴苛。對于普通卷積而言，我們無需要求Teacher / Student Network的Input Channel順序保持一緻，僅需要整個輸入的分布是一緻的。每個Channel相當于一次采樣結果，相同的分布，采出的樣本順序可能多種多樣，但整體結果符合相同分布，同時經過激活函數的Channel分布不再穩定，需要進行歸一處理。為了避免Teacher Network回歸預測本身的不穩定，回歸損失設計時仍以Ground Truth為目标，将Teacher Network的Output作為Bound，僅對誤差大于Teacher Network的部分進行限制，本質上是在借Teacher Network來進行Online Hard Example Mining。
行人重識别
行人重識别(Person Re-identification)問題是指在跨攝像頭場景下，給定待查找的行人圖檔，查找在其他攝像頭是否出現該人。一般用來解決跨攝像頭追蹤。線上下門店場景中，每個門店都會在各個不同的區域安裝攝像頭，當顧客在店内逛時，我們需要了解使用者是如何在各個區域之間活動，了解各個區域客流的去向與來源，是以需要将各個不同攝像頭中同一個行人進行關聯。
行人特征提取
行人重識别的難點在于，多個攝像頭下拍攝行人的角度不同，圖像中的行人可能72變，同時還有可能會有不同程度的遮擋，導緻直接使用整體的行人特征來做重識别非常具有挑戰性，那能不能用人臉識别做行人重識别？理論上是可以的，但是在實際場景中非常難應用，首先，廣泛存在後腦勺和側臉的情況，做正臉的人臉識别難，其次，攝像頭拍攝的像素可能不高，尤其是遠景攝像頭裡面人臉截出來很可能都沒有32x32的像素。是以人臉識别在實際的重識别應用中存在很大的限制。
行人重識别問題中，如何學得一個魯棒的行人特征表示成為了一個很關鍵的問題。學得行人特征表示最直覺的方式是直接以整張行人圖檔作為輸入，提取一個全局特征，全局特征的目标是學到能夠區分不同行人之間最突出的資訊，比如衣服顔色等，來區分這個行人。然而監控場景的複雜性，使得這樣的方法的準确性受到了很大的限制，比如，各個攝像頭之間存在色差，并且門店的不同區域的光照條件會有差異，此外，還有很多穿相似服裝的行人。同時由于目前行人重識别資料集在體量及豐富性上有比較大的欠缺，一些不突出，不頻繁出現的細節特征在全局特征的訓練中很容易被忽略。
要解決上面提到的問題，使用局部特征替換全局特征是一個比較好的解決方案，基于局部特征的行人重識别方法将原始輸入表示成多個特征塊，每一個特征塊代表一個局部的特征，基于局部特征的方法能夠更關注行人的局部細節方面的特征。
基于局部特征的方法，也存在一些問題，這一類方法将行人劃分為各個獨立的語義分塊，并沒有考慮各個局部特征之間的關聯，是以，在我們的方案中，我們使用到了多級局部特征的融合方案，在考慮各個局部特征的同時考慮多個局部特征的關聯關系，具體網絡結構如下圖所示，在原始的局部特征的基礎之上增加了多個不同尺度的局部特征以及全局特征，學到的特征不僅能夠表示各個部位的細節特征，還能表達不同部位融合在一起的特征，相較原始版本更加豐富化。
目前基于此版本模型還在持續優化中，在Market資料集上Rank@1能達到96.19%，使用同樣骨幹網絡結構的情況下提取全局特征的版本的Rank@1隻能達到89.9%,而僅使用local特征的版本Rank@1能夠達到92.5%，融合的方案相比兩個版本均有較明顯的提升。
跨資料集的行人重識别的探索與嘗試
由于線下場景的特殊性，我們的模型需要部署到各家不同的門店，各個門店的光線，環境存在很大的差異，不同門店的攝像頭安裝的角度也會有些許不同，是以我們在一個資料集上訓練的模型可能并不适用于所有門店，然而我們又不可能逐家門店去做資料的标注，是以，我們想通過一種方式，讓我們的模型能夠自适應到新的門店的資料中。
在門店中，由于顧客是在一個封閉空間，是以顧客在各個攝像頭之間的轉移是存在一定的規律的，比如說：顧客肯定是最先出現在門口的攝像頭，顧客隻能在相鄰的兩個區域之間進行轉移等，基于門店場景的特性，我們首先嘗試了基于攝像頭時空資訊的混合模型，參考[7]，模型結構如下圖所示：
混合模型首先基于原始的視覺特征的分類器來計算各個攝像頭以及不同時間間隔之間轉移的機率分布，再使用時空資訊與原始分類器結合得到最終的結果。
人貨動作檢測
除了基礎的客流動線資料以外，顧客在門店中的行為資料也是非常有價值的，我們嘗試使用視覺結合RFID射頻信号的融合方案，試圖解決顧客在門店中與貨物的互動問題，即哪個顧客在什麼地點翻動/拿起了哪一件商品，比較類似線上的點選資料。
人貨互動的資料線上下是很重要的一個環節，人貨互動的資料可以讓商家知道哪些商品被翻動的多，了解哪些商品比較能夠吸引顧客，哪一類顧客更喜歡哪些風格的商品，同時這一部分資料也完善了整個門店的漏鬥轉化，以前商家僅僅能根據成交來判定每個商品的受歡迎程度，而有些潛在暢銷款可能是由于擺放的位置不恰當，導緻可能根本沒有顧客仔細看到，導緻最終成交額較低，同時有的商品雖然成交筆數不少，但是實際上被顧客拿起的次數也特别多，可能是因為這件商品在一個更顯眼的位置，相比同樣成交筆數的拿起次數較少的商品，實際轉化率更低。補全這個環節的資料對商家的線下營運有很關鍵的作用，同時這一部分行為資料在商家線上線下商品打通之後為線上服務起到最重要的作用。
人貨互動的資料是目前線下資料缺失的比較嚴重的環節，商家一般都能很容易的拿到商品的成交的統計資料，而人貨互動的資料由于發生更頻繁，且不易判斷，是以整體資料的收集難度比較高，此外人貨互動的資料需要精确到具體的SKU，單純的顧客發生了動作并沒有太大的意義，是以在人貨動作檢測的方案上，我們設計了一套結合視覺技術和RFID射頻信号的融合方案，得到最終的人貨互動資料。下圖為整體方案：
門店中裝配有監控錄影機裝置與RFID接收器器裝置，分别錄制實時視訊與RFID标簽受激反射的 時序信号，首先基于回傳的RFID信号與檢測哪些RFID标簽可能被翻動了，由于店鋪服務員已經将RFID标簽的EPC編号與商品的 SKU編号關聯入庫，基于被翻動的标簽EPC編号可以取到對應商品的SKU，同時，使用回傳的顧客圖檔檢測出疑似有在翻動商品的顧客，并根據顧客的圖像坐标進行坐标變換，得到該顧客的真實實體坐标，最後，将檢測出的疑似被翻動的商品與疑似有翻動商品動作的顧客進行關聯，得到商品與行人的最佳比對。
其中基于RFID射頻技術的商品動作識别是一個比較新的嘗試。當顧客翻動衣服時，衣服上的RFID标簽會随之發生微小抖動，RFID接收機裝置記錄标簽反射的信号RSSI，Phase等特征值的變化，回傳到背景，算法通過對每個天線回傳的信号值進行分析判斷商品是否發生翻動。基于RFID信号判斷商品翻動存在諸多問題，包括信号自身噪聲、環境多徑效應、偶然電磁噪聲、貨櫃對信号遮擋的影響等。同時RFID反射信号的大小與接收器離标簽距離遠近存在非線性關系，
其中，d代表RFID标簽與接收器之間距離，
，受Multipath和目前環境的影響，表示各種靜态裝置誤差帶來的偏移。從公式中可以看出，接收器安裝的位置，商店環境等都會給RFID信号帶來很大影響，尋找統一的可以适用于不同商店、不同位置接收器的翻動判斷算法存在很大挑戰。最初的版本我們使用RSSI和Phase的原始值作為特征值來訓練模型，這樣的模型存在一個問題，在我們的樣本不充足的情況下，受環境的影響較大，在真實環境中往往不能達到離線測試的結果，是以，我們試圖基于原始的信号值産生于空間位置不那麼強相關的特征值來輔助動作的判斷。
雖然頻率資訊中的幅度資訊與空間位置存在關系，但是當我們隻關注于頻率分布（不同頻率成份的占比）時，可以将頻率資訊也當成與空間位置資訊無關的特征。頻率資訊的擷取需要對RSSI信号與Phase信号進行離散傅利葉變換, 然後統計頻率信号與相位信号的分布圖。對得到的分布圖，計算目前分布與前一個時刻分布的JS散度(相對于KL散度，JS散度具有加法的對稱性，是以可以用來衡量多個分布之間的相對距離)。
基于相鄰時刻前後兩個樣本的JS散差異的版本在我們的測試資料上能夠達到94%的識别精度，相比最初版本基于原始的RSSI值和phase值作為特征的版本的91.9%的精度，有一定的提升。
基于圖像的顧客動作檢測是經典的分類問題，為了減小對計算能力的需求，我們使用了：MobileNet[12]對行人檢測的圖像進一步分類，并根據模型Logits輸出進行了最優化參數尋優，在保持分類精度時，提高正例召回率，確定正例盡可能被召回，如下圖所示。
我們通過時間關聯程度與動作可疑程度兩個次元同時進行比對，使得最終的比對行人與翻動商品的準确率達到85.8%。
##客流數字化應用
客流數字化産出的客流相關資料不僅僅用于商家的線下營運，同時我們也基于這部分資料線上下場的流量分發上有一些初步應用，淘寶是線上的一個很大的流量分發的入口，淘寶的搜尋和推薦決定了消費者目前能看到哪些商品，也同時影響了各個商家和商品的整體流量情況，搜尋和推薦就是将商家、商品和使用者做比對，将适當的商品展示給合适的使用者，滿足消費者的購物體驗的同時，也平衡各個商家商品的流量配置設定，避免流量的浪費，實作流量的最大化的價值。
線上下商場，也有一樣的流量分發的需求。但是線下場相比線上，有兩個比較大的挑戰：1) 線下目前沒有統一的入口，類似線上的搜尋和推薦應用，無法觸達到使用者；2) 線下沒有類似線上豐富的日志和行為資料，沒有資料支撐比較難做到精準的個性化，無法優化效果。
線上下場的流量分發的探索中，我們使用商場已有的互動螢幕、門店的互動螢幕作為流量分發的出口，同時，利用前文提到的客流數字化沉澱的資料來支撐線下場的個性化流量分發。
場外引流屏
場外引流屏的作用，是進行第一級的流量分發，首先需要通過不同的互動玩法，營銷活動吸引使用者，再通過螢幕對使用者進行個性化的優惠券投放，引導使用者進入不同的門店。
在傳統商場中，使用者剛進來商場，可能會随機地在這個樓層進行活動，當看到感興趣的品牌完成進店的活動，或者使用者會基于導覽屏，大概了解商場樓層的品牌分布情況，再進行有一定針對性的浏覽。而我們的引流屏的作用是将合适的優惠推薦給對應的人，進而引導使用者進店，相當于在商場中島進行整體的流量分發，将集中在中島的使用者往各個不同的方向進行引導。整體方案如下圖所示：
整體方案依賴三部分的資料，分别是基于使用者的圖像特征産出的人群屬性資料，以及各個店鋪的進店人群分布資料和店鋪的其他統計量的特征，基于使用者目前的屬性特征與店鋪的人群分布進行比對，可以得到初步的個性化的店鋪推薦結果，此外，使用店鋪本身的統計量特征作為輔助資訊，在同等比對條件下額外考慮各個店鋪本身的熱度，效率等次元特征，以及目前所提供的優惠券的力度資訊，得到最終的優惠券的排序，并展示給使用者。
場内試衣屏
場内試衣屏的作用是做第二層的流量分發，即使用者進店後，需要推薦哪些商品展示給使用者。在傳統的門店中，使用者進店後會在店内進行随機的浏覽，對于感興趣的衣服會找導購員提供試穿，試穿後導購員也會對顧客進行推薦。整個過程中存在一些問題，首先，使用者對于商品的浏覽和商品擺放的位置關系很大，櫥窗的商品會更容易吸引使用者注意，而部分較密集的衣架區，使用者可能沒有辦法注意到部分貨品；其次，試穿之後導購進行的推薦也會因人而異，和導購本身的素質關系也較大，有些經驗豐富的導購員可以根據你個人的長相氣質推薦更适合你的商品，而更多的導購員隻能簡單的基于目前的熱銷款來進行推薦，無法做到因人而異。
試衣屏推薦要解決的就是上述的兩個問題，整體展現形式如下圖：
在使用者進行試穿時，會在鏡子側方顯示商品的詳情資訊，包括目前商品是否有折扣等，同時會基于使用者的試穿行為，推薦相關商品與搭配商品，給部分商品一次額外的展示機會，同時也能夠基于使用者的試穿以及使用者目前的圖像特征給出個性化的推薦結果，友善使用者的選購，即使使用者暫時沒有這個消費習慣，鏡子螢幕上的推薦結果也能對導購員進行一些輔助決策，能夠幫助導購員給使用者推薦更加個性化更加豐富的商品。
整體算法方案如下圖所示：
考慮到隐私問題，在我們的應用中，我們不去嘗試通過人臉關聯到對應的id，僅在場内通過使用者的行為和其他使用者行為的相似性進行推薦。
工程實作
AI inference是GPU終端計算重要的一環，最開始探索的時候，AI inference采用串行模式：
通過觀察測試資料，我們驚訝地發現，雖然程式已經處于視訊流圖檔處理飽和的狀态，但是6核心CPU的使用率才到150%，GPU的使用率才到30%，也就是說，超過一半的硬體資源處于閑置狀态。 為了使得原本間歇性閑置的資源得到重新的利用，我們改造成了流水線模式，結構圖如下所示：
在多程序實作的流水線方案中，由于每個程序的資料都是互相獨立的，一個程序産生或修改的資料對另一個程序而言它是無感覺。如何提高程序間的資料傳遞是能否高效實作并發的關鍵點。 我們采用了基于mmap ctypes實作的共享記憶體，對比管道、socket多程序通訊機制，共享記憶體在多程序資料通訊方案中是非常高效和靈活，參考multiprocessing Value的解決方案，使用ctypes内置的基本資料結構來實作我們的資料模型，非常友善的進行記憶體切分并轉換成可用的資料結構。
結合業務情況，我們的流水線工作模式會将各個階段分割為子任務，我們還設計了圖檔共享隊列，整個過程隻需要寫入一次圖檔資料，各個階段隻需要從這個共享隊列讀取圖檔即可，等所有流程都操作完之後再從圖檔隊列删除這個圖檔資料，這樣就能保證圖檔操作的正确性和高效性。通過測試發現，我們實作的共享記憶體隊列在讀取資料上比pipe方式快了300多倍。
業務效果
目前我們客流數字化的資料已經沉澱到相應的産品，以下是基礎客流的示意圖，品牌商可以看到門店每日的基礎客流量以及分時段的客流情況，了解各個門店目前的經營狀況。
下圖為區域熱力圖和區域動線圖，區域熱力圖展示了門店在一天内各個小時各個區域的人流量密度情況，我們将各個不同攝像頭的資料進行整合，最終映射到門店的平面CAD圖上展示區域熱力，讓門店能夠更直覺的看到各個區域的熱度，區域動線圖展示了各個區域客流的去向和來源的占比，基于區域熱力和動線資料，商家能夠清晰的了解到門店各個區域的密度情況以及各個區域之間顧客的轉移情況，目前合作的品牌商也會基于區域的資料對店内的陳列做适當的調整，甚至有門店基于動線的資料重新調整整個門店的區域分布情況。
下圖為門店進店客流的人群畫像，展示了門店每天進店客流的性别和年齡的分布，商家會基于進店的人群畫像資料與目前品牌的目标人群進行對比，并基于實際進店客流的分布調整門店陳列商品的品類結構以及不同類型商品的占比。
參考文獻：
[1] Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.
[2] Hinton G, Vinyals O, Dean J. Distilling knowledge in a neural network. In Deep Learning and Repre-sentation Learning Workshop, NIPS, 2014.
[3] Romero A, Ballas N, Kahou S E, et al. Fitnets: Hints for thin deep nets[J]. arXiv preprint arXiv:1412.6550, 2014.
[4] Chen G, Choi W, Yu X, et al. Learning efficient object detection models with knowledge distillation[C]//Advances in Neural Information Processing Systems. 2017: 742-751.
[5] Yifan Sun, Liang Zheng, Yi Yang, Qi Tian, Shengjin Wang. Beyond Part Models: Person Retrieval with Refined Part Pooling
[6] Wei Li, Xiatian Zhu, Shaogang Gong.Person Re-Identification by Deep Joint Learning of Multi-Loss Classification, IJCAI 2017
[7] Jianming Lv, Weihang Chen, Qing Li, Can Yang. Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns, CVPR 2018
[8]Liang Zheng ; Liyue Shen ; Lu Tian ; Shengjin Wang ; Jingdong Wang ; Qi Tian. Scalable Person Re-identification: A Benchmark, ICCV 2015
[9] Guanshuo Wang, Yufeng Yuan, Xiong Chen, Jiwei Li, Xi Zhou.Learning Discriminative Features with Multiple Granularities for Person Re-Identification, MM 2018
[10] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8759-8768.
[11]Tianci Liu ; Lei Yang ; Xiang-Yang Li ; Huaiyi Huang ; Yunhao Liu,TagBooth: Deep shopping data acquisition powered by RFID tags. INFOCOM 2015
[12]
https://github.com/tensorflow/models/blob/master/research/slim/nets/mobilenet_v1.md