1、背景
最近抖音上測一測你的動漫人物有點火啊。感覺不過瘾，我想要随時穿越二次元，動手用HaaS開發闆打造一台二次元穿越小電視，大家排隊來穿越吧！
點選檢視關于我穿越二次元這件事
2、人物動漫化原理
在安防、新聞媒體等行業，為保護圖像中的人物隐私，将人物卡通化，可避免識别出原人物是誰。與馬賽克等處理方法相比，更具趣味性，更易于使用者接受提升使用者體驗。由于生成對抗網絡（GAN）在圖像生成領域和視訊生成領域具有巨大的發展潛力，許多研究者嘗試從GAN入手，實作動漫圖像的自動生成。
目前已有的動漫圖像生成方式主要分為兩種，第一種，是基于已有的真實人臉圖檔，進行人臉風格遷移，利用圖像處理技術将原始圖像内容與動漫風格圖形相融合，實作動漫風格轉換，如下圖。雖然風格遷移技術已經有豐富研究成果，但有一些缺陷依然無法避免，例如：生成的卡通圖像表情單一、面部特征畸變、網絡結構複雜等問題。
第二種方法，是将已有的動漫人物圖像，輸入到訓練好的生成對抗神經網絡模型中，對動漫圖像的面部進行特征提取，最後訓練出一組網絡模型，實作自動生成新的動漫人物圖像。
現在用于動漫化的GAN神經網絡有多種可以選擇，比如清華大學研究人員提出的CartoonGAN，以及GoodFellow 2014年提出的DCGAN，加州伯克利大學分校提出的CycleGAN等等，各有優缺點。本例使用阿裡達摩院算法，基于cycleGAN建構了風格引導的門控循環映射網絡（Gated Cyclic Mapping），使得網絡更容易學習到真人到卡通人物轉換中誇張的幾何形變，進而實作更加真實自然的效果。
3、整體方案
3.1、方案設計
看過前面給大家帶來的“老闆來了”這個監控老闆的案例《
HaaS AI 應用實踐“老闆來了”系列之一 ：整體方案》，應該比較熟悉如何使用HaaS AI來打造案例了，通過這個案例，舉一反三再來一個人物動漫化也不在話下。
3.2、材料清單
| 材料清單 | 購買連結 | |
|---|---|---|
| WiFi攝像頭 | | ESP32-EYE: 連結 ESP32-CAM: |
| LCD屏 | | |
| 杜邦線 | | 母對母10CM： 連結1 、 連結2 連結3 |
| 廢棄紙箱 | | NA |
3.3、制作過程
3.3.1、硬體連線
通過母對母的杜邦線将HaaS擴充口與SPI LCD屏連接配接起來。
3.3.2、機箱制作
響應國家提倡環保，我們把廢棄的HaaS開發闆包裝二次利用，用來做小電視的機箱，下面是完工後的造型：
3.3.3、攝像頭畫面采集
通過ESP32-EYE連接配接WiFi攝像頭，HaaS100将WiFi天線扣上，確定WiFi信号良好。如何進行畫面采集請參考
《
HaaS AI 應用實踐“老闆來了”系列之二 ：WiFi攝像頭人像采集》
3.3.4 人物動漫化實作
人物動漫化功能開通
人物動漫化使用阿裡雲視覺智能開放平台進行。先來開通人物動漫化功能：
隻要開通了人臉人體功能，無需再開通，免費開通既有2QPS的不限量免費調用。先來網站上體驗一下吧！
人物動漫化功能的詳細介紹參考：
https://help.aliyun.com/document_detail/188840.htmlOSS圖像上傳
現在我們要使用雲端AI能力來實作人物動漫化，前面整體方案已經提到使用OSS上傳本地采集的圖像，并使用視覺智能平台進行人物動漫化。那麼如何将采集的畫面上傳OSS請參考：
HaaS AI 應用實踐“老闆來了”系列之三：OSS圖像上傳HaaS裝置端開發
采集到人物圖檔後，先上傳圖檔到OSS，再進行人物動漫化處理：
int ucloud_ai_facebody_generate_human_anime_style(char *path, facebody_generate_human_anime_stype_cb_t cb)
{
int ret;
int len;
char *tmp_upload_url, p_upload_url[128];
/*上傳采集到到人物圖檔*/
tmp_upload_url = upload_local_file(path, OSS_ACCESS_KEY, \
OSS_ACCESS_SECRET, NULL , OSS_ENDPOINT, OSS_BUCKET);
if (!tmp_upload_url) {
LOGE(TAG, "url is null\n");
return -1;
}
len = strlen(tmp_upload_url);
memcpy(p_upload_url, tmp_upload_url, len);
p_upload_url[len] = '\0';
/*調用人物動漫化雲端模型實作人物動畫化*/
ret = facebody_generate_human_anime_style_ai(p_upload_url, cb);
return ret;
} 人物動漫化雲端模型調用步驟：
int facebody_generate_human_anime_style_ai(char *url, facebody_generate_human_anime_stype_cb_t cb) {
/*初始化SDK*/
InitializeSdk();
/*設定雲端通路參數*/
configuration.setRegionId(CLOUD_AI_REGION_ID);
configuration.setEndpoint(CLOUD_AI_FACEBODY_ENDPOINT);
FacebodyClient client(key, secret, configuration);
Model::GenerateHumanAnimeStyleRequest request;
string tmpImageURL, outImageURL;
int ret;
/*設定請求方式為POST*/
tmpImageURL = url;
request.setScheme("http");
request.setMethod(HttpRequest::Method::Post);
request.setImageURL(tmpImageURL);
/*請求進行人物動漫化*/
auto outcome = client.generateHumanAnimeStyle(request);
cout << endl << "facebody describeInstances returned:" << endl;
cout << "error code: " << outcome.error().errorCode() << endl;
cout << "requestId: " << outcome.result().requestId() << endl << endl;
cout << "image url:" << outcome.result().getData().imageURL << endl;
/*傳回人物動漫化後的圖檔位址，并進行通過cb函數實作圖檔下載下傳*/
outImageURL = outcome.result().getData().imageURL;
if (!outImageURL.empty() && cb) {
ret = cb((char *)outImageURL.c_str());
}
/*關閉SDK*/
ShutdownSdk();
return ret;
} callback函數實作人物動漫化圖檔下載下傳及顯示：
int generate_human_anime_styple_callback(char *out_url)
{
int ret;
long size;
int recv_len = 0;;
if (!out_url) {
LOGE(TAG, "out_url is null\n");
return -1;
}
/*下載下傳人物動漫化圖檔*/
LOG("out_url: %s\n", out_url);
/*get image by url*/
ret = ucloud_ai_connect(out_url);
if(HTTP_SUCCESS != ret) {
LOGE(TAG, "ucloud_ai_connect failed, ret: %d\n", ret);
return -1;
}
recv_len = ucloud_ai_get_stream(out_url);
LOG("image recv_len: %d", recv_len);
ucloud_ai_disconnect();
if (!recv_len) {
LOGE(TAG, "recv_len is %d\n", recv_len);
return -1;
}
/*save human anime style image*/
ret = ucloud_ai_save_image("/data/humananime.png");
if (ret < 0) {
LOGE(TAG, "save_captured_image fail\n");
return -1;
}
/*顯示人物動漫化圖檔到LCD屏*/
#ifdef AOS_COMP_SDL2
/*draw image to lcd screen*/
graphics_draw_image("/data/humananime.png", 0, 0);
#endif
return ret;
} 4、Demo體驗
講了那麼多，很想要快速體驗吧，按照下面幾個步驟來就可以了。
4.1、下載下傳代碼
參考《
HaaS100快速開始》下載下傳AliOS Things代碼。
git clone https://github.com/alibaba/AliOS-Things.git -b dev_3.1.0_haas 4.2、裝置端配置
前面通過開通OSS，視覺智能開放平台功能擷取到賬号及域相關資訊，配置到sdkconfig.h中，并選擇AI_MODEL，同時将前面擷取到的WiFi攝像頭IP也更新進來。
4.3、代碼編譯
1. $aos make distclean
2. $aos make ucloud_ai_demo@haas100 -c config
3. $aos make 4.4、代碼燒錄
如果是使用的Window燒錄工具參考《
》，燒錄的檔案位于：
将檔案[email protected]和littlefs.bin分别替換write_flash_gui/ota_bin/ota_rtos.bin和write_flash_gui/ota_bin/littlefs.bin。
如果使用的是docker環境請參考《
一步搞定AliOS Things開發環境安裝》4.3燒錄固件。
4.5、網絡連接配接
因為HaaS開發闆需要連接配接到雲端，是以需要連接配接到一個可以上外網的路由器，WiFi攝像頭也隻能使用Station模式連接配接到同一台路由器，例如：
$netmgr -t wifi -c haas_open 12345678 5、效果展示
網絡連上後就可以直接體驗效果了：
6、開發者技術支援
如需更多技術支援，可加入釘釘開發者群，或者關注微信公衆号
更多技術與解決方案介紹，請通路阿裡雲AIoT首頁
https://iot.aliyun.com/