阿裡雲實習心得

非常榮幸我們的研究工作《Two causal principles for improving visual dialog》獲得了同行的認可，并收錄在CVPR 2020會議中。在此要特别感謝我的教授，MReaL實驗室成員以及阿裡城市大腦實驗室師兄師姐一直以來的支援和幫助。比起論文本身的内容，我更希望跟大家分享一年來做研究的心得和感悟，雖然目前我仍然是一個萌新，不過我希望通過萌新的角度能帶給大家一些研究上的啟發。

開始一個研究之前，選擇方向很重要。當然，每一個方向都有自己的優缺點，比如新的方向“容易”發文章，可能将其他領域原有的方法引入加一些調整就可以達到比較高的結果。不過如果沒有堅實的創新，在同行評議時，可能會受到質疑。一旦沒有通過，再轉投時可能發現已經落後于其他人。“老“的方向可能會感覺灌水困難，不過因為我沒有真正做過經典的方向，是以不太好發表評論。根據觀察，在一堆全面而又堅實的研究中找到創新點，對萌新來說确實困難，不過一旦有所突破，肯定會對這個社群産生廣泛的影響。作為一個萌新，可能不會自己選擇方向或者領域，是以接受導師或者主管的安排成了唯一的選擇，不過要相信自己的導師和主管，因為大家都是在幫助你，而且他們經驗豐富。隻有當自己走完一套研究的流程，并且真正找到自己感興趣或者覺得可以有所突破的方向，那可能才是真正屬于自己的研究的開始。

當選定了方向，開始做研究的時候，清楚的了解所有有關的方法是非常重要的，因為這樣可以防止你的idea被存在的方法“抄襲“。其實對一個比較成熟的研究方向來說，簡單思考得到的idea一般都會被提出過。不過研究完所有存在方法後，要跳出這些方法，因為閱讀他們的方法可能不是來借鑒，更多的是防止撞車，想要真正有創新，在别人的方法上改動往往是不夠的，這就要求我們重新審視這個任務甚至資料集的每一個樣本。當然目前即使是學術界toy的資料集也有動辄幾十萬的資料量，看完是不可能的，不過根據自己的思路統計一些資料特征，有時候對研究會産生很大的幫助。當覺得自己已經掌握了這個資料集或者這個任務的時候，應該是跑一些baseline來練習了。我作為萌新，沒有從零開始寫，而是找了一個現成的模型開始修改，這樣難度會減少很多，不過畢竟是别人的代碼，還是有很多不舒服的地方，是以等自己成熟了的時候，有空的時候，一定要從頭寫一遍。當然我也不知道什麼時候有空。當我開始修改baseline的時候，此次的研究旅行就算是上路了，在接受導師的指引的同時也可以自己不斷的嘗試自己的想法，因為不知道什麼是有用的。我作為萌新剛開始的感受是我覺得可能我想的都有用，那一定要去試一下，是以我也建議大家多試一下，說不定真的有用呢，反正電費不花自己的。當一個東西有用的時候，就可以來思考他為什麼有用了，當你想好它為什麼有用并且通過了廣泛的測試，就到了跟大家分享成果的時候。當然，一個有用的idea背後可能有無數個沒用的idea，至于他們為什麼沒用，我覺得如果實在是有興趣，可以研究一下，但是有時候會花大量的時間。舉一個實際的例子，我在去年做visual dialog比賽，大概四月份就發現了一個有用的方法，之後也順利的拿到了第一并且在此基礎上進行探究和擴充發表了自己的成果。不過同時，當時有一個效果降低的操作一直困擾着我，直到六個月以後，當然這六個月中還做了其他的事情，我才發現了它真正的原因，并且最終變成了我文章中的一句話。舉這個例子的目的是，研究沒有效果的idea會對研究有所幫助，不過可能會收益較低。

研究成果的發表是一個很重要的過程，它可以給領域内的同行以啟發，甚至可以影響本領域之外的人，是以有時候高度總結自己的思想是一件有用的事情。比如我所做的工作我認為進行高度總結之後可以得到一個啟發是：對多模态任務來說不一定所有模态都是平等的，對模型來說所存在模态也不一定是影響結果的全部。除了對自己motivation的總結，應用細節以及結果展示也是非常重要的，因為我是萌新，怎樣寫出一篇文章的經驗肯定是不足的，是以在此不再贅述。在發表完文章之後，“售後服務“也是非常重要的一點，這也是我的教授教我的很重要的理念。因為發表的内容不是刊登出來就結束了，而是你對社群貢獻的開始，之後做研究可能會發現更好的實作，或者當時的理論沒有講清楚完善，這些都可以補充到自己的代碼中，讓大家更好的了解你的思路和工作，或許以後還能收獲好評。

此外，實驗室的成員就是自己研究道路上的引導者和夥伴，會對自己的研究産生各種各樣至關重要的影響，大多時候大家都不會吝惜跟你讨論分享自己的觀點，有時還會親自幫助你解決問題，是以要記得經常參加團建和小集體聚會。不過也不能太依賴别人，每當遇到問題的時候，特别是技術性的問題，還是依靠自己解決的好，畢竟未來總會離開實驗室，離開樂于幫助你的人。最後，保護好自己的頭發，還是要早睡早起，調不出來的bug熬夜也調不出來，不work的idea可能真的不work，沒有人保證煉出來的一定是金子，不要過分影響正常的作息，畢竟這不是百米賽跑，也不能算是馬拉松，而是長久的起碼好幾年以上要堅持的事業。不過我作為萌新才剛剛起步，依然沒有體會到最艱難的時刻，不過做好心理準備還是應該的，該來的總是會來的。最後的最後希望這些淺顯的經驗總結能夠給大家帶來一點兒幫助，謝謝大家的閱讀。