優化器 Adam和SGD的結合體AdaBelief

我測試，開始收斂确實比較快。

https://baijiahao.baidu.com/s?id=1680860727047517917&wfr=spider&for=pc

http://www.techweb.com.cn/cloud/2020-10-19/2807413.shtml

AdaBelief
           

• 論文連結：https://arxiv.org/pdf/2010.07468.pdf
• 論文頁面：https://juntang-zhuang.github.io/adabelief/
• 代碼連結：https://github.com/juntang-zhuang/Adabelief-Optimizer

https://github.com/lucidrains/lambda-networks/blob/1b950fa0879b834757ab0d935017788eb231a66e/lambda_networks/lambda_networks.py

import math