文章轉自：https://zhuanlan.zhihu.com/p/25285580
版權歸原作者！
梯度： 運算的對像是純量，運算出來的結果會是向量。（純量–>向量）
在一個純量場中，梯度的計算結果會是”在每個位置都算出一個向量，而這個向量的方向會是在任何一點上從其周圍（極接近的周圍，學過微積分該知道甚麼叫極限吧?）純量值最小處指向周圍純量值最大處。而這個向量的大小會是上面所說的那個最小與最大的差距程度”
舉例子來講會比較簡單，如果現在的純量場用一座山來表示，純量值越大的地方越高，反之則越低。經過梯度這個操作數的運算以後，會在這座山的每一個點上都算出一個向量，這個向量會指向每個點最陡的那個方向，而向量的大小則代表了這個最陡的方向到底有多陡。
梯度下降法就是沿着梯度方向找極值的方法，如圖中的像山一樣的色彩區域，為了定位到山的最低點，我們随機從一個地方出發，然後像小朋友一樣一步一步走下山，最終我們就會走到最低點（或者會是局部最低點）。
散度：運算的對像是向量，運算出來的結果會是純量。（向量–>純量）（向量的點乘）
散度的作用對像是向量場，如果現在我們考慮任何一個點(或者說這個點的周圍極小的一塊區域)，在這個點上，向量場的發散程度，如果是正的，代表這些向量場是往外散出的。如果是負的，代表這些向量場是往内集中的。
一樣，舉例子：因為散度的作用對像是向量場，是以就不能用上面所講的山來想象，這次要想象一個大廣場裡擠了很多人，如果每個人都在到處走動，是不是可以把每個人的行動都看成是一個向量，假如現在某人放了一個屁，周圍的人(可能包含他自己)都想要趕快閃遠一點，就會發現,在這塊區域的人都往這小塊區域以外的方向移動。對啦，這就是散度(你也可以想說是閃遠一點的閃度……冷……)，而且散度為正，大家如果散得越快，散得人越多，這個散度算出來就就越大。
另一個例子就是在橄榄球場上，大家都往抱球的人身上沖撞，在這塊區域人都往内移動，這是散度為負值，中間持球人就是吸收通量的負源，像黑洞一樣收割者一切。
旋度：運算的對像是向量，運算出來的結果會是向量。（向量–>向量）（向量的叉乘）
旋度的作用對象也是向量場，這次直接用上面的例子來講:如果現在散開的衆人都是直直的往那個屁的反方向散開，這時候你看到這些人的動線是不是就是一個标準的幅射狀??不過事實上，,每個人在聞到屁的時候是不會确切的知道屁到底是來自哪個方向的。而可能會走錯方向，試過之後才發現不對勁，越找越臭。這時候你看到衆人的走向不見得就是一個幅射狀(大家都徑向移動)，而可能有一些切向移動的成份在(以屁發點為中心來看)旋度對應的就是這些切向移動的情況，相對來講，散度對應的其實就是徑向移動的情況。.而一個屁，雖然可能會像上述的造成一些切向的移動，但理論上來講，并不會使散開的衆人較趨向于順時鐘轉，或逆時鐘轉。在這種情況，順時鐘轉的情況可以看作與逆時鐘轉的情況抵消，是以，在這情況下，旋度仍然是零。也就是說，一個屁能造成散度，而不會造成旋度……而甚麼時候是有旋度的呢??如果這時候音樂一放，大家開始圍着中間的營火手拉手跳起土風舞(當然是要繞着營火轉的那種啦)這時候就會有旋度沒有散度啦。(剛剛一直放屁的那位跑出去找廁所的除外)。
總結：
以上這三個，有一點一定要記得的。不論是梯度，散度，旋度，都是一種local的量(純量，向量)，所考慮的都是任何一點(其周圍極接近，極小的小範圍)的情況。以上舉的例子因為要容易了解,，是以都是針對二度空間向量為例，而且都是很大的東西，但廣場是一個點，營火晚會也是一個點，納須彌于芥子，這就請自行想象吧。