總的來說，涉及矩陣和向量的求導不外乎五大類别，
- 向量對标量
- 标量對向量
- 向量對向量
- 矩陣對标量
- 标量對矩陣
- 向量對标量求導
- 分子布局
向量y--->标量x求導，我們假定所有的向量都是列向量，
在分子布局下表示為，
而在分母布局下表示為，
2.标量對向量求導
3.向量對向量求導
4.标量對矩陣求導
5.矩陣對标量求導
總結，凡是對标量求導，結果的形式都要轉置，而标量對向量和矩陣求導則位置保持
不動。這樣總結友善我們記憶。
一些常見的求導：
首先，有矩陣A,和向量x
注意到，
于是利用向量對向量求導法則，我們有：
同理，