1 極值點
對于一進制函數 f(x)，其極值點有如下結論：
1）當一階導數為零時，該點為極值點；
2）當二階導數大于零時，該點為極小值；當二階導數小于零時，該點為極大值；
3）當二階導數等于零時，無法判斷；
對于一般二進制函數 ，其一階偏導滿足關系
為極值點，
使用泰勒公式的二階近似
，
由于一階偏導為零，進一步簡化為
，
則函數
在臨界點
的極值特性取決于關系式
，
通過配方上式改寫為兩完全平方項之和
，
1）當 時，兩平方項均為非負值，z 最終值取決于
。
當
時，臨界點
為極小值點；當
時，臨界點
為極大值點；當
時，無法判斷；
2）當
時，将該公式乘以
，第一項小于零，第二項大于零，則臨界點
為鞍點（saddle point）；
通過以上讨論，對于二進制函數
，當其值始終大于零（非零點）時，該函數被稱為正定的（positive definite）；
推廣到多元函數，也有類似結論；
2 正定矩陣
将二進制二次函數改寫為矩陣
, 當滿足
時，矩陣 A 被稱為正定矩陣；
類似的，n元二次函數
,
其矩陣形式為
，當滿足
時，矩陣 A 被稱為正定矩陣；
觀察矩陣 A 可知，該矩陣為對稱矩陣，故其特征值為實數，特征向量為正交向量；
3 正定矩陣的判定依據
當矩陣 A 為實對稱矩陣時，以下條件都是矩陣 A 為正定矩陣的充分必要條件(necessary and sufficient condition)：
1）
，這是正定矩陣的基本定義；
2）矩陣 A 的所有特征值均大于零；
由于
，
，是以
，矩陣 A 的所有特征值都大于零；
反過來，當所有特征值均大于零時，有如下推導：
對稱矩陣有互相正交的特征向量（機關長度）
，任意向量 x 可被分解為
，
，
，整理得：
，由于特征值均大于零，則
；
3）矩陣 A 的所有子矩陣的行列式值均大于零；
由于正定矩陣 A 滿足條件 2），是以其行列式值大于零；
由于正定矩陣 A 滿足條件 1），令
，
有
，所有子矩陣均為正定矩陣；
由于所有子矩陣均為正定矩陣，故滿足條件2），所有子矩陣行列式值大于零；
4）矩陣 A 的所有主元(pivots)均大于零；
4 半正定矩陣
在最小二乘法應用中，
産生的矩陣一般是正定矩陣（至少是半正定矩陣），證明如下：
，
當 R 每列向量互相獨立時，僅有零向量位于 R 的零空間，當 x 不為零時Rx 不為零，
為正定矩陣；
當 R 存在不獨立的列向量，存在非零向量 x 位于 R 的零空間，故存在 x 不為零時Rx 為零情形，
為半正定矩陣；
以下給出半正定矩陣的充分必要條件：
1）
；
2）所有特征值均大于或等于零；
3）所有子矩陣的行列式值均大于或等于零；
4）所有主元都大于或等于零；
5 n維空間橢球面
由于正定矩陣 A 的特征向量正交，有如下分解：
，
，
由于
為互相正交的機關特征向量，是以
表示任意向量 x 在特征向量上的投影長度，上式可改寫為：
，
令
，表示滿足該條件的向量集合，在二維平面上為橢圓，三維空間中為橢球；
假設向量 x 位于
方向上，則向量 x 僅在
方向上投影不為零，則橢球在
方向上的長度為
；
同理，在其他各個特征向量方向上長度為
；
參考資料 Linear Algebra And Its Applications Gilbert Strang