貝葉斯網絡模型
貝葉斯定理：
貝葉斯定理是機率論中的一個結論，它跟随機變量的條件機率以及邊緣機率分布有關。在有些關于機率的解說中，貝葉斯定理能夠告知我們如何利用新證據修改已有的看法。通常，事件A在事件B（發生）的條件下的機率，與事件B在事件A的條件下的機率是不一樣的；然而，這兩者是有确定的關系，貝葉斯定理就是這種關系的陳述。
貝葉斯公式為利用搜集到的資訊對原有判斷進行修正提供了有效手段。在采樣之前，經濟主體對各種假設有一個判斷（先驗機率），關于先驗機率的分布，通常可根據經濟主體的經驗判斷确定（當無任何資訊時，一般假設各先驗機率相同），較複雜精确的可利用包括最大熵技術或邊際分布密度以及互相資訊原理等方法來确定先驗機率分布。
貝葉斯網絡：
貝葉斯網絡又稱信度網絡，是Bayes方法的擴充，是目前不确定知識表達和推理領域最有效的理論模型之一。從1988年由Pearl提出後，已經成為近幾年來研究的熱點.。一個貝葉斯網絡是一個有向無環圖,由代表變量節點及連接配接這些節點有向邊構成。節點代表随機變量，節點間的有向邊代表了節點間的互相關系(由父節點指向其子節點)，用條件機率進行表達關系強度，沒有父節點的用先驗機率進行資訊表達。節點變量可以是任何問題的抽象，如：測試值，觀測現象，意見征詢等。适用于表達和分析不确定性和機率性的事件，應用于有條件地依賴多種控制因素的決策，可以從不完全、不精确或不确定的知識或資訊中做出推理。
資訊熵模型
從資訊熵的觀點上可以看出，其實軟體設計與通信、統計學、複雜度、文本識别等處理是一緻的，其在這些方面的經驗和結論可以引入到軟體設計中來，隻是在軟體設計中存在一些新的研究課題而已。
是以，如果需要确定此“置換”的設計，我們可以先從其與之相關聯的外圍的“置換”進行分析，此可以降低其設計的不确定性，并能夠更好的進行分析。
最大熵原理：
最大熵原理是一種選擇随機變量統計特性最符合客觀情況的準則，也稱為最大資訊原理。随機量的機率分布是很難測定的，一般隻能測得其各種均值（如數學期望、方差等）或已知某些限定條件下的值（如峰值、取值個數等），符合測得這些值的分布可有多種、以至無窮多種，通常，其中有一種分布的熵最大。選用這種具有最大熵的分布作為該随機變量的分布，是一種有效的處理方法和準則。這種方法雖有一定的主觀性，但可以認為是最符合客觀情況的一種選擇。
最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在隻掌握關于未知分布的部分知識時，應該選取符合這些知識但熵值最大的機率分布。因為在這種情況下，符合已知知識的機率分布可能不止一個。我們知道，熵定義的實際上是一個随機變量的不确定性，熵最大的時候，說明随機變量最不确定，換句話說，也就是随機變量最随機，對其行為做準确預測最困難。
從這個意義上講，那麼最大熵原理的實質就是，在已知部分知識的前提下，關于未知分布最合理的推斷就是符合已知知識最不确定或最随機的推斷，這是我們可以作出的唯一不偏不倚的選擇，任何其它的選擇都意味着我們增加了其它的限制和假設，這些限制和假設根據我們掌握的資訊無法作出。
柯爾莫哥洛夫複雜度：
一個字元串s的柯爾莫哥洛夫複雜度（K(s)）是這個字元串的最短描述的長度。換言之，一個字元串s的柯爾莫哥洛夫複雜度是能夠輸出且僅輸出這個字元串的最短計算機/圖靈機程式的長度。
柯爾莫哥洛夫複雜度具有不可計算性。
如果序列服從熵為H的分布，那麼該序列的柯爾莫哥洛夫複雜度K近似等于香農熵H，實際上，柯爾莫哥洛夫複雜度比香農熵更為基礎。
算法複雜度與計算複雜度二者之間存在微妙的互補關系，計算複雜度（也就是時間複雜度）與柯爾莫哥洛夫複雜度（也就是程式長度或描述複雜度）可以看成是對應于程式運作時間與程式長度的兩條軸。柯爾莫哥洛夫複雜度是沿第二條軸的最小化問題，而計算複雜度是沿第一條軸的最小化問題。沿兩條軸同時進行最小化的工作幾乎沒有。