英偉達GPU微架構。
前Synopsys研發，十年數字晶片架構師，告訴你：為什麼英偉達就是英偉達那麼好？當然是人家硬體是基礎了，其次是他們家軟體也非常的有市場競争力。具體到AI GPU從底層往上講，因為最底層就是運算單元、單元、堆疊成多線程層的微架構、多線程層的微架構。堆疊好了以後再把它擺成陣列，這樣就一層一層積木搭起來，就是想要的爆發性工藝。
上一篇我講到先進工藝可以把頻率升得很高，把功耗降得很低，是以它的成本效益就非常高。具體到AI GPU就是從微架構上看，它跟CPU不太一樣的地方在于什麼？它其實是一個多輸入多輸出的模型，在做運算的時候一定都是流水線結構。
但是因為想做這種單指令多資料的操作，就是在同樣一個指令下，它有一個模型叫做：MD就是single instryc。我做一個指令，可以執行資料的陣列，把它複制成二維的模型，就是在做一個指令操作的時候可以有多個資料通道同時在工作，就是把CPU的單線程操作變成了多線程操作。這就是multi-thread基本的原理。
multi-thread以後還要加強流水的能力，多線程并行操作。群裡好多專業的小夥伴，是的，很開心。我問你個問題，把它變成多線程輸入？不同的線程之間就會有時差，其實是這樣的，在并發操作的時候，當然不同的線程之間會有所謂的 store-cy口就是有氣泡，這個一定是存在的。
但是整體來講考慮的是吞吐量的問題，吞吐量在多線程的時候是會被擡上去的。其實你問的是流水的問題，單線程也存在；同樣的問題單傳程就沒有流水的問題，一樣會有氣泡的。就好比一個水龍頭在流水嗎？流得怎麼樣流得快？那可一定是滿載，不停得在流。如果它中間不停地有blingbling肯定就慢了。
