#ChatGTP#早期自然語言處理領域中使用的大多數模型都是基于循環神經網絡（RNN）的，例如長短時記憶網絡（LSTM）。然而，這些模型存在着許多局限性，例如計算複雜度高、難以并行計算等。在2017年，谷歌人工智能研究院的研究人員提出了Transformer模型，進而颠覆了傳統的自然語言處理模型（NLP）。
2018年，OpenAI開發的GPT（Generative Pre-training）在Transformer技術基礎上将NLP模型進行了更深層次的嘗試，利用語料庫中大量的文本資訊擷取更大的上下文資料，進而實作了更好的文本表示。
早期GPT可以做到簡單的語言模型和詞向量生成。2019年，OpenAI釋出GPT-2, 具備了強大的推理能力，能夠根據上文進行語境預測，進而實作更複雜的語言模型。
2020年，OpenAI釋出了GPT-3，GPT-3利用了更大的語料庫進行訓練，可實作更準确的文本表示，支援更複雜的推理，可以模仿文法和句法。
到了2023年的今天，基于GPT-3.5和GPT-4的ChatGPT、New Bing等AI應用已經廣泛應用在各個領域，也出現了一堆與ChatGPT對标的産品。
AI技術的發展，可以說是從Google的Transformer模型開始，被按下了加速鍵，隻不過最終受益的并不是Google自己，甚至Google搜尋很可能要被New Bing超越了。
