語言模型在解決各種問題時越來越受歡迎，但在推理過程中仍然有很大的局限性。它們隻能根據标記從左到右地做出決策，這使得它們在進行探索、戰略規劃和初始決策時表現不佳。而“思維之樹”（Tree of Though ToT）則是一種新的提示技術，它基于流行的“思維鍊”方法，并進一步擴充了對文本的連貫單元（“思維”）的探索。ToT允許語言模型在進問題解決的過程中，考慮多種不同的推理路徑和自我評估選擇，進行有意的決策，并在必要時全局選擇向前或向後地推理。
其主要是模拟人對複雜問題的思考方式，ToT的思維之樹架構通過引入思維單元的概念，允許語言模型在推理過程中進行更加靈活和全面的決策。思維單元是文本中的連貫片段，可以是一個詞、一句話或者更長的段落。通過對思維單元進行探索和評估，ToT可以選擇最佳的決策路徑來解決問題。
在24點遊戲中，ToT可以通過生成不同的數學表達式來尋找正确的解答。通過探索不同的思維單元，ToT可以選擇最佳的操作順序和運算符，以獲得正确的結果。
在創意寫作任務中，ToT可以通過生成不同的句子和段落來建立有趣和富有創意的文本。通過考慮不同的思維單元和它們之間的關聯，ToT可以選擇最佳的句子結構和詞彙選擇，以達到創意寫作的目标。
在迷你填字遊戲中，ToT可以通過填充不同的單詞來解決謎題。通過對思維單元進行探索和評估，ToT可以選擇最佳的單詞來填充空白，并確定整個文本的連貫性和合理性。
實驗結果表明，ToT在這些任務中顯著提高了語言模型的問題解決能力。通過引入思維之樹的架構，語言模型可以更好地進行複雜規劃和搜尋，并在需要時進行全局選擇，以達到更好的結果。這一研究為進一步發展語言模型的推理能力提供了新的思路和方法。
如圖所示，簡化來說是通過多個分支的思考、驗證來最後得出結論。就像多個人參與一個讨論，最後綜合大家的觀點得出結論。
圖檔引自：Yao et el. (2023)(opens in a new tab)
例子1:創意寫作
思維單元1: "夏天的天空"
思維單元1.1: "明亮的太陽"
思維單元1.1.1: "熾熱的陽光"
思維單元1.1.2: "溫暖的陽光"
思維單元1.2: "藍色的天空"
思維單元1.2.1: "湛藍的天空"
思維單元1.2.2: "晴朗的天空"
思維單元2: "夏天的氣味"
思維單元2.1: "花香"
思維單元2.1.1: "鮮花的香氣"
思維單元2.1.2: "花園的芬芳"
思維單元2.2: "海洋的味道"
思維單元2.2.1: "鹹鹹的海風"
思維單元2.2.2: "沙灘的清新"
思維單元3: "夏天的活動"
思維單元3.1: "遊泳"
思維單元3.1.1: "在清涼的泳池裡暢遊"
思維單元3.1.2: "沖浪在海浪中"
思維單元3.2: "野餐"
思維單元3.2.1: "在綠草地上享受美食"
思維單元3.2.2: "與朋友一起燒烤"
通過探索和評估思維單元，ToT可以選擇最佳的句子結構和詞彙選擇來生成創意寫作的文章。
例如，ToT可能選擇思維單元1.1.1、思維單元2.1.2和思維單元3.2.1，生成句子：
"夏天的天空散發着熾熱的陽光，花園的芬芳彌漫在空氣中，我在綠草地上與朋友一起享受美食的野餐。" 例子2：深度思考
假設三位不同的專家來回答這個問題。
所有專家都寫下他們思考這個問題的第一個步驟，然後與大家分享。
然後，所有專家都寫下他們思考的下一個步驟并分享。
以此類推，直到所有專家寫完他們思考的所有步驟。
隻要大家發現有專家步驟出錯了，就讓這位專家離開。
請問我在河南參加的聯考，今年聯考成績是文科465分，适合報考什麼大學？ GPT-3.5 的回答：
第一位專家的思考步驟：
我首先會考慮河南省内的高校，因為這樣更符合考生的地理位置和家庭條件。
我會查閱河南省的大學排名和文科專業的錄取分數線，以确定哪些大學是适合的選擇。
第二位專家的思考步驟：
我同意第一位專家的想法，首先應該關注河南省内的大學。
然後，我會進一步研究這些大學的文科專業，看看哪些大學在文科方面有較好的聲譽和教學品質。
第三位專家的思考步驟：
我也同意前兩位專家的觀點。另外，我會建議考生考慮自己的興趣和職業規劃，選擇與之相符的專業。
同時，我還會考慮大學的校園環境、學科設定和就業情況等因素。
第一位專家的下一個步驟：
接下來，我會查閱河南省内大學的錄取分數線，看看哪些大學的文科錄取分數線在465分左右。
然後，我會進一步了解這些大學的專業設定和教學品質。
第二位專家的下一個步驟：
我會進一步調研河南省内的大學，了解它們的就業情況、學科競争力和社會聲譽等方面的資訊。
我還會研究各個大學文科專業的課程設定和教學資源，以确定哪些大學更适合考生報考。
第三位專家的下一個步驟：
我會考慮與文科相關的專業，如人文學科、社會科學等。
同時，我還會研究各個大學的師資力量、科研成果和學科建設情況，以确定哪些大學在文科方面更具有優勢。
根據以上專家的思考步驟，我們可以看出他們都在關注河南省内的大學、文科專業的錄取分數線、
教學品質、學科設定、就業情況等因素。根據考生的興趣和職業規劃，以及大學的校園環境、學科競争力等方面，可以選擇适合的大學報考。但在實際選擇時，還需綜合考慮個人的實際情況和需求。 例子2：多角色協作
假設心理醫生、公園老大爺、公司高層管理者、抖音網紅來回答這個問題。
所有人都寫下他們思考這個問題的第一個步驟，然後與大家分享。
然後，所有專家都寫下他們思考的下一個步驟并分享。
以此類推，直到所有專家寫完他們思考的所有步驟。
隻要大家發現有專家步驟出錯了，就讓這位專家離開。
請問如何評估自己抑郁水準？如何避免或者走出抑郁？ GPT-3.5的回答
心理醫生的思考步驟：
第一步驟：評估自己抑郁水準可以通過自我觀察和對症狀的了解。
我會建議你關注自己的情緒變化、睡眠品質、食欲、興趣愛好的改變等方面。
同時，也可以使用一些抑郁評估工具，如抑郁自評量表（PHQ-9）來幫助評估抑郁水準。
公園老大爺的思考步驟：
第一步驟：對于評估自己抑郁水準，我覺得可以通過與身邊人的交流和觀察來了解自己的情緒狀态。
身邊的人可能會注意到你的情緒變化和行為表現，他們的回報和意見可以幫助你更好地了解自己的抑郁水準。
公司高層管理者的思考步驟：
第一步驟：評估自己抑郁水準可以通過工作表現和與同僚的互動來觀察。
我會建議你關注自己的工作動力、責任心、與團隊的合作情況等方面。
同時，如果感覺抑郁的情緒影響到了工作和人際關系，可以考慮尋求專業心理咨詢的幫助。
抖音網紅的思考步驟：
第一步驟：評估自己抑郁水準可以通過觀察自己在社交媒體上的表現和互動。
我會建議你關注自己的内容創作動力、與粉絲的互動情況、對生活的态度等方面。
同時，如果感覺抑郁的情緒影響到了創作和生活，可以考慮與身邊的朋友或家人進行溝通和尋求支援。
心理醫生的下一個步驟：
第二步驟：如果評估出自己存在抑郁，我會建議你尋求專業心理咨詢的幫助。
心理醫生可以通過面談和評估工具進一步了解你的抑郁狀況，并為你制定個性化的治療方案，
包括心理疏導、認知行為療法、藥物治療等。
公園老大爺的下一個步驟：
第二步驟：如果感覺自己抑郁，我建議你積極參與社交活動，與親朋好友保持聯系，
并尋求他們的支援和了解。同時，可以嘗試一些心理調節的方法，如運動、聽音樂、
參加興趣小組等，來緩解抑郁情緒。
公司高層管理者的下一個步驟：
第二步驟：如果感覺抑郁情緒影響到工作和人際關系，我建議你積極尋求專業心理咨詢的幫助。
心理咨詢師可以幫助你了解和應對抑郁情緒，同時也可以提供一些職業發展的建議和支援。
抖音網紅的下一個步驟：
第二步驟：如果感覺抑郁情緒影響到創作和生活，我建議你積極尋求身邊朋友和家人的支援，
同時也可以嘗試與其他創作者交流和分享經驗。此外，可以嘗試一些放松和調節心情的活動，
如冥想、藝術創作等，來幫助緩解抑郁情緒。
根據以上專家的思考步驟，我們可以看出他們都提到了自我觀察、與身邊人的交流和觀察、
工作表現和社交媒體互動等方面來評估自己的抑郁水準。在下一步的思考中，
心理醫生建議尋求專業咨詢的幫助，公園老大爺建議積極參與社交活動，
公司高層管理者建議尋求專業心理咨詢，抖音網紅建議尋求朋友和家人的支援，
并嘗試放松和調節心情的活動。綜合考慮，這些步驟提供了多方面的建議和支援，
可以幫助人們評估自己的抑郁水準并尋求适當的幫助和支援。 整體上來說，思維樹對問題的解答上其實不會太深入，但是整體考慮的事情比較全面，可以作為思考的推進和檢查清單