作為一名搬磚人，奶茶已經患上了ChatGPT依賴症狀了！那在使用這些大模型時，如何讓其提升它的工作表現呢？
今天，奶茶給大家找到了一篇指導寫大語言模型提示（prompt）的論文～（有實驗資料支撐，效果杠杠滴！）
論文介紹了26條指導原則，目标是簡化為不同規模的大語言模型制定問題的概念，檢驗它們的能力，并增強使用者對于不同規模的模型在接受不同提示時的行為了解。研究者在LLaMA-1/2（7B、13B和70B）和GPT-3.5/4上進行了廣泛實驗，以驗證這些原則在指令和提示設計上的有效性。
論文中指出：大語言模型如ChatGPT在多個領域和任務中展現出卓越的能力，但在普通使用者設計最優指令或提示時，它們的應用和使用有時可能并不清晰。而他們的工作是為開發人員或普通使用者揭示與LLMs詢問和互動時時“神秘的黑盒”，并通過簡單地策劃更好的提示來進一步提高預訓練LLMs的響應品質。研究團隊提出了26條用于LLM提示的原則，接下來讓我們一起來看看吧～
論文标題:
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
論文連結 :
https://arxiv.org/pdf/2312.16171.pdf
26項原則
- 與LLM交流時，無需使用禮貌性語言，如“請”、“如果你不介意”、“謝謝”等，直接陳述要點。
- 在提示中整合預期的聽衆，例如“聽衆是該領域的專家”。
- 将複雜任務分解為一系列更簡單的提示，并通過互動式對話進行。
- 使用肯定的指令，如“做”，避免使用否定語言，如“不要”。
- 當你需要清晰了解某個主題、想法或任何資訊時，使用以下提示：簡單地解釋[具體主題]。像我是11歲的孩子一樣向我解釋。像我是[領域]新手一樣向我解釋。使用簡單的英語寫[論文/文本/段落]，就像你在向5歲的孩子解釋一樣。
- 添加“I’m going to tip $xxx for a better solution!”（我會給xxx小費以獲得更好的解決方案！）。
- 實施示例驅動的提示（使用少數示例提示）。
- 在格式化提示時，首先使用‘###Instruction###’，然後是‘###Example###’或‘###Question###’（如果相關），然後呈現内容。使用一個或多個換行符來分隔指令、示例、問題、上下文和輸入資料。
- 加入以下短語：“Your task is”（你的任務是）和“You MUST”（你必須）。
- 加入以下短語：“You will be penalized”（你将受到懲罰）。
- 在提示中使用短語“Answer a question in a natural human-like manner”（以自然的人類方式回答問題）。
- 使用引導性詞彙，如寫“think step by step”（逐漸思考）。
- 在你的提示中添加以下短語：“Ensure that your answer is unbiased and does not rely on stereotypes”（確定你的回答是無偏見的，不依賴于刻闆印象）。
- 允許模型通過向你提問直到獲得足夠的資訊來提供所需輸出，例如“From now on I would like you to ask me questions to...”（從現在開始，我希望你向我提問，直到...）。
- 要了解特定主題或想法或任何資訊，并且你想測試你的了解，你可以使用以下短語：“Teach me the [Any theorem/topic/rule name] and include a test at the end but don’t give me the answers and then tell me if I got the answer right when I respond”（教我[任何定理/主題/規則名稱]并在最後包括一個測試，但不要給我答案，然後在我回答時告訴我是否正确）。
- 為大語言模型配置設定一個角色。
- 使用分隔符。
- 在提示中多次重複特定單詞或短語。
- 結合思維鍊（CoT）與少數示例提示。
- 使用輸出引導器，它涉及以期望輸出的開始結束你的提示。通過以預期響應的開始結束你的提示來使用輸出引導器。
- 要編寫詳細的[論文/文本/段落/文章]或任何需要詳細的文本類型：“為我詳細寫一篇關于[主題]的詳細[論文/文本/段落]，添加所有必要的資訊”。
- 要更正/更改特定文本而不改變其風格：“嘗試修改使用者發送的每個段落。你隻應該改善使用者的文法和詞彙，確定它聽起來自然。你不應該改變寫作風格，例如将正式段落變得非正式”。
- 當你有一個可能涉及不同檔案的複雜編碼提示時：“從現在開始，每當你生成跨越多個檔案的代碼時，生成一個[程式設計語言]腳本，可以運作以自動建立指定的檔案或對現有檔案進行更改以插入生成的代碼。[你的問題]”。
- 當你想使用特定單詞、短語或句子開始或繼續文本時，使用以下提示：我為你提供了開始[歌詞/故事/段落/論文...]：[插入歌詞/單詞/句子]。根據提供的詞彙完成它。保持流暢一緻。（1）清楚地陳述模型必須遵循的要求，以産生關鍵詞、規則、提示或指令形式的内容。（2）要編寫任何文本，如論文或段落，其内容與提供的示例類似，包括以下指令：（3）請根據提供的段落[/标題/文本/論文/答案]使用相同的語言。
- 明确陳述模型必須遵循的要求，以便根據關鍵詞、規則、提示或指令産生内容。
- 要寫任何文本，如文章或段落，且内容與提供的樣本相似，請包含以下訓示："請根據提供的段落[/标題/文本/文章/答案]使用相同的語言基礎。"
根據這些原則特有的性質，研究團隊将它們分為五個類别：
(1) 提示結構和清晰度，例如，在提示中整合預期的聽衆，如聽衆是該領域的專家；
(2) 具體性和資訊，例如，在你的提示中添加以下短語“確定你的回答是無偏見的，不依賴于刻闆印象。”；
(3) 使用者互動和參與，例如，允許模型通過向你提問來擷取精确的細節和要求，直到它有足夠的資訊來提供所需的輸出“從現在開始，我希望你向我提出問題...”；
(4) 内容和語言風格，例如，與LLM交流無需禮貌，是以無需添加諸如“請”、“如果你不介意”、“謝謝”、“我想要”等短語，直接切入主題；
(5) 複雜任務和編碼提示，例如，将複雜任務分解為一個互動對話中的一系列更簡單的提示。
實驗
作者們為驗證提出的原則對指令和提示設計的有效性而進行的實驗。這些實驗在LLaMA-1/2 (7B、13B、70B) 和 GPT-3.5/4上進行，使用ATLAS手工制作的基準測試，它包含了每個原則的20個人類選擇的問題，有和沒有應用原則的提示。
實驗分為兩個部分：提升（Boosting）和正确性（Correctness）。
- 提升是通過人類評估來評估應用所述原則後不同LLM響應品質的提高。原始未修改的提示作為衡量這種提高的基準。
- 正确性涉及模型輸出或響應的準确性，確定它們準确、相關且無誤，也是通過人類評估來衡量。
圖檔2展示了兩種情況下GPT-4對于氣候變化概念及其對環境潛在影響的解釋。上半部分是沒有應用原則13的人類提示（Human without principle），下半部分是應用了原則13後的人類提示（Human with principle)。未應用原則時，GPT-4僅簡單描述氣候變化及其影響。然而，采用原則13後，GPT-4提供了更全面、平衡的視角，涵蓋了科學共識和不同的意見。這表明，使用精心設計的原則可以提高模型回答的品質，使其更加綜合和客觀
圖檔3顯示了應用原則7前後GPT-4對建議有用性的評估反應。未應用原則時，GPT-4僅簡單标注建議“有用”，未給出支撐理由。應用原則7後，GPT-4對各項建議提供了詳盡評價，如認定“開始工作”建議“不有用”，顯示原則化提示讓模型回應更具深度和分析力，進而提升了回應的細緻度和準确性。
實驗結果詳細介紹了在小型、中型和大型的LLM上應用這些原則後的改進結果。一般來說，所有原則都可以在三個規模的LLM上帶來顯著的改進。特别是在原則2、5、15、16、25和26下，大型模型通過原則化的提示獲得了最大的改進。正确性方面，所有原則的應用通常在平均各種模型上帶來超過20%的改進。
結語
這些原則幫助模型專注于輸入上下文的關鍵要素，并且可以在輸入處理之前指導LLM，以促進更好的響應。實驗結果顯示，這些原則能夠改善可能影響輸出品質的上下文，使響應更加相關、簡潔和客觀。作者指出，未來研究将探索如何進一步改進模型以适應這些原則，可能包括微調、強化學習和偏好優化等方法。成功的政策可能會內建到LLM的标準操作中，如通過原則化的提示和響應進行訓練。在讨論局限性時，作者提到這些原則雖然有助于提高響應品質，但在處理非常複雜或特定領域的問題時效果可能會減弱。這可能取決于每個模型的推理能力和訓練水準。