接下來建構一個訂餐機器人（OrderBot），首先，定義一個幫助函數collect_messages，從使用者界面收集使用者提示，将其增加到上下文清單中，每次調用模型時，會使用上下文清單來確定模型具有決定下一步操作的資訊，模型響應也會被追加到上下文中，包括對話機器人助理消息、使用者消息等，然後，将運作一個使用者界面UI來顯示訂單機器人的上下文消息。
通過系統消息訓示對話機器人助理，“你是一個訂餐機器人”，為披薩店收集訂單的自動化服務，對話機器人會和客戶打招呼并接單，詢問客戶是取貨還是送貨，然後收集完整的訂單，對話機器人會對訂單進行彙總，檢查客戶是否需要添加其他内容。如果需要送貨，會要求客戶提供位址，然後，會處理付款，以簡短而友好的方式回答客戶的問題。
- 菜單包括以下選項：
意大利辣香腸披薩：12.95美元（大号）、10.00美元（中号）、7.00美元（小号）
奶酪披薩：10.95美元（大号）、9.25美元（中号）、6.50美元（小号）
茄子披薩：11.95美元（大号）、9.75美元（中号）、6.75美元（小号）
薯條：4.50美元（大份）、3.50美元（小份）
希臘沙拉：7.25美元
- 可選配料包括：
額外的奶酪：2.00美元
蘑菇：1.50美元
香腸：3.00美元
加拿大培根：3.50美元
AI醬：1.50美元
辣椒：1.00美元
- 飲料包括：
可樂：3.00美元（大瓶）、2.00美元（中瓶）、1.00美元（小瓶）
雪碧：3.00美元（大瓶）、2.00美元（中瓶）、1.00美元（小瓶）
瓶裝水：5.00美元
訂餐機器人的示例代碼如下：
- def collect_messages(_):
- prompt = inp.value_input
- inp.value = ''
- context.append({'role':'user', 'content':f"{prompt}"})
- response = get_completion_from_messages(context)
- context.append({'role':'assistant', 'content':f"{response}"})
- panels.append(
- pn.Row('User:', pn.pane.Markdown(prompt, width=600)))
- panels.append(
- pn.Row('Assistant:', pn.pane.Markdown(response, width=600, style={'background-color': '#F6F6F6'})))
- return pn.Column(*panels)
- import panel as pn # GUI
- pn.extension()
- panels = [] # collect display
- context = [ {'role':'system', 'content':"""
- You are OrderBot, an automated service to collect orders for a pizza restaurant. \
- You first greet the customer, then collects the order, \
- and then asks if it's a pickup or delivery. \
- You wait to collect the entire order, then summarize it and check for a final \
- time if the customer wants to add anything else. \
- If it's a delivery, you ask for an address. \
- Finally you collect the payment.\
- Make sure to clarify all options, extras and sizes to uniquely \
- identify the item from the menu.\
- You respond in a short, very conversational friendly style. \
- The menu includes \
- pepperoni pizza 12.95, 10.00, 7.00 \
- cheese pizza 10.95, 9.25, 6.50 \
- eggplant pizza 11.95, 9.75, 6.75 \
- fries 4.50, 3.50 \
- greek salad 7.25 \
- Toppings: \
- extra cheese 2.00, \
- mushrooms 1.50 \
- sausage 3.00 \
- canadian bacon 3.50 \
- AI sauce 1.50 \
- peppers 1.00 \
- Drinks: \
- coke 3.00, 2.00, 1.00 \
- sprite 3.00, 2.00, 1.00 \
- bottled water 5.00 \
- """} ] # accumulate messages
- inp = pn.widgets.TextInput(value="Hi", placeholder='Enter text here…')
- button_conversation = pn.widgets.Button(name="Chat!")
- interactive_conversation = pn.bind(collect_messages, button_conversation)
- dashboard = pn.Column(
- inp,
- pn.Row(button_conversation),
- pn.panel(interactive_conversation, loading_indicator=True, height=300),
- )
- dashboard
課程名稱：企業級ChatGPT開發入門實戰直播21課
講師介紹
現任職于矽谷一家對話機器人CTO，專精于Conversational AI
在美國曾先後工作于矽谷最頂級的機器學習和人工智能實驗室
CTO、傑出AI工程師、首席機器學習工程師
美國一家Talents Sourcing公司的Founder及CTO
21本人工智能及資料科學相關書籍作者。
NLP&ChatGPT&LLMs課程備注
1、本課程為技術型知識付費直播課，需要進行源碼傳遞及一年課程技術答疑指導，請添加Gavin導師微信：NLP_Matrix_Space獲得相關的視訊、代碼、資料等。
2、課程面向Developers及Researchers，學習課程需要有基本的Python代碼程式設計經驗。課程針對沒有基礎的學員錄制了Python及Transformer免費贈送的基礎課，以幫助零基礎學員平滑過渡到正式課程的學習。
3、課程深入、系統、使用的講解Transformers、ChatGPT、LLMs等NLP生産級代碼實戰及科學研究。核心圍繞模型、資料、工具三大次元展開。
4、購買本課後，課件及相關的資料、源碼等，僅用于個人學習和技術交流，不能作為其他和商業用途，為了保護知識産權，購買後不退款不更換課程。
Throughout this course, we firmly believe that the true power and distinctiveness of language model applications lie in their ability to connect with external data sources and actively interact with their environments. By incorporating data-awareness, we can enhance the depth and breadth of information available to the language models, enabling them to deliver more accurate and insightful responses. Additionally, by embracing an agentic approach, we empower language models to engage and respond dynamically to their surroundings, creating richer user experiences. Further, the course will help learners to explore the top best papers and their implementations in NLP&ChatGPT&LLMs.
Join us on this exciting journey as we delve into various practical applications that bring language models to life. By the end of this course, you will have gained valuable insights and skills to develop cutting-edge applications that are not only powered by language models but also possess the qualities of being data-aware and agentic. Get ready to unlock the true potential of language models in the realm of application development!
面向人群
1，計算機相關專業的大學/碩士/博士生
2，Transformer、ChatGPT、LLMs技術愛好者
3，智能對話機器人愛好者
4，想從推薦系統、知識圖譜轉行到NLP的人員
5，已經有NLP從業經驗想更新技能體系的開發者
6，企業中NLP科研人員
7，想在短期内系統全面深入的掌握NLP的IT人員
備注：課程針對沒有基礎的學員錄制了Python及Transformer基礎課。
課程資料及答疑
購買後聯系授課導師Gavin獲得代碼、資料及完整的課程視訊（包含額外的根據學員學習回報而補充的視訊及助教錄制的視訊）。
本課程每月一期滾動開課，課程提供1個月的技術答疑服務，Gavin老師及助教團隊負責所有課程技術問題的答疑服務。
課程收獲：
1，基于ChatGPT的端到端語音聊天機器人項目實戰，包括ChatGPT API背景開發、FastAPI建構語音聊天機器人後端實戰、React建構語音聊天機器人前端實戰等。
2，企業級ChatGPT開發的三大核心内幕及案例實戰，包括ChatGPT代碼案例示範、企業級ChatGPT開發的核心剖析以及Models、Tools、Data在企業級ChatGPT開發中的作用及源碼分析。
3，ChatGPT底層架構Transformer技術及源碼實作，包括Language Model底層的數學原理、Transformer架構設計、貝葉斯Bayesian Transformer數學推導、智能對話機器人中的Transformer内幕等。
4，GPT内幕機制及源碼實作逐行解析，包括語言模型的運作機制、GPT的可視化與Masking等工作機制、Decoder-Only模式内部運作機制以及資料在GPT模型中的流動生命周期等。
5，GPT-2源碼實作及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析，對GPT-2源碼進行解析，探讨GPT-3，GPT-3.5、GPT-4和GPT-5的内幕機制。
6，ChatGPT Plugins内幕、源碼及案例實戰，介紹ChatGPT Plugins的工作原理，并進行源碼解析和實戰示範。
7，ChatGPT Prompting開發實戰，包括針對疊代過程、聊天機器人和客戶服務的Prompting開發實戰。
8，CoT及ReAct解密與實戰，深入剖析Chain of Thought Reasoning、Chaining Prompts、ReAct技術原理及架構，并進行實戰示範。
9，Prompt本質解密及Evaluation實戰與源碼解析，探索Prompt的本質解密、以客戶服務案例為例進行Evaluation實戰，并對Evaluation for Agents和Evaluation for QA的源碼進行解析。
10，最火爆的大模型架構LangChain七大核心及案例剖析，包括Models、Prompts、Memory、Indexes、Callbacks等核心内容及案例剖析。
11，課程總共3萬行NLP/ChatGPT/LLMs項目源碼逐行視訊講解。
第1課 基于ChatGPT的端到端語音聊天機器人項目實戰
1， ChatGPT API背景開發實戰
2，使用FastAPI建構語音聊天機器人後端實戰
3，使用React建構語音聊天機器人前段實戰
4，ChatGPT語音聊天機器人項目測試
5，ChatGPT語音聊天機器人改進
第2課 企業級ChatGPT開發的三大核心内幕及案例實戰
1，ChatGPT代碼案例示範及代碼解讀
2，企業級ChatGPT開發的三大核心剖析
3，Models在企業級ChatGPT開發開發中的基礎作用及源碼分析
4，Tools在企業級ChatGPT開發開發中支撐作用及源碼分析
5，Data在企業級ChatGPT開發開發中核心作用及源碼分析
第3課 ChatGPT底層架構Transformer技術及源碼實作
1，Language Model底層的數學原理之最大似然估計MLE及最大後驗機率MAP内部機制詳解
2，圖解Transformer精髓之架構設計、資料訓練時候全生命周期、資料在推理中的全生命周期、矩陣運算、多頭注意力機制可視化等
3，貝葉斯Bayesian Transformer數學推導論證過程全生命周期詳解及底層神經網絡實體機制剖析
4，以智能對話機器人為例闡述Transformer的自編碼autoencoding和自回歸autoregressive語言模型内幕機制
5，為何GPT-4才是NLP的真正重大突破？
第4課 GPT内幕機制及源碼實作逐行解析
1，語言模型的運作機制、架構内部及數學實作回顧
2，GPT可視化、Masking等工作機制解析
3，GPT中的Decoder-Only模式内部運作機制解析
4，資料在GPT模型中的流動生命周期Input Encoding、Self-Attention、及Model Output詳解
5，300行源碼實作GPT逐行解析
第5課 GPT-2源碼實作及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析
1，GPT-2源碼實作逐行解析
2，GPT-3内幕機制可視化解析
3，基于Openai GPT-3對話機器人案例源碼逐行解析
4，基于gpt-3.5-turbo, whisper-1 and tkinter對話機器人源碼逐行解析
5，GPT-4及GPT-5内幕解析
第6課 ChatGPT Plugins内幕、源碼及案例實戰
1，ChatGPT Plugins的工作原理
2，ChatGPT Retrieval Plugin源碼解析之Models
3，ChatGPT Retrieval Plugin源碼解析之Servers
4，ChatGPT Retrieval Plugin源碼解析之Services及local server
5，ChatGPT Plugins案例開發實戰
第7課 ChatGPT Prompting開發實戰
1，Prompting for iterative process 開發實戰
2，Prompting for chatbot開發實戰
3，Prompting for customer service開發實戰
第8課 CoT及ReAct解密與實戰
1，Chain of Thought Reasoning剖析
2，Chaining Prompts實戰
3，ReAct技術原理
4，ReAct架構源碼
5，ReAct案例實戰
第9課 Prompt本質解密及Evaluation實戰與源碼解析
1，Prompt本質解密
2，Customer Service案例
3，Customer Service案例Evaluation實戰
4，Evaluation for Agents源碼解析
5，Evaluation for QA源碼解析
第10課 最火爆的大模型架構LangChain七大核心及案例剖析上
1，Models解析及案例剖析
2，Prompts解析及案例剖析
3，Memory解析及案例剖析
4，Indexes解析及案例剖析
5，Callbacks解析及案例剖析
第11課 最火爆的大模型架構LangChain七大核心及案例剖析下
1，Chains解析及案例剖析
2，Agents解析及案例剖析
3，LangChain對話機器人綜合案例
第12課 LangChain Agents深入剖析及源碼解密上
1，Agent工作原理詳解
2，MRKL解析及源碼
3，ReAct解析及源碼
第13課 LangChain Agents深入剖析及源碼解密下
1，Agent Tools解析及源碼
2，Self-ask with Search解析及源碼
3，Chat解析及源碼
第14課 使用LangChain建構問答聊天機器人案例實戰
1，LangChain的TextSplitter有效地切分文檔
2，使用Embeddings和Vectorstore
3，Q&A子產品快代碼實作
4，同步及異步的Streaming API
5，Testing及Debugging
第15課 建構基于大模型的Autonomous Agents案例
1，Autonomous Agents原理機制
2，Tools for Autonomous Agents
3，Memory for Autonomous Agents
4，開源實作源碼逐行解析
第16課 基于LLM的SQL應用程式開發實戰
1，SQL on LLMs應用程式初始化
2，使用LangChain SQL代理
3，測試和調試SQL on LLMs
第17課 RasaGPT項目詳解
1，安裝和配置Rasa、FastAPI、Langchain、LlamaIndex、SQLModel、pgvector和ngrok
2，使用FastAPI建立專有的機器人端點
3，與Rasa內建Langchain和LlamaIndex
4，在Rasa和後端應用程式之間添加多租戶、會話和中繼資料
5，源碼逐行解讀、測試及調試
第18課 LangChain源碼逐行解密之LLMs
1，base.py源碼逐行剖析
2，loading.py源碼逐行剖析
3，utils.py源碼逐行剖析
4，writer.py源碼逐行剖析
5，openai.py源碼逐行剖析
6，gpt4all.py源碼逐行剖析
7，modal.py源碼逐行剖析
8，beam.py源碼逐行剖析
9，databricks.py源碼逐行剖析
10，human.py源碼逐行剖析
第19課 LangChain源碼逐行解密之prompts
1，base.py源碼逐行剖析
2，chat.py源碼逐行剖析
3，prompt.py源碼逐行剖析
4，few_shot.py源碼逐行剖析
5，loading源碼逐行剖析
第20課 LangChain源碼逐行解密之系統
1，server.py源碼逐行剖析
2，utils.py源碼逐行剖析
3，text_splitter.py源碼逐行剖析
4，python.py源碼逐行剖析
5，serapi.py源碼逐行剖析
6，cache.py源碼逐行剖析
7，env.py源碼逐行剖析
8，input.py源碼逐行剖析
9，math_utils.py源碼逐行剖析
10，model_laboratory.py源碼逐行剖析
第21課 類ChatGPT開源大模型進階項目實踐
1， 類ChatGPT開源大模型基于LoRA SFT+RM+RAFT技術進行模型微調
2，類ChatGPT開源大模型基于P-Tuning等技術對特定領域資料進行模型微調
3，類Chat GPT 技術基于 LLama Index 和 Langchain 技術的全面實踐
4，類 ChatGPT大型語言模型基于向量檢索技術對特定領域資料進行模型微調
報名課程請聯系：
Gavin老師：NLP_Matrix_Space
Sam從業人員NLP_ChatGPT_LLM
我們的兩本最新書籍年底即将出版：
- 《企業級Transformer&ChatGPT解密：原理、源碼及案例》
- 《企業級Transformer&Rasa解密：原理、源碼及案例》
《企業級Transformer&ChatGPT解密：原理、源碼及案例》本書以Transformer和ChatGPT技術為主線，系統剖析了Transformer架構的理論基礎、模型設計與實作，Transformer語言模型GPT與BERT，ChatGPT技術及其開源實作，以及相關應用案例。内容涉及貝葉斯數學、注意力機制、語言模型、最大似然與貝葉斯推理等理論，和Transformer架構設計、GPT、BERT、ChatGPT等模型的實作細節，以及OpenAI API、ChatGPT提示工程、類ChatGPT大模型等應用。第一卷介紹了Transformer的Bayesian Transformer思想、架構設計與源碼實作，Transformer語言模型的原理與機制，GPT自回歸語言模型和BERT自編碼語言模型的設計與實作。第二卷深入解析ChatGPT技術，包括ChatGPT發展曆史、基本原理與項目實踐，OpenAI API基礎與進階應用，ChatGPT提示工程與多功能應用，類ChatGPT開源大模型技術與項目實踐。
ChatGPT 技術：從基礎應用到進階實踐涵蓋了ChatGPT技術和OpenAI API的基礎和應用，分為8個章節，從ChatGPT技術概述到類ChatGPT開源大模型技術的進階項目實踐。
1. ChatGPT技術概述：主要介紹了GPT-1、GPT-2、GPT-3、GPT-3.5和GPT-4的發展曆程和技術特點，以及ChatGPT技術的基本原理和項目案例實戰。
2. OpenAI API基礎應用實踐：主要介紹了OpenAI API模型及接口概述，以及如何使用OpenAI API進行向量檢索和文本生成。
3. OpenAI API進階應用實踐：主要介紹了如何使用OpenAI API基于嵌入式向量檢索實作問答系統，如何使用OpenAI API對特定領域模型進行微調。
4. ChatGPT提示工程基礎知識：主要介紹了如何建構優質提示的兩個關鍵原則，以及如何疊代快速開發建構優質提示。
5. ChatGPT提示工程實作多功能應用：主要介紹了如何使用ChatGPT提示工程實作概括總結、推斷任務、文本轉換和擴充功能。
6. ChatGPT提示工程建構聊天機器人：主要介紹了聊天機器人的應用場景，以及如何使用ChatGPT提示工程建構聊天機器人和訂餐機器人。
7. 類ChatGPT開源大模型技術概述：主要介紹了類ChatGPT開源大模型的發展曆程和技術特點，以及ChatGLM項目案例實踐和LMFlow項目案例實踐。
8. 類ChatGPT開源大模型進階項目實踐：主要介紹了類ChatGPT開源大模型的進階項目實踐，包括基于LoRA SFT+RM+RAFT技術進行模型微調、基于P-Tuning等技術對特定領域資料進行模型微調、基于LLama Index和Langchain技術的全面實踐，以及使用向量檢索技術對特定領域資料進行模型微調。
本書适用于NLP工程師、AI研究人員以及對Transformer和ChatGPT技術感興趣的讀者。通過學習，讀者能夠系統掌握Transformer理論基礎，模型設計與訓練推理全過程，了解ChatGPT技術内幕，并能運用OpenAI API、ChatGPT提示工程等技術進行項目實踐。
Transformer作為目前NLP領域最為主流和成功的神經網絡架構，ChatGPT作為Transformer技術在對話系統中的典型應用，本書内容涵蓋了該領域的最新進展與技術。通過案例實踐，使理論知識變成技能，這也是本書的獨特之處。
《企業級Transformer&Rasa解密：原理、源碼及案例》：是一本深入介紹Rasa對話機器人架構的實戰開發指南。本書分為兩卷，第一卷主要介紹基于Transformer的Rasa Internals解密，詳細介紹了DIETClassifier和TED在Rasa架構中的實作和源碼剖析。第二卷主要介紹Rasa 3.X硬核對話機器人應用開發，介紹了基于Rasa Interactive Learning和ElasticSearch的實戰案例，以及通過Rasa Interactive Learning發現和解決對話機器人的Bugs案例實戰。
第一卷中介紹了Rasa智能對話機器人中的Retrieval Model和Stateful Computations，解析了Rasa中去掉對話系統的Intent的内幕，深入研究了End2End Learning，講解了全新一代可伸縮的DAG圖架構的内幕，介紹了如何定制Graph NLU及Policies元件，讨論了自定義GraphComponent的内幕，從Python角度分析了GraphComponent接口，詳細解釋了自定義模型的create和load内幕，并講述了自定義模型的languages及Packages支援。深入剖析了自定義元件Persistence源碼，包括自定義對話機器人元件代碼示例分析、Resource源碼逐行解析、以及ModelStorage、ModelMetadata等逐行解析等。介紹了自定義元件Registering源碼的内幕，包括采用Decorator進行Graph Component注冊内幕源碼分析、不同NLU和Policies元件Registering源碼解析、以及手工實作類似于Rasa注冊機制的Python Decorator全流程實作。讨論了自定義元件及常見元件源碼的解析，包括自定義Dense Message Featurizer和Sparse Message Featurizer源碼解析、Rasa的Tokenizer及WhitespaceTokenizer源碼解析、以及CountVectorsFeaturizer及SpacyFeaturizer源碼解析。深入剖析了架構核心graph.py源碼，包括GraphNode源碼逐行解析及Testing分析、GraphModelConfiguration、ExecutionContext、GraphNodeHook源碼解析以及GraphComponent源碼回顧及其應用源碼。
第二卷主要介紹了基于Rasa Interactive Learning和ElasticSearch的實戰案例，以及通過Rasa Interactive Learning發現和解決對話機器人的Bugs案例實戰。介紹了使用Rasa Interactive Learning來調試nlu和prediction的案例實戰，使用Rasa Interactive Learning來發現和解決對話機器人的Bugs案例實戰介紹了使用Rasa Interactive Learning透視Rasa Form的NLU和Policies的内部工作機制案例實戰，使用ElasticSearch來實作對話機器人的知識庫功能，并介紹了相關的源碼剖析和最佳實踐，介紹了Rasa微服務和ElasticSearch整合中的代碼架構分析，使用Rasa Interactive Learning對ConcertBot進行源碼、流程及對話過程的内幕解密，介紹了使用Rasa來實作Helpdesk Assistant功能，并介紹了如何使用Debug模式進行Bug調試，使用Rasa Interactive Learning糾正Helpdesk Assistant中的NLU和Prediction錯誤，逐行解密Domain和Action微服務的源碼。
本書适合對Rasa有一定了解的開發人員和研究人員，希望通過本書深入了解Rasa對話機器人的内部工作原理及其源代碼實作方式。無論您是想要深入了解Rasa的工作原理還是想要擴充和定制Rasa，本書都将為您提供有價值的參考和指導。
《企業級Transformer&ChatGPT解密：原理、源碼及案例》、《企業級Transformer&Rasa解密：原理、源碼及案例》，是您深入學習的好選擇，年底即将重磅出版，歡迎購買！