K8s和大模型真的搭嗎？ 本文抛出了一個問題，但答案仍有待驗證。
K8s迎來了新的閱聽人群體
假設一位機器學習研究人員閱讀了一篇研究論文，并想在PyTorch環境中使用基于Python的GPU進行測試。她要求她的工程團隊通路一個帶有兩個GPU的Jupyter筆記本和她的所有庫。
工程團隊告訴她：這需要三天時間。他們必須擷取GPU的來源，建立一個堆棧，然後授予對JupyterHub的通路權限。
“這正是DevOps 10年前所經曆的，”獨立分析師Janakiram 3月在KubeCon+CloudNativeCon Europe的一次對話中表示。
“是以，現在的整個想法是，我們如何加快這一程序，并使企業IT能夠将基礎施帶到ML研究人員、工程師和開發人員可以随時使用的程度，以便他們能夠快速将自己的想法轉化為代碼？”
新的人物角色反映了大型語言模型（LLM）對雲原生社群的影響，并提出了關于身份和Kubernetes角色的問題。資料科學家甚至需要Kubernetes來将他們的模型投入生産嗎？
獨立分析師Sanjeev Mohan認為NVIDIA推出的推理微服務Nim就是為Kubernetes精心策劃的Docker容器。
挑戰性就在于：Kubernetes将轉變為深度以資料為中心，這是資料的狀态性及頻繁變化的特點所造成的。資料在Kubernetes社群中從未發揮過如此重要的作用。Kubernetes社群從未需要以這樣的方式适應生成人工智能、模型開發、內建、部署和管理帶來的新需求。
如果沒有在Kubernetes上部署資料模型的标準方法，未來的工作将需要社群通過新的硬體內建和項目來适應新的“資料角色”。
AI如何讓K8s變得更強大？
Kubernetes服務LLMs，那LLM能為K8s做哪些？
但實際上，Kubernetes在人工智能中的作用是什麼？資料角色問題把這件事帶到了最前沿。Kubernetes是一個控制平面——是的，這是有道理的。自2014年以來，它一直是DevOps的應用程式架構。
是以，Mohan提出的一個問題變得更加相關：究竟K8s是服務AI，還是AI服務于K8s？
在KubeCon，我們看到了很多Kubernetes如何作為人工智能的控制平面。NVIDIA在主題演講中，他們讨論了配置設定部分GPU的動态資源配置設定。這樣可以節省成本。這就是人工智能的Kubernetes。所有這些發展都進行得很順利，Mohan說，我們将看到越來越多的Kubernet成為通用人工智能的控制平面。
但令一方面，LLM怎樣才能讓K8s更加強大呢？Mohan提出了一個非常有想象力的問題。
他說：“我還沒有看到太多這方面的情況，也許到之後的某一屆KubeCon上，我們将開始看到更高的內建度。”
OpenAI無疑是Kubernetes的盟友，該公司正在使用Kubernete來啟動和擴大實驗規模。
作為當紅的人工智能研究實驗室，OpenAI需要深度學習的基礎設施，使實驗能夠在雲中或自己的資料中心中運作，并易于擴充。便攜性、速度和成本是主要驅動因素。
Oracle在KubeCon的進階副總裁Sudha Raghavan問道，如果沒有資料科學家和資料工程師思考如何配置它，以最有效地使用任何硬體GPU，Kubernetes将如何成為所有人工智能工作負載的預設選項？
Raghavan也在KubeCon的一個小組讨論會上談到了這樣一種設想，設想中，人們基于每個工作負載的工作變得更容易了，工程師可以配置開箱即用的模闆，并了解這些是尚未出現的人工智能工作負載模式，并且有預定義的模闆。
是以，任何想做實驗的資料科學家都不必自己學習，而是可以了解雲原生計算基金會在其生态系統中為人工智能和ML社群提供的内容。
英特爾開放生态系統副總裁兼總經理Arun Gupta在一個小組讨論會上表示，雲原生社群的責任是彌合這一差距。“必須跟客戶共情，客戶就是資料科學家。他說，一篇新的雲原生人工智能論文解決了這些挑戰。
雲原生AI
微軟首席産品經理拉克倫•埃文森（Lachlan Evenson）與古普塔（Gupta）在同一小組中表示，Kubernetes社群中的一個新角色還包括人工智能工程師，他們位于資料科學家和基礎設施工程師或平台工程師之間。
Evenson在小組讨論中指出，人工智能工程師不僅需要了解人工智能世界的所有術語，還需要了解如何大規模使用這些分布式系統并建構這些新平台。
K8s承諾：可擴充、安全
Kubernetes的創始人将Kubernete設計成了無狀态的，後來又建構了有狀态的技術來與其分布式平台內建。
Evenson說：“這不僅限于這個社群，也直接造就了我們通過K8s社群在該平台上建構的可擴充性。”
“我們需要提供開源替代品和開源平台，這樣那些希望開始投資并了解人工智能如何影響其業務的公司，就可以采用模型，而不必擔心資料治理或安全問題，并開始在本地環境中對其進行修改和熟悉。”
參考連結：
https://thenewstack.io/kubernetes-and-ai-are-they-a-fit/