分布式大模型，用樹莓派叢集跑650億參數大模型不再是夢！
llama.cpp最新一個PR被合并，該PR提供了基于MPI的分布式推理支援，讓模型的每個節點可以進行有限的計算，用分布式叢集的方式，通過一堆老破pc機器（甚至手機，樹莓派等）跑超大模型。
這樣理論上就可以利用叢集取代超級GPU進行計算，LLM分布式共享推理服務可以實行了，以後人人皆是LLM節點，人人都可以跑大模型，大模型的春天來了[贊]
分布式大模型，用樹莓派叢集跑650億參數大模型不再是夢！
llama.cpp最新一個PR被合并，該PR提供了基于MPI的分布式推理支援，讓模型的每個節點可以進行有限的計算，用分布式叢集的方式，通過一堆老破pc機器（甚至手機，樹莓派等）跑超大模型。
這樣理論上就可以利用叢集取代超級GPU進行計算，LLM分布式共享推理服務可以實行了，以後人人皆是LLM節點，人人都可以跑大模型，大模型的春天來了[贊]