分布式大模型，用树莓派集群跑650亿参数大模型不再是梦！
llama.cpp最新一个PR被合并，该PR提供了基于MPI的分布式推理支持，让模型的每个节点可以进行有限的计算，用分布式集群的方式，通过一堆老破pc机器（甚至手机，树莓派等）跑超大模型。
这样理论上就可以利用集群取代超级GPU进行计算，LLM分布式共享推理服务可以实行了，以后人人皆是LLM节点，人人都可以跑大模型，大模型的春天来了[赞]
分布式大模型，用树莓派集群跑650亿参数大模型不再是梦！
llama.cpp最新一个PR被合并，该PR提供了基于MPI的分布式推理支持，让模型的每个节点可以进行有限的计算，用分布式集群的方式，通过一堆老破pc机器（甚至手机，树莓派等）跑超大模型。
这样理论上就可以利用集群取代超级GPU进行计算，LLM分布式共享推理服务可以实行了，以后人人皆是LLM节点，人人都可以跑大模型，大模型的春天来了[赞]