天天看点

分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!llama.cpp最新一个PR被合并,该PR提供了基于MPI的分

作者:虫虫安全

分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!

llama.cpp最新一个PR被合并,该PR提供了基于MPI的分布式推理支持,让模型的每个节点可以进行有限的计算,用分布式集群的方式,通过一堆老破pc机器(甚至手机,树莓派等)跑超大模型。

这样理论上就可以利用集群取代超级GPU进行计算,LLM分布式共享推理服务可以实行了,以后人人皆是LLM节点,人人都可以跑大模型,大模型的春天来了[赞] ​​​

分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!llama.cpp最新一个PR被合并,该PR提供了基于MPI的分
分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!llama.cpp最新一个PR被合并,该PR提供了基于MPI的分
分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!llama.cpp最新一个PR被合并,该PR提供了基于MPI的分
分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!llama.cpp最新一个PR被合并,该PR提供了基于MPI的分
分布式大模型,用树莓派集群跑650亿参数大模型不再是梦!llama.cpp最新一个PR被合并,该PR提供了基于MPI的分

继续阅读