天天看点

chatGLM6B 腾讯云安装问题解决

作者:愚者不惑

腾讯云GPU测试服务器购买请参考:

https://www.toutiao.com/article/7233994586988200483/

chatGLM6B安装请参考:

https://www.toutiao.com/article/7230766610196480551/

安装完chatGLM6B之后,遇到一个问题:

chatGLM6B 腾讯云安装问题解决
  1. 尝试升级 transformers
pip install transformers==4.28.1

2. 安装git lfs,此处是在后续3中发现错误后执行,这里大家预先安装,避免踩坑。

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
apt-get install -y --allow-unauthenticated git-lfs

然后普通用户下:

git lfs install

3. 安装过程中发现腾讯云中执行 git clone https://huggingface.co/THUDM/chatglm-6b 时,一开始秒级完成,怀疑是用了本地的镜像。但是里面的文件居然不是最新版本,比如:ice_text.model,这个文件应该是2.71M,而实际只有120KB。没办法,只好删除chatglm-6b文件夹,从我本地机器原来下载的最新版本的chatglm-6b上传到腾讯云服务器,尴尬的是腾讯云又有上传文件大小的限制,导致无法上传模型文件:

chatGLM6B 腾讯云安装问题解决

改为在云服务上执行 wget url去获取8个模型文件,又是秒级完成,但是启动的时候报模型文件加载错误,显然模型文件没能正确下载。

期间报了You seem to have cloned a repository without having git-lfs installed.错误。

根据上面第二步,安装了 git lfs。

多次删除chatglm-6b文件后,执行git clone https://huggingface.co/THUDM/chatglm-6b,终于不再秒级返回,下载完成后的ice_text.model大小也正确。

怀疑跟腾讯云的git镜像和之前没有安装git lfs有关。

  1. 因为 chatGLM6B默认关掉了share选项,只能从本地127.0.0.1:7860地址访问,因为我们需要修改ChatGLM-6B/web_demo.py中最后一行
demo.queue().launch(share=False, inbrowser=True)

修改为

demo.queue().launch(share=True, inbrowser=True)
  1. 执行python web_demo.py,漫长等待后,进入到了Lynx界面
chatGLM6B 腾讯云安装问题解决

这里安Q退出即可,可以看到启动信息:

chatGLM6B 腾讯云安装问题解决

复制public URL的地址在浏览器中直接访问即可。

Running on public URL: https://417a5ff2a5ce92fe58.gradio.live

继续阅读