大语言模型下载

学习资料

• https://huggingface.co/THUDM/chatglm2-6b
• https://github.com/THUDM/ChatGLM-6B

模型下载

如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 Embedding
模型可以从 HuggingFace 下载。

以本项目中默认使用的 LLM 模型 THUDM/ChatGLM3-6B 与 Embedding
模型 BAAI/bge-large-zh 为例：

下载模型需要先安装 Git LFS，然后运行

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("/chatglm2-6b", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)