VisualGLM-6B

 

2023-09-14

开源的，支持图像、中文和英文的多模态对话语言模型

使用

  1. VisualGLM-6B 仓库：THUDM/VisualGLM-6B #GitHub
  2. visualglm-6b 模型：THUDM/visualglm-6b #HuggingFace
  3. chatglm-6b 模型：THUDM/chatglm-6b #HuggingFace

模型下载

方式一:

安装 git-lfs 后使用 Git 克隆:

Terminal window
1
git clone https://huggingface.co/THUDM/visualglm-6b

方式二

手动从清华大学云盘下载: 清华大学云盘

Terminal window
1
# 先克隆
2
git clone https://github.com/THUDM/VisualGLM-6B.git
3


4
# 进入目录后安装依赖
5
cd VisualGLM-6B
6
pip3 install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

使用

本地加载模型

假设下载的模型参数保存在 VisualGLM-6B 中，目录名为: visualglm-6b

交互式

先进入 Python 交互式环境:

Terminal window
1
cd VisualGLM-6B
2
python3

然后执行:

1
from transformers import AutoTokenizer, AutoModel
2
model_path = "THUDM/visualglm-6b" # 下载的模型参数目录
3
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
4
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()
5


6
img_file = "bus.jpg" # 当前目录下图片名称
7
response, history = model.chat(tokenizer, img_file, "描述这张图片。", history=[])
8


9
print(response)

模型微调

模型微调需要先安装 deepspeed 库和 cuda

参考

# AI
# GPT
# Visual