大语言模型：Chat General Language Model（ChatGLM）微调教程

一 概述

ChatGLM（Chat General Language Model）是清华大学自然语言处理研究团队开发的开源大型预训练语言模型，旨在支持多种自然语言生成任务，如对话系统、问答、文本摘要和翻译等。基于 Transformer 架构，ChatGLM 在大规模文本数据的预训练基础上，能够高效理解和生成中文及英文等多语言内容。作为开源项目，ChatGLM不仅为研究人员和开发者提供了灵活的使用和改进空间，同时也在多领域应用中展现出强大的能力。
模型官网：https://chatglm.cn/?lang=zh

本教程是进行chtglm模型的微调。

二 快速开始

2.1 进入终端并准备环境

选择autodl的镜像环境：

Pytorch / 2.3.0 / 3.12(ubuntu22.04) / 12.1

创建conda环境：

conda create -n chatglm python=3.10.15 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

激活环境：

source activate chatglm

跳转到想要下载的路径，下载代码：

wget https://mirrors.aheadai.cn/data/ChatGLM-Finetuning.zip

解压：

unzip ChatGLM-Finetuning.zip
cd ChatGLM-Finetuning

对照requirements-chatglm-finetuning.txt 文件安装包：

pip install -r requirements-chatglm-finetuning.txt 

安装其他依赖：

conda install mpi4py

【可选】将刚刚新建的chatglm环境添加到jupyter中

pip install ipykernel
python -m ipykernel install --user --name=chatglm

2.2 微调教程

开始训练：

chmod +x train-chatglm.sh
./train-chatglm.sh   # 可以酌情修改代码中的参数

如果显示显存或者内存不够，则建议尝试更大的显存和内存。

三、环境和pip包的汇总

pip list的情况：https://mirrors.aheadai.cn/scripts/requirements-chatglm-finetuning.txt