BERT 微调实验指南

BERT（Bidirectional Encoder Representations from Transformers）是 Google 于 2018 年提出的一种预训练语言模型，其架构基于 Transformer。BERT 以其双向上下文理解能力，彻底改变了自然语言处理（NLP）领域，成为许多 NLP 任务（如问答系统、文本分类、情感分析等）的基石。

BERT 提供两种主要模型：

• BERT-Base：12 层 Transformer，110M 参数。
• BERT-Large：24 层 Transformer，340M 参数。

以下实验教程使用的是 wikitext-2 数据集，基于 Masked Language Model (MLM) 任务，对 BERT-Base 模型 进行微调。

环境配置

1. 运行环境

文档末附有完整的pip管理的包及其版本。

2. 安装 Conda

参考这篇文章: https://docs.aheadai.cn/60.html

3. 创建 Conda 环境

创建新的 Conda 环境：

conda create -n bert python=3.9 -y
conda activate bert

4. 安装必要的 Python 包

在深度学习环境中，确保 Python、PyTorch 和 CUDA 版本的兼容性至关重要。

参考这篇文章，选择合适的PyTorch版本：https://docs.aheadai.cn/196.html

# 安装 PyTorch，根据 CUDA 版本匹配
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 Hugging Face 及其他工具
pip install transformers datasets tqdm numpy pynvml tensorboard tf-keras accelerate ipywidgets

准备分词器和数据集

因为 Hugging Face 的 transformers 库已经提供了预训练模型的高效加载和使用接口，可以完全脱离 BERT 源码，直接加载模型和分词器。

直接使用以下命令下载 BERT_wikitext-2-raw-v1.zip，并解压：

wget https://mirrors.aheadai.cn/data/BERT_wikitext-2-raw-v1.zip
unzip BERT_wikitext-2-raw-v1.zip -d ./BERT_wikitext-2-raw-v1

解压后，确保文件结构如下：

./BERT_wikitext-2-raw-v1/
    ├── bert_model_base/           # base模型权重
    ├── bert_model_large/          # large模型权重
    ├── bert_tokenizer/            # 分词器
    └── data/                      # 数据集

训练脚本

下载训练脚本 run_bert_training.py，注意按需求修改【TODO】处的参数。

wget https://mirrors.aheadai.cn/scripts/run-bert-finetune.py

主要注意以下参数的修改：

# 1. 确保文件读取路径正确
TOKENIZER_PATH = "./BERT_wikitext-2-raw-v1/BERT_wikitext-2-raw-v1/bert_tokenizer"
BERT_MODEL_PATH = "./BERT_wikitext-2-raw-v1/BERT_wikitext-2-raw-v1/bert_model_large" # 两个模型baseh和arge根据需要选择
DATASET_PATH = "./BERT_wikitext-2-raw-v1/BERT_wikitext-2-raw-v1/data"

# 2. 训练迭代次数和epoch次数
MAX_STEPS = 200
NUM_EPOCHS = 2

# 3. 当前使用的GPU单价
GPU_COST_PER_HOUR = 1.98  # GPU 价格

# 4. log名称和保存位置
logging.basicConfig(filename="training_log_large_fp16.log", level=logging.INFO, format="%(asctime)s - %(message)s")
LOG_DIR = "./logs"

# 5. 训练精度选择
# 5.1默认精度是单精度FP32。可以选择开启混合精度AMP如下
USE_FP16 = True 
# 5.2也可以选择强制执行FP16精度。
USE_FP16 = False
# 然后在调用模型后，添加model.half()
model = BertForMaskedLM.from_pretrained(BERT_MODEL_PATH)
model.half()

# 6. GPU选择与设置
PREFERRED_GPU = 0  # 首选GPU编号
USE_MULTIPLE_GPUS = False  # 是否使用多卡训练

运行实验

1. 运行训练脚本

python run_bert_training.py

2. 查看日志

日志文件 training_log.log 包含：

• 平均吞吐量
• GPU 资源使用（显存、功耗）
• 成本计算（10,000 步训练总时间与成本）

制作自己的微调数据集

微调 BERT 需要准备符合格式的数据集，具体步骤如下：

数据格式要求

BERT 微调的典型任务分为以下几类，每种任务有不同的数据格式：

• 语言模型预训练（Masked Language Model, MLM）
• 文本分类（Text Classification）
• 序列标注（Sequence Labeling，如命名实体识别）
• 问答（Question Answering）

这里以 MLM 任务（如使用自己的语料库进行语言模型微调）为例。

数据格式示例

• BERT 的 MLM 任务需要纯文本文件，每一行是一段文本。
  示例：

  Machine learning is great.
  Deep learning is a subset of machine learning.
  BERT is a powerful language model.

步骤一：准备数据

1. 收集数据

   • 将你的语料整理成一个或多个 .txt 文件。
   • 每一行是一个独立的句子或段落，句子之间不要有空行。

2. 确保文本质量

   • 移除不必要的符号或乱码。
   • 如果语料很大，可以随机抽样一部分数据进行微调。

步骤二：加载自定义数据

在训练脚本中加载数据时，使用 Dataset 或 datasets 库。以下是如何加载自定义文本数据的代码：

1. 将文本数据转换为 Dataset 格式

from datasets import Dataset
import os

def load_local_dataset(file_path):
    """从本地加载数据集"""
    with open(file_path, 'r', encoding='utf-8') as f:
        return [{"text": line.strip()} for line in f]

# 加载自定义数据
file_path = "./my_custom_data.txt"  # 替换为你的数据路径
data = load_local_dataset(file_path)

# 转换为 Dataset 格式
dataset = Dataset.from_list(data)
print(dataset)

2. 对数据进行分词和处理

from transformers import BertTokenizer

# 加载分词器
tokenizer = BertTokenizer.from_pretrained("./BERT_wikitext-2-raw-v1/BERT_wikitext-2-raw-v1/bert_tokenizer")

# 分词与编码
def tokenize_function(examples):
    tokenized = tokenizer(examples["text"], padding="max_length", truncation=True, max_length=128)
    tokenized["labels"] = tokenized["input_ids"].copy()  # MLM 任务需要 input_ids 作为标签
    return tokenized

# 对数据进行分词
tokenized_dataset = dataset.map(tokenize_function, batched=True, remove_columns=["text"])

步骤三：划分训练集和验证集

为了训练稳定，建议将数据集分为 训练集 和 验证集。

# 划分数据集（例如 80% 训练，20% 验证）
train_size = int(0.8 * len(tokenized_dataset))
train_dataset = tokenized_dataset.select(range(train_size))
eval_dataset = tokenized_dataset.select(range(train_size, len(tokenized_dataset)))

print(f"训练集大小: {len(train_dataset)}")
print(f"验证集大小: {len(eval_dataset)}")

步骤四：微调模型

使用准备好的数据集进行微调，以下是训练部分代码：

from transformers import BertForMaskedLM, Trainer, TrainingArguments

# 加载预训练模型
model = BertForMaskedLM.from_pretrained("./BERT_wikitext-2-raw-v1/BERT_wikitext-2-raw-v1/bert_model")

# 设置训练参数
training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    per_device_train_batch_size=32,
    logging_dir="./logs",
    logging_steps=10,
    num_train_epochs=3,
    save_total_limit=1,
    load_best_model_at_end=True
)

# 创建 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset
)

# 训练模型
trainer.train()

步骤五：验证和保存模型

微调完成后，可以验证模型效果并保存模型：

# 保存微调后的模型
model.save_pretrained("./finetuned_bert_model")
tokenizer.save_pretrained("./finetuned_bert_model")

附：Python 环境中的已安装包（pip list）