千问大模型二次LoRA-SFT微调指南发布

LYSHARK发布了千问大模型二次LoRA-SFT微调指南，基于Ubuntu 22.04和NVIDIA RTX 4090显卡，详细介绍了从环境搭建到权重合并的全流程。

在进行Qwen模型微调前，需要配置好服务器软硬件运行环境。本文基于Ubuntu 22.04.5 LTS操作系统，框架版本为torch 2.13.0 + CUDA 12.8.1 + Python 3.10.12。显卡驱动要求NVIDIA ≥ 570.133.07，使用NVIDIA RTX 4090 24GB GPU。CPU核心为INTEL(R) XEON(R) GOLD 6530，内存为64GB DDR5，存储空间为50GB系统盘+100GB数据盘。通过创建独立Python虚拟环境并安装相关依赖包，确保项目顺利进行。

大模型行业落地场景中，通用预训练模型难以适配垂直领域专属知识和对话风格。本文采用指令模型二次LoRA-SFT微调方法，该方法基于已对齐的指令模型，注入领域专属能力或知识。具体来说，选用Qwen3.5-0.8B-Instruct模型进行微调，该模型已具备指令理解和多轮对话能力。LoRA通过冻结主干模型，仅训练注意力层的低秩适配器，降低训练参数量，适合显存条件较好的硬件环境。对于8B规模模型，当显卡显存大于24GB时，优先采用LoRA微调。

微调过程中的数据集采用Qwen标准ChatML格式，每条样本包含conversation数组，角色仅允许system/user/assistant。文件保存在/root/data/train.json中。为了确保数据集格式正确，提供了数据集校验脚本，检查JSON语法错误、字段缺失、非法角色等，并调用分词器渲染对话，验证ChatML标签输出是否正常。此外，还提供了分词器加载与验证脚本，检查特殊token ID及编码解码功能，确保分词器配置正确。