单卡微调MiniCPM合并LoRA并转换为llama.cpp用的gguf 2024-4-23 11:36 | 1,372 | 1 | 其他,技术宅,杂七杂八 880 字 | 8 分钟 介绍 MiniCPM 是面壁智能发布的一款模型,只有2B大小。官方介绍说只需要一张1080/2080可实现高效参数微调,所以我尝试按官方的步骤进行微调,给自己用。 准备 环境 根据官方介绍 LORA 微调: 1张显卡,占用 10619MiB 显存。 我的卡是2060s,只有8G的VRAM,所以我换了一张有12G VRAM的3060来测试。 同时在测… AI模型微调CUDADeepSpeedLlama.cppLoRAMiniCPM数据集模型量化训练参数