演讲主题

LLaMA Factory多模态LLM高效微调原理与实践

简介：LLaMA Factory 是一个统一的大模型微调框架，旨在简化和加速对 100 多种LLM的微调过程。我们将介绍其与多模态相关的核心功能、技术栈、以及在实际应用中的表现，帮助与会者理解如何利用这一框架提升多模态LLM的训练效率与推理性能。 大纲： 1.引言：多模态 LLM 的背景介绍 2.LLaMA Factory 概述：项目背景与目标 支持的模型概览 3.微调方法：多模态预训练与监督微调 多模态奖励建模与强化学习 量化技术 4.先进算法：GaLore、BAdam、APOLLO、Adam-mini 等 5.任务支持：多轮对话、图像理解、视频识别、语音理解等应用场景 6.实践案例：Qwen2-VL文旅机器人 MiniCPM-o-2.6语音助手 Virgo多模态深度思考模型 7.总结与展望：多模态LLM的未来