🌟🌟🌟 大语言模型_LLM 大模型微调 问答系统 意图识别 算法
基于保险用户问句构建多意图识别任务,通过轻量化微调实现大语言模型的高效定制,完成从数据构造到推理应用的全流程。
- 构建包含 1000 条问句的意图识别数据集,涵盖 60+ 类保险业务意图(如投保意愿、理赔咨询、退保等)
- 基于 Qwen1.5-1.8B 模型,设计多分类结构并使用 LoRA 微调,仅训练极少参数即可实现迁移学习自定义意图分类模型结构,准确提取语义特征并预测 Top-K 意图,支持 softmax 概率输出与阈值调节
- 完整实现从训练(Colab-GPU)到本地推理的闭环流程,可部署于垂直客服、投保引导等业务场景中
📌 实测结果表明,微调后模型可精准输出 Top-K 意图,如“老年人买什么保险”对应为“适合老人的保险”、“保障内容咨询”等,预测置信度高。
predict_topk_new("儿童买什么保险", loaded_model, loaded_tokenizer, loaded_id2label, top_k=3)
{'top_3_predictions': [{'intent': '适合儿童的保险', 'prob': 0.9888},
{'intent': '健康告知的细节', 'prob': 0.0086},
{'intent': '家人是否能共同投保', 'prob': 0.0005}]}
- 类似项目: 微调生成式问答系统(保险领域)