- Transformer基础
- 常用的大语言模型
- 行业大语言模型
- 大语言模型评估
- 数据构造与清洗
- 分词器构造
- 大语言模型的微调
- 基于PEFT的LLaMA模型微调
- 基于人类反馈的强化学习框架
- 前沿偏好对齐方法
- 基于DPO的偏好对齐实战
- GPTs初体验
- GPTs的初阶使用
- GPTs的高阶使用
- 公开数据集
- 主流方法
- Text2SQL任务实战
- 角色扮演
- 角色扮演实战测试
- 基于Baichuan的角色扮演模型微调
- 对话要素抽取
- 对话要素抽取实战测试
- 基于Qwen的对话要素抽取模型微调
- Agent概述
- Agent的主要模块
- Agent的行为决策机制
- 主流Agent框架
- 基于知识库问答
- 向量数据库
- 基于知识库的大型语言模型问答实战
- AutoGPT概述
- LangChain概述
- 使用LangChain构建AutoGPT
- 运行AutoGPT
大型语言模型的对话要素抽取应用
对话作为信息和知识的交流媒介,在信息化时代愈加重要。对话要素抽取,即从对话中提取核心内容,如实体、主题、三元组、事件、情感、摘要、观点、意图等,是一个复杂的过程。
本章首先详细介绍对话要素抽取的应用领域,然后以医疗对话数据为例,展示如何利用GPT-3.5和Qwen模型进行有效的要素抽取。最后,还探讨了如何通过模型微调技术,进一步提升对话要素抽取的效果,帮助读者全面理解对话要素抽取的任务本质,并指导如何在实际场景中有效落地。
7.1 对话要素抽取
对话作为人类日常信息交互的媒介,不仅进行信息的交换,而且还传递知识、解决问题、共享情感、表达文化等,因此对话中蕴含了丰富且多样的内容。在信息化时代,人与人之间、人与机器之间每天都产生大量的对话语料,如果可以充分提取和挖掘对话中的信息内容,不仅可以在对话中提高对话效率、快速明确目的、准确完整交互,还可以在对话后进行知识的积累与沉淀,快速应用在之后的对话场景中。
对话要素抽取是指从对话中抽取或提炼核心内容,包括实体、主题、三元组、事件、情感、摘要、观点、意图等。对话作为语言、知识的高级应用,在对话中往往存在以下特点:
1)口语化的随意表述,如表达内容不完整、不符合语法规律、存在大量错别字等。
2)多角色之间的表述切换,存在省略、指代、状态继承、推理等。
3)具有一定的知识目的性,往往要解决某些特殊的问题。
因此,对话要素抽取比从文档中进行要素抽取更难、更复杂。在ChatGPT模型问世之后,人工智能进入大型语言模型时代。随着模型的参数越来越大,模型的训练数据越来越充分,模型对口语化、多角色、复杂的对话进行要素抽取也具有较为优秀的效果。
目前,对话要素抽取可以应用在客服工单自动填写、医疗报告生成、会议纪要提炼、对话情感趋势分析、市场调研分析、高频知识提取、用户兴趣推荐、安全监管等多个场景中。
·客服工单自动填写:在客户与客服的实时对话中识别关键信息,例如:客户的个人信息(姓名、联系方式、身份证号等)、产品信息(产品名称、产品型号等)、问题描述、解决方案等,将关键信息正确地填写到工单的相应字段中。在自动填写的过程中,加快了工单的处理速度,提高了客服的工作效率,使客服的工作更专注于解决客户问题而非信息记录。当然,工单自动填写也可以是非实时抽取,在整个对话结束后统一进行抽取也是一种模式,可以在降低模型调用次数的同时,辅助客服人员进行工单填写。
·医疗报告生成:在医疗咨询过程中,对话要素抽取可以从患者与医生之间的对话中提取关键医疗信息,如症状描述、历史病情、用药记录等,可以辅助医生快速获取患者的健康背景,使医生不仅能够更快地对患者进行评估,还可以提供更准确的诊断和治疗建议。并在对话结束后,可以节省医生手动编写医疗报告的时间。
·会议纪要提炼:会议后往往需要进行会议内容的纪要提炼,便于参与者回顾和后续行动,对话要素抽取可以自动抽取会议对话中主要议题、决策点、行动项等相关内容。自动化的会议记录总结大幅提高了会议的效率和生产力,确保团队对决策和任务有清晰的理解。
·对话情感趋势分析:在客服和用户的对话场景中,对话要素抽取可以分析用户对具体商品、产品、服务的情感倾向,方便及时进行情绪疏导,后期对商品、产品、服务等进行改进。
·高频知识提取:对话语料中包含大量的知识及高频问答对,对话要素抽取可以从对话中抽取常用的问答对,进行知识沉淀、知识集成,并构建FAQ库,用于后期知识培训或智能机器人搭建等。