基于信息检索的知识库问答存在以下问题
一、问题解析阶段
复杂问题解析
1.问题中包括多个实体:(i)使用卷积操作捕获每个词的上下文特征;(ii)使用大语言模型对问题进行凝练,保留关键信息;(iii)采用思维链的方式对问题进行分解,通过子问题的答案来组织原始问题的答案。
2.问题中存在歧义实体:(i)使用知识库中歧义实体的相关信息来实现消歧;(ii)使用大语言模型对问题进行扩展,生成歧义实体更多的信息,最后对问题进行重写。
3.问题中包含噪音:(i)将问题解析和模型推理融合在一起,将损失直接反馈到问题解析模块。
4.问题中词语省略:(i)从汉字级、词级、短语级进行多粒度分词。
时序问题解析
(i)将问题拆解为非时态子句和时态约束;(ii)结合知识库将更多的时间信息融入问题,来解决问题中时间信息不明确。
二、信息检索阶段
检索方式及优化
1.主题实体的N跳邻居检索:根据问题对子图的不相关部分进行裁剪,利用问题相关性、候选实体一致性、子图中的连通性。
2.问题相关性检索:使用广度优先搜索算法对子图进行剪枝。
3.大模型检索:(i)判断模型是否能够回答当前问题,若可以则不需要检索信息。(ii)使用大语言模型生成问题的相关信息,提高检索的准确率。
知识库缺失
1.知识库结合文本语料:将额外的文本语料与知识库的实体相关联,使用补充知识库的知识。
2.补充知识库:(i)学习两个实体之间的关系,用以补充缺失的关系;(ii)对于重要性的实体在N跳邻居内寻找相关度更高的实体,建立它们之间的关系。
三、模型推理阶段
静态推理
1.动态的删除关系
2.动态的删除节点
3.动态的增强关系
虚假路径
1.建模路径与问题之间的关系:通过路径语义信息过滤掉虚假路径。
2.使用思维链技术
四、答案生成阶段
1.答案数目不确定:将具有相同关系的节点聚合成超子图节点。
展望
问句解析阶段中融入大语言模型有助于加深对问句的深层次语义理解.当前有 2 类问句回答准确率相对较低,分别为复杂问句和时序问句.现有方法大都集中在基于知识库相关信息或者结合问句上下文进行细粒度建模提升复杂问句的理解能力上.随着大语言模型的快速发展,其表现出语言解析的优异性能.未来可以尝试把知识库和大语言模型结合实现复杂问句分析.大语言模型可以加深对问句的深层次语义理解,可以判断出问句中不同成分,更准确率识别问句中的主题实体和关键特征,为生成准确的回答奠定基础.此外,时序问句的解析和回答同样是问答领域的 1 大难题,因为模型需要复杂的时间推理才能得到正确答案.鉴于目前大部分知识库都不包含时序关系,现阶段研究大都集中在如何对时序问题进行解析方面.将大语言模型融入现有知识库以增强知识库时序性特征,并在此基础上设计相应的时序推理模型,包括对时间线的建模、时间间隔的计算、事件顺序的推断等,有助于提高时序问句回答的准确率.
信息检索阶段融入多模态和大语言模型生成的文本数据有助于提供更全面知识信息.受知识库存储容量的限制,知识库中有时可能不包含问答问句的必要信息.目前针对知识库不完整主要有 3 种解决方法:基于大量文本语料库结合知识库进行回答;通过模型学习方式补充知识库;使用大语言模型生成相关信息来进行补充.但是,第 1 种方法经过文本补充之后得到的知识库仍然可能是缺失的;第 2种方法则可能面临着知识库补充的准确性和可解释性无法考量问题;第 3 种方法对于大语言模型生成的文本相关性无法进行有效验证.类似于使用知识库结合图像信息进行回答,未来可以从多模态角度出发,融合知识库、文本语料、图像、视频及语音等多模态数据对异构知识库统一整合和嵌入,以及融入大语言模型根据问句生成的相关文本信息;并在此基础上进行跨模态推理和学习,以发现模态之间的关联和潜在的知识.通过不同模态数据的融合和联合推理学习,弥补知识库缺失,提供更准确全面知识,以提高问答准确性.
模型推理阶段将强化学习和多任务学习融入大语言模型提升推理泛化能力.多跳推理一直以来是模型推理过程中面临的挑战之一,需要在知识库推理过程的每一跳中找到适当的节点和路径.现阶段研究大都集中在如何提高模型对问句的理解和知识库的推理方面,并没有对于每一跳推理准确性和合理性进行深入研究,未来可以从以下 2 个方面继续研究:一方面采取强化学习思路,将强化学习的思想引入大语言模型中(类 ChatGPT 模型),使得模型能够在不断交互中,根据每一跳获得的奖励值来学习如何进行多跳推理,以获取更高的问答准确率;另一方面可以采取多任务学习方法,让模型能够正确回答问句的同时,将每一跳视为 1 个独立的任务,以学习到每一跳应该采取的路径,提高模型泛化能力和效果.
答案生成阶段引入思维链技术和用户反馈机制有助于提高模型回答的完整性和准确性.目前针对部分问句答案可能存在多个情况的解决方法较少.针对该问题,一方面可以参考多链推理思想,提示大语言模型通过不同思维链沿不同路径进行推理,根据各个路径上的推理结果对最终答案进行整合.另一方面可以增加用户反馈机制,鼓励用户对答案结果进行反馈,让模型根据用户反馈信息不断学习和改进,以提高回答的全面性和准确性.
总之,目前随着大语言模型技术发展,检索知识库相关信息增强大语言模型在知识库问答领域取得了不错效果,其具有推理能力强、通用性强等优势,但是生成式模型存在的幻觉问题会造成答案不准确甚至会出现严重偏差,因此,对于精确化程度要求较高领域如医疗、金融等仍然需要提升.未来可以从检索方法和策略出发,在模型推理前检索出更相关准确信息来增强大语言模型的推理能力,缓解生成式模型的幻觉问题.