我其实一直都懂你|闲鱼聊天机器人

项目背景

闲鱼是一个闲置共享交易社区，为了增加交易乐趣，闲鱼在产品设计中有意识的通过买卖双方的互动交流推动商品的成交。无论是商品下单需要先聊一聊，还是鱼塘话题等通过群组互动分享交流商品，都是这一设计思路的体现。

但是，目前闲鱼的买卖双方的互动还存在以下问题，影响交易成交和体验：

卖家未及时回复影响交易达成

买家通常对于卖家回复效率都会较为敏感。而闲鱼卖家大多不是专业卖家，无法保证长期在线与买家互动，导致买家收到回复时间过长，往往会丧失进一步互动的意愿。经统计，闲鱼买家第一次收到卖家回复平均时间超过6小时，而如果首次收到回复在1小时以内，成交率相比整体提高75%以上。

相同问题卖家回复质量参差不齐

卖家由于受自身因素影响，针对同一问题，答案也有不同：有时会进行耐心回答，有时回答非常敷衍，这个过程中可能错过真正有购买意向的买家。

卖家重复回答常见性问题

通过买卖家交互信息分析，交互中40%+的内容涉及商品信息的询问，而这类信息大多是可以从商品信息提取的。对于在发布时缺少清晰准确描述的商品，卖家常常需要重复对不同买家进行解释说明。

卖家在讨价还价过程中体验较差

很多卖家写明商品不接受议价，但仍有很多用户会尝试砍价，卖家会觉得很烦且很花时间。且部分卖家在于买家议价时会发生争执，情绪失控，影响体验。

针对以上业务中出现的问题，闲鱼技术团队和达摩院机器智能技术团队合作，在闲鱼用户的私聊场景中引入了自动问答，帮助卖家及时准确的回复，合理议价，提高交互体验、促进交易成交。

技术框架

针对上述的问题，闲鱼引入聊天机器人，希望能够在卖家离线的时候，自动识别买家的意图，帮助卖家代答相关问题（问答模块）。为此，我们首先要帮助用户自动构建知识库，知识库由商品或者交易相关的问答键值对构成。为了构建问答知识库，一方面从用户信息、商品信息（图片/文字）中抽取相关属性，生成相关答案（属性初始化模块）；另一方面，从买卖家对话的过程中，卖家的真实答复中抽取并产生对应的答案（用户对话提取模块）。

640?wx_fmt=png

Figure1闲鱼自动回复整体技术框架

据此，闲鱼聊天机器人模块可以分为三个部分：

属性初始化模块

用户开启自动回复功能之后,会根据用户基本信息抽取并生成一份基于用户的通用问题/答案键值对，例如离线自动回复、是否包邮、发货地址等。此配置可以支持到用户所有没有单独设置自动回复的商品。

用户发布或者编辑商品之后，根据商品属性信息抽取热点问题和答案的key/value键值对，并推荐给用户回复话术，用户确认之后就会存储到配置服务中生效。例如针对买家不同出价的谈判策略，或者使用基于宝贝的回复话术覆盖通用配置中的对应数据。

640?wx_fmt=png

Figure2属性初始化

问答模块

在卖家不在线时帮助卖家自动回答买家询问问题。该模块对买家的提问进行意图识别，将卖家预设在商品信息库中的答案返回。一方面，减少买家等待回复的时间，提高交互体验；另一方面，节约了卖家回复时间，提升了效率。

用户问答知识提取模块

使用卖家和买家互动中问答补充商品信息库。对于发布时缺少的商品信息，可以通过用户在对话过程中形成的问答对来进行答案抽取和话术生成。此外，用户在聊天中对已有问题产生了新的答案，也会及时通过这一模块进行答案的更新。

640?wx_fmt=png

Figure3问答和知识抽取

在实际落地时，我们使用question-answer-reply结构存储用户问题/答案键值对,让用户能够使用reply配置个性化回复话术：算法规则命中问答键值对时，闲鱼会使用reply中指定的信息构建消息文本发送给买卖双方，并标识此消息为卖家配置的自动回复。

核心算法

闲鱼自动回复算法平台以AliNLP提供的底层NLP算法能力为基础，构建 2个核心算法：意图识别模块和话术生成模块。

640?wx_fmt=png

Figure4算法架构

意图识别

意图识别最大的难点在于语言表达的歧义性或多义性，比如用户搜索苹果时，潜在的意图可能是水果，也可能是手机。其次，中文汉字组合千变万化、语言表达形式非常丰富，比如“1500如何”、“再便宜100块我就买了”、“诚心要，128包邮吧”等都表示“砍价”这种意图。因此意图识别和归类应运而生。

经分析，在闲鱼聊天场景下，用户约20%的对话是常见性问题，可以分为四个大类：价格、讨价还价（关注度最高）；商品属性（如颜色、规格等）；二手市场中的转卖属性（如新旧）；交易信息（如包邮）。由于属性间差异较大，我们结合不同分类模型来识别用户的询问意图。

针对不同的属性，我们采取了针对性的方案,构建了24种不同属性的模型，基本覆盖买家的常见性问题，绝大部分属性的准确率都达到90%:

针对准确率要求高、不允许误答的属性，我们采用规则的方法作为前置模块；
针对语义多样的属性，我们采用深度学习的方法尽可能识别用户多样的问法。

640?wx_fmt=png

Table1意图识别主要方法对比

前置规则 通过关键词匹配来获取查询意图，比如包含“颜色”识别用户在询问颜色属性。当然这会引起许多错误判断，比如“这件红色的衣服是多少钱？”和“这件衣服是红色的吗？”。因此，我们额外引入了句法结构信息，利用依存关系模型解析得到句法信息，将颜色的意图识别准确率从70%提升到84%。在前期基于规则的方法中，我们人工收集并标注了大量数据，为之后的机器学习和深度学习方法训练使用。

依存分类模型 深度学习得益于词的分布式表示（word2vec等）和强大的学习能力（CNN/LSTM/Transformer），能够自动获取到整个句子的语义表示，进而从大规模高质量的训练数据自动学习出其中包含的抽象复杂关系。依存分类模型额外引入词性、句法信息，首先在词表中找出每个词语、词性的向量表示；然后通过注意力机制得到上下文相关的句子表示，注意力模型允许对句子中的重要信息进行额外关注。通过在注意力模型中加入依存核心词信息，对重要句法成分进一步加强，比如“这件衣服是红色的吗”会关注到“衣服”、“是”、“红色”这些关键词，从而得到句法加强的句子表示。通过依存分类模型，属性识别的召回率从44%提升到74%，丰富了多样表达语义的识别。

BERT模型 BERT模型开启了NLP的新时代，通过预训练语言模型，帮助进行超大规模的表征学习，这样训练出来的模型通过微调在处理问答或语言推理任务时，能够结合上下文理解语义，并且实现更精准的文本分类。在基础模型上，我们额外引入对话角色进行训练，整体准确率提升了4个点，预训练模型在其他相关任务上也取得了性能提升。

话术生成

为了帮助用户构建和维护知识库，我们从买卖家聊天过程中收集常见问答对生成答案。整个流程分为三个步骤：

买家询问意图识别：对于买家的询问问题，识别出相应的询问意图卖家回答属性抽取；
通过序列标注方法，将从卖家的回答内容中将属性值内容抽取出去来；
话术生成，根据预先定义好的模版将属性和属性值填入，生成完整的答案。

640?wx_fmt=png

Figure5话术生成算法流程

在答案生成模块的主要瓶颈在属性抽取的召回率不高，未来我们会结合依存信息、语义信息等语言学特征来提高属性抽取的性能。

应用和效果

场景示例

在对话示例1中，买家试图和卖家进行沟通并砍价，卖家在买家询问12.5小时后才上线回复用户，并且回复内容页比较生硬，该商品最终没有成交。

640?wx_fmt=jpeg

Figure6对话示例1-未设置聊天机器人

640?wx_fmt=png

Figure7对话示例2-开启聊天机器人

而在对话示例2中，用户咨询首先出发了聊天机器人的砍价周璇逻辑，及时的和买家进行沟通；并引导买家进行更多的互动和咨询，增加购买意愿。沟通中的话术包含了砍价、包邮问题，提供了宝贝价格信息，管理买家心里预期，促进成交。在具体话术表达上，使用卖家的预设的配置信息，使得交互更加亲切友好。因此，卖家上线后简单沟通后，卖家就迅速下单。