2020 年 9 月 24 日,支付宝的AI理财“顾问”支小宝在首届外滩大会正式亮相,这个号称能炒股,能为用户提供理财建议的智能助手一经亮相就勾起了人们的好奇心,以及疑虑:专业的理财顾问尚且不能保证理财建议百分百精准,虚拟AI助手真的靠谱吗?
时隔不到半年,支小宝登顶全球机器阅读理解领域专业榜单 SQuAD 2.0 的消息打消了这个疑虑。此次支小宝刷榜 SQuAD 2.0,与以往不同的意义在于,支小宝背后的技术可以在蚂蚁的业务场景上赋能,通过金融知识图谱、机器阅读理解与规划推理等能力,已经可以做到大幅度提高生产效率,在一些业务场景中部分实现了代替人工。
支小宝登顶SQuAD 2.0,刷新纪录
据支小宝算法负责人董扬和蚂蚁资深技术专家陆鑫介绍,今年 2 月支小宝团队登顶 SQuAD 2.0 排行榜所使用的模型为全卷积神经网络 FPNet,在该模型训练下,支小宝以 EM 90.871,F1 93.183 的成绩刷新了榜单纪录,模型分数超过真人的表现。
SQuAD 2.0 (Stanford Question Answering Dataset 2.0) 是斯坦福大学发起的机器阅读理解挑战赛,是国内外人工智能团队检验机器阅读理解能力最好的检验场,代表着机器阅读理解能力的最高水平,向来是国内外科技公司比拼技术含金量和专业性的战场。支小宝能登顶榜单,证明这个AI虚拟助手在自动问答、阅读理解上的能力经过了检验。
据了解,此次支小宝登顶 SQuAD 2.0 使用的模型为全卷积神经网络 FPNet,这是一个 BERT 模型,与现在支付宝业务中“服役”的支小宝模型结构大致相同,只是有些许差别。董扬透露,支小宝之所以在比赛中能够表现优异,主要在于做到了以下几点:
第一,支小宝在数据增强方面通过 seq2seq 生成的方式,生成 query、文章、答案的监督语料;第二,模型上引入了 NER、POS 词性标注特征及其它特征,帮助模型更好识别答案,进行特征增强;第三点,使用了模型集成的方法,进一步提升模型的表现。
总的来说,这三点是支小宝能够在性能上表现突出的关键点。
挖掘支小宝背后的技术
支小宝用起来体验如何?我们不妨来上手测试一下。打开支付宝理财页面,点击左上角的蚂蚁图标,就进入到了支小宝问答页面。如今,支小宝已累计服务 2 亿人次,每天约有 500 万人使用支小宝。
在测试中,当进入服务页面后,支小宝会根据用户行为推荐若干理财选项,用户做出选择之后,支小宝会进一步推荐具体的理财方案。如果不满意,选择其他方案还能获得更多理财方案推荐。亲测有效,支小宝给出的推荐方案还是比较符合笔者预期的,对于一个理财小白来说,支小宝推荐的理财方案还是非常有参考价值的。
上手测试之后,笔者更好奇的是,这个机器阅读理解、推理能力已经达到实际应用水平的AI智能助手,背后的技术究竟是怎样的?
通过与支小宝算法负责人董扬和蚂蚁资深技术专家陆鑫沟通,笔者了解到原来支小宝团队早在 2016 年就已经开始进行机器阅读理解研究,该项目在早期是由在中国和美国的两支高配置团队,以及在北京、上海、杭州的“五地”,在线上协同办公,开启了这个项目。到今天,支小宝已经发展成一个有着数百人规模的技术、运营、产品团队支撑的大业务,经过多次迭代,目前的最新版本已经稳定服务支付宝两年。
四层技术架构
从架构上来讲,从外到内,支小宝由四层架构组成,最外层叫做“触达层”,是指支小宝的场景触达,在合适的时机、合适的场景、给用户透出合适的策略,把用户引入到对话场景中互动;进入对话后进入人机交互层,实现问答、对话意图推理以及对话策略编排、对话结构挖掘等主动引导式对话能力;第三层为“服务层”,支小宝已形成一个全理财生命周期体系,围绕选品、持仓风险、市场解读和资产规划配置四大服务领域,并且以这些服务为核心打造了对话推荐能力。
最下面则是两个最基本的技术能力,一个是对用户的深层画像刻画能力,包括对用户投资偏好、投资能力的判断;另一块则是行情研判、资产分析、资产配置模型等投研和投顾专业能力。
独特的核心知识库问答系统
从本质上说,支小宝是一个智能问答系统,其中核心问答匹配模型的好坏,很大程度上决定了问答的质量和用户满意度。支小宝采用的问答匹配模型没有采用 MatchPyramid、AICNN、或 BiMPM 等主流模型,而是采用了大规模 embedding 召回+语义精排的模式,在召回方面用亿级句对和独创的 universal embedding 的学习方法学习通用表征,然后用 ESIM、BERT 等多模型集成实现模型,然而因为它没有用到知识点本身答案的信息,为了进行更好的匹配,后来团队又把答案的信息建模到模型中去,自创了现在支小宝所用的模型。这样,模型可以捕捉到更多知识库信息, 匹配的效果可以提升约 3%-5%。
金融知识图谱加持
此外,支小宝能实现高质量的问答,还与其结合使用了自建的金融知识图谱有关。
董扬解释道,基于知识图谱的问答问题,就是业界定义的 KBQA:(基于开放域知识库上的 QA 系统),它其实可以解决支小宝业务中的两大类问题,一是基于条件选产品,一个是信息查询类问题,比如单条件或多条件查询:“重仓阿里巴巴的基金”、“本周新基”、“科技指数基金”; 聚合查询:张坤基金哪个收益高;并列查询: 医药或科技基金;结合外部记忆的组合查询:我的持仓哪个收益好?我的持仓哪个收益高?。这两类问题是线上用户的高频问题,通过知识图谱的问答方式,用户的线上体验会有很大的提升 。
当然,作为问答系统领域的专家,董扬也坦承知识图谱并不是所有问题的“万能钥匙”,要做一个聪明的为亿万用户解决问题的机器人,需要综合技能发挥才能发挥最大的作用。目前,支小宝已经具备了小样本意图识别、多轮记忆推理等深层意图识别和推理能力,来更好的理解用户意图,从而给到用户更优质的服务。
机器阅读、规划推理能力与强化学习
另一方面,评判一个问答系统水平高低与用户体验感好坏,其中最为关键的能力就是机器阅读与规划推理的能力,也就是当你向机器人提问,它不但能够理解你句子的表面意思,还可以洞察提问背后的意图,并像人交谈一样对你的话进行推理,甚至进一步做好规划。
在机器阅读理解方面,支小宝在理财核心服务问答中对用户意图理解的准确率已经到达 95%。之所以能实现如此高的推理准确率,是因为支小宝改变了之前浅层的语义匹配,进行了推理理解算法的改进,支小宝模型会捕捉到更多上下文信息以及其他异构信息,基于异构信息进行记忆提取,从繁杂的信息中提取与当前 Query 最相关的信息,这是支小宝在记忆提取中的核心能力。提取之后进行推理,推理层次化的设计让系统可以同时进行推理任务,从而使得模型的推理能力大幅提升。
此外,支小宝还在对话推荐与对话策略编排中引入强化学习,在选品环节进行对话式推荐,问询用户感兴趣的因子,最后为用户推出适合他的产品卡,这个过程中就用到了强化学习模型来在千人千面的用户兴趣空间、大量的产品和因子空间等高纬空间决策应该询问哪些因子、问几轮,以及何时推出产品卡来保证最终推荐的产品卡用户能感兴趣。类似地,在服务内对不同对话策略进行编排,进行不同服务领域串连,从而提高用户体验。
支小宝未来主攻方向
当然,在初期,问答系统不可避免地在深度服务上体验感还还达不到完美的水平,董扬认为这是因为机器人目前确实在多轮对话能力上还有不足,把“你问我答”变成主动引导对话,引导用户完成整个服务,是支小宝团队今年的主攻方向之一。
董扬透露,在问答方面,支小宝团队一直致力于提升支小宝的“智商”,即当用户提问时,支小宝可以正确理解用户的意图,并且给出合适的答案。此外,支小宝下一阶段还要做到洞察用户的情绪,进行用户情绪和情感识别,在用户需要的时候给予适当的关怀和安抚。
第二方面是提高主动对话能力和推荐能力,这是因为专家策略对于用户千人千面的理解还不够,所以支小宝已经开始着手在“触达”层规划上线基于算法对用户理解所做的推荐,以增强算法推荐的个性化和可解释性。
另外,因为支小宝不是一个传统的推荐模型,而是一个理财顾问,背后是智库专家权威观点作为支撑,它的任务是对用户进行投顾引导,不仅仅只考虑用户的喜好,而是从专业角度进行最合理的推荐,因此支小宝有着自己的投顾引导逻辑,这是支小宝与其他推荐产品不一样的地方。
值得关注的是,多模态交互能力也是支小宝接下来的重点优化方向,支小宝团队透露今年将计划开放语音和视频形式的交互,全方面提升多模态交互能力。彼时支小宝应该更加好玩,易操作,感兴趣的朋友可以关注起来了。
在应用方面,支小宝目前只是支付宝内部理财场景中使用,但从今年开始会陆续对一些合作的基金公司和券商机构开放,作为机构助理解答理财问题投入使用,并且有进一步扩张到保险场景中的计划。
问答系统的未来在哪里?
以支小宝为例,如今问答系统在技术与应用上可以说已经相对比较成熟,但不可否认的是,在使用过程中用户体验也的确存在一些影响体验的问题。
未来,问答系统有哪些发展趋势?在预想中,问答系统应该是一个怎样的存在?对此,董扬给出了自己的看法。
她说到,支小宝目前在广义问答上正在进行更大规模的、跨文档、低资源机器阅读与知识挖掘,因为问答背后依赖于知识库的建设,所以支小宝要进行更大规模的知识挖掘,以更大程度上挖掘大更实时、更广泛的金融领域知识,这是未来问答系统的发展方向之一。
另外在分析方面,对用户 Querry 的理解,要面向多轮对话场景,进行更加复杂的 Query 理解与推理。
除了语义推理外,数值推理、常识推理、结合上下文环境增强语义表征等深层的推理和语义理解,也是问答系统未来的发展方向。
通过本文对支小宝核心技术的解析,相信我们对这个虚拟AI理财“顾问”有了更加深入的理解,在自有金融知识图谱、高水平机器阅读理解与推理规划、强化学习等前沿技术的加持下,支小宝的技术实力可见一斑。
在支小宝团队的理解中,支小宝的初衷就是要用机器人服务普惠大众,让普通人也可以享受相对专业的财富管理服务。未来,支小宝的愿景是可以服务支付宝平台上的 6-7 亿用户,这个目标不算小,支小宝将如何实现这个终极目标,我们拭目以待!
<
标签: 小宝
②文章观点仅代表原作者本人不代表本站立场,并不完全代表本站赞同其观点和对其真实性负责。
③文章版权归原作者所有,部分转载文章仅为传播更多信息、受益服务用户之目的,如信息标记有误,请联系站长修正。
④本站一律禁止以任何方式发布或转载任何违法违规的相关信息,如发现本站上有涉嫌侵权/违规及任何不妥的内容,请第一时间反馈。发送邮件到 88667178@qq.com,经核实立即修正或删除。