如何让聊天机器人懂情感?这是一篇来自清华的论文

简介:
本文来自AI新媒体量子位(QbitAI)

当你悲伤的时候,机器人可以安慰你;当你高兴的时候,机器人为你高兴。悲你所悲,喜你所喜,真正的情感抚慰和陪伴,就需要这种情绪化的聊天技巧。

清华大学计算机系朱小燕、黄民烈老师团队研发的 ECM(Emotional Chatting Machine:情绪化聊天机器人)开始具备这样的能力。

近年来,随着深度学习的发展,应用于开放领域的对话系统正在受到越来越多的关注。与之前基于信息检索的对话系统不同,基于深度学习的生成式对话系统可以从大规模的语料中学习到潜在的回复模式,从而可以生成语料中从未出现过的回复语句,在适用性与扩展性上都比基于信息检索的对话系统有了极大的提升。之前,大量的生成式对话系统的工作都致力于提升对话系统生成语句的语言质量,包括语法性、多样性以及话题相关性等等,却缺乏对人类情感的理解。然而,很多研究表明,情感智力(Emotion Intelligence)对人机对话系统的表现有着至关重要的影响,是一个成功的对话系统不可或缺的重要组成部分。

朱小燕、黄民烈老师团队近期发布的论文「 Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory」(作者:周昊、黄民烈、张天扬、朱小燕、刘兵)首次将情感因素引入了基于深度学习的生成式对话系统,提出了基于记忆网络的情感对话系统 Emotional Chatting Machine (ECM) ,在传统的 Sequence to Sequence 模型的基础上,ECM 使用了静态的情感向量嵌入表示,动态的情感状态记忆网络和情感词外部记忆的机制,使得 ECM 可以根据用户的输入以及指定情感分类输出相应情感的回复语句。实验表明,ECM 可以在语言和情感两个维度上生成恰当的回复,并且通过人工实验验证了人们偏好于引入了情感因素的对话系统。作为第一篇将情感因素引入基于深度学习的生成式对话系统的论文,该工作受到了包括 MIT Technology Review 和 NVIDIA DEVELOPER 的关注(报道链接详见文末)。其中,MIT Technology Review 的评价:“Chatbots have never been able to empathize. That looks set to change, thanks to a Chinese team that has built a chatbot capable of conveying specific emotions.”

640?wx_fmt=png&wxfrom=5&wx_lazy=1

 图1:ECM 模型框架

模型的总体框架如图 1 所示,用户问题输入为“What a lovely day!”,通过 Encoder 将其编码为隐向量表示 h,然后通过注意力机制,结合 decoder 的状态向量 s 在生成不同的词时,对问题的隐向量表示 h 的不同部分的信息选择性的加强,得到向量 c。指定情感类别为“Happiness”,经过索引得到情感类别嵌入向量,初始的情感状态记忆向量和相应的情感词表。decoder 接受经过注意力机制的问题向量 c,情感类别嵌入向量和初始的情感状态记忆向量作为输入,通过循环神经网络生成下个词的生成概率 o,之后再经过情感词表对情感词和非情感词的加权,得到最终词的生成概率,通过采样即可得到输出“Haha, so happy today!”。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

 图2:ECM 生成的对话样例,与经典 Seq2Seq 模型的比较

ECM 生成的对话样例如图所示,对大部分在语料中出现较多的情感类别,ECM 都能生成相应情感的回复,但是对于在语料中出现较少的情感类别(如最后 2 行),ECM 回复的质量会有所降低。更多有趣的例子可见下表:

指定情绪

Emotional Chatting Machine

POST

早上的天气不错啊!哈哈哈哈哈哈

喜欢

今天的天气不错啊!

悲伤

天气好,心情不好。

厌恶

这是哪里啊?求解释

愤怒

怎么了?什么情况?

快乐

今天的天气真好啊!



POST

送一个这样的蛋糕,给你美丽的闺蜜吧!

喜欢

好漂亮的蛋糕啊!

悲伤

为什么我觉得很恶心

厌恶

这样的蛋糕你忍心吗?

愤怒

有没有想开网店的?

快乐

哈哈,好可爱的蛋糕!



POST

承诺,就是一个骗子说给一个傻子听的!

喜欢

承诺是一个专一的傻子

悲伤

我就是一个悲伤的傻子

厌恶

一个骗子说给一个傻子听

愤怒

不管你信不信,反正我信了!

快乐

我就是一个开心的傻子



POST

为了解决抄作业的不好习惯,高数老师这回要出绝招了!

喜欢

这老师太有才了!

悲伤

这样的老师伤不起啊

厌恶

这老师也太狠了点吧

愤怒

这老师是要逆天啊!

快乐

哈哈,这老师太有才了


MIT Technology Review:
https://www.technologyreview.com/s/604157/emotional-chatting-machine-assesses-your-emotion-and-copies-it/

NVIDIA DEVELOPER:
https://news.developer.nvidia.com/emotional-chatting-chatbot/

欢迎点击「 阅读全文」查看完整版论文:
Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory

关于PaperWeekly

PaperWeekly 是一个分享知识和交流学问的学术组织,关注的领域是 NLP 的各个方向。如果你也经常读 paper,喜欢分享知识,喜欢和大家一起讨论和学习的话,请速速来加入我们吧。

关注微博: @PaperWeekly

本文作者:黄民烈
原文发布时间:2017-04-28
相关文章
|
2月前
|
人工智能 自然语言处理 前端开发
[AI]文心一言出圈的同时,NLP处理下的ChatGPT-4.5最新资讯
[AI]文心一言出圈的同时,NLP处理下的ChatGPT-4.5最新资讯
|
3月前
|
机器学习/深度学习 存储 人工智能
【NLP】Datawhale-AI夏令营Day6-7打卡:大模型
【NLP】Datawhale-AI夏令营Day6-7打卡:大模型
|
3月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP】Datawhale-AI夏令营Day1打卡:文本特征提取
【NLP】Datawhale-AI夏令营Day1打卡:文本特征提取
|
3月前
|
机器学习/深度学习 数据采集 人工智能
【NLP】Datawhale-AI夏令营Day5打卡:预训练模型
【NLP】Datawhale-AI夏令营Day5打卡:预训练模型
|
11月前
|
自然语言处理
ChatGPT懂常识吗?中科院最新论文解答
ChatGPT懂常识吗?中科院最新论文解答
|
11月前
|
机器学习/深度学习 人工智能 安全
ChatGPT火了,OpenAI却飘了?
ChatGPT火了,OpenAI却飘了?
103 0
|
11月前
|
机器学习/深度学习 数据采集 人工智能
从BERT到ChatGPT,北航等9大顶尖研究机构全面综述:那些年一起追过的「预训练基础模型」
从BERT到ChatGPT,北航等9大顶尖研究机构全面综述:那些年一起追过的「预训练基础模型」
151 0
|
11月前
|
机器学习/深度学习 编解码 人工智能
图像翻译哪家强?香港科技大学博士揭秘:预训练is All You Need!
图像翻译哪家强?香港科技大学博士揭秘:预训练is All You Need!
103 0
|
机器学习/深度学习 人工智能 自然语言处理
Nature封面:大脑里装了4亿篇新闻,能与人类自主辩论的最强AI辩手来了!
IBM最强AI辩手Project Debater代表了当前「计算辩论」研究的顶点。在充斥着海量信息和误导文化的当下,我们期待实现完全自主辩论的AI系统能够促进智能辩论的发展,帮助建立更合理的论点,做出更明智的决策。
150 0
Nature封面:大脑里装了4亿篇新闻,能与人类自主辩论的最强AI辩手来了!
|
机器学习/深度学习 自然语言处理
2018 NLP圣经《自然语言处理综述》最新手稿已经发布!
2018 NLP圣经《自然语言处理综述》最新手稿已经发布!
146 0
2018 NLP圣经《自然语言处理综述》最新手稿已经发布!