认识AffecText:新的聊天系统还可以传达用户的情感

对于此设计冲刺,我们设计了一个聊天系统,供用户与其他用户聊天。 我们的聊天系统使用网络摄像头查看用户的表情并将其与5种情绪联系在一起:喜悦,悲伤,愤怒,厌恶和恐惧。 此外,聊天系统会在键入时将文本突出显示为所检测到的情绪的颜色。 该系统还通过相同的五个情感参数显示另一个人的情感,以及描绘另一个人面部表情的表情符号。 这是我们的聊天系统AffecText的演示视频。

我们首先从提供给我们的变色背景应用程序中汲取了灵感。 这似乎是一个有趣的情绪设备,但我们不确定它如何有助于提高用户的意识。 取而代之的是,我们选择为用户提供一个参与交流的平台,这种交流本质上是第二自然的。

第2、3和4页:初始设计

在集思广益之后,我们决定看看这些想法在纸上看起来如何。 我们提出了三种初始设计,它们全部由三个主要构想组成:网络摄像头显示用户的图片,输入要发送的消息的位置,以及显示用户和他/她所在的人的消息的聊天窗口聊天。

表格2显示了一个非常简单的设计,其中文本将突出显示为与用户的情绪相对应的颜色。 但是,我们认为设计太简单了,没有做太多事情。

对于工作表3 ,我们有一些额外的空间来显示背景颜色的变化,以改变用户的情绪。 此外,我们还会根据用户的面部表情为每个要键入的文本分配一个表情符号。

表格4表格3的想法非常相似,但不是每个文本/单词都带有表情符号,而是整个句子都带有表情符号来表达用户的面部表情。 在评估了每种方法的优缺点之后,我们决定转到表5

表格5:实现设计

第2、3和4页中 ,我们想到了一个结合好主意并添加情感条以显示情感的想法,而不是更改背景颜色。 实现设计如下。

该设计包括具有用户的网络摄像头图像,聊天区和情感栏以显示用户的情感。 我们还留下了一些我们认为可以用Affectiva检测到的情感背景色填充的空间。

发展历程

在完成设计阶段之后,我们进入了实现设计的开发并获得了用户的反馈。

第一次迭代

借助实现设计中的数据,我们构建了第一个原型,如下所示。

这是一个简单的聊天系统,它仅显示从Affectiva返回的所有9种情绪的用户面部。 我们没有删除它们中的任何一个,因为我们相信为用户提供的信息越多越好。

每次用户输入字母时,都会保存相关的情感。 当用户完成整个单词的输入时,系统会选择频率最高的情感,并以相关的颜色突出显示单词的背景。 我们之所以决定在每个单词后面显示情感是因为我们想尽可能详细地显示用户的情感。 但是,显示每个字母的情绪会使消息看起来不完整,并且极大地增加了系统的错误率。 毕竟,Affectiva甚至还没有接近完美,其数据也不是很多。 因此,我们不想过分依赖其准确性。

如图8所示,消息输入部分下方有一个小框,用于显示突出显示的结果,以便用户从系统获得有关系统正在执行的操作的即时反馈。 此外,我们还希望确保用户充分了解他们通过系统传达的内容。 这也使用户可以选择丢弃消息而不是发送消息。 由于用户可能不习惯并行通信,因此我们认为此功能至关重要。

该网站的右侧部分为空,因为我们尚未决定要在其中放置什么内容。 此时,情感背后的色彩是完全随机的。

初始用户测试

在对系统的第一次迭代进行编码之后,我们继续进行了用户测试,并从用户那里收到了一些有用的反馈。 一个人评论说,应该在某处命名,以表明他们正在与谁聊天。 少数人抱怨说,配色方案太糟糕了,这是非常值得期待的,因为我们还没有正确地进行这项工作。 我们的大多数测试用户都问我们系统的目的是什么,他们应该怎么做,这表明我们需要一种指示形式。 其余的反馈是相当积极的。

最终设计

结合一些用户反馈,我们得出了最终的设计,如下所示。

可以看到,我们进一步完善了我们的系统。 去除了四种情感​​,分别是价,参与,惊奇和蔑视。 价和参与度被剔除,因为它们不是情绪指标。 惊奇和蔑视之所以被淘汰,是因为它们很少出现。 如下所示,我们只保留了5种情感:喜悦,悲伤,厌恶,愤怒和恐惧。

系统的最终迭代包括一个分为三个部分的网页。 在中心,一个聊天窗口以蓝色框显示本地用户的消息,而来自其他用户的消息以白框显示。 发送消息时,系统使用Affectiva来检测本地用户显示的普遍情绪,并相应地突出显示该消息。 选择了情感和颜色(参见图11)以匹配迪士尼皮克斯《 室内外》Inside Out ,2015)中的情感角色。

通过选择这些颜色,我们希望从迪士尼皮克斯公司对自然颜色/情感联想所做的研究的意义上,以及电影所创造的联想意义上,将情绪与《 室内外》中使用的色彩联系起来。本身。

在屏幕的左侧和右侧,以大致镜像的方式显示了有关使用该系统的本地用户和其他用户的信息。 在左侧,我们选择显示用户的网络摄像头提要,以便用户能够分辨其网络摄像头是否可以看到自己的脸,而不会被强光遮挡。 但是,出于隐私考虑,在右侧,我们选择不显示其他用户的网络摄像头,因此,我们使用Affectiva将其他用户的脸抽象为表情符号,如下图所示。

在两侧的下半部分,分别为本地用户和另一个用户对称地显示了五个情感的值。

由于两个原因,我们决定改用高亮显示每个句子而不是每个单词的颜色(决定显示哪种颜色的技术与以前相同)。 首先,我们意识到Affectiva的噪音比我们想象的还要嘈杂,因此切换到句子级别的突出显示将有助于我们进一步减少系统错误。 其次,我们意识到即使一个人可以突然改变自己的情绪,但他们通常不会在输入句子时改变情绪。

除了在聊天中不向其他用户显示用户的网络摄像头摘要外,我们还担心要获得用户同意访问他们的网络摄像头并分析其面部数据。 为此,我们为聊天创建了一个初始页面,该页面通知用户该页面的功能,并询问他们是否要继续聊天。

结果与反馈

从演示日开始,我们了解到我们的某些选择效果很好,而其他领域则可以改进。 在概念和一般执行方面,大多数用户表示他们喜欢拥有一个可以将情感数据注入文本对话的系统。 但是,有些用户没有看到我们的应用程序试图通过促进情感意识的对话来促进幸福感,因此也许我们可以使这种联系更加清晰。 用户所表达的其他缺点更为具体:其中包括进一步完善UI /设计以及Affectiva情绪检测的不完美特性。

未来的改进

从用户反馈以及我们自己在项目中的工作和经验中,我们可以在很多时间上改进一些方面。 几个用户表达了跟踪和显示更多情感的愿望,而不仅仅是我们选择关注的五个情感。 尽管这在某种程度上受到Affectiva能够检测到的情绪的限制,但我们当然可以带回惊喜和蔑视,我们在定义项目重点时就将其削减了。 可以使用改进的另一个领域是消息突出显示。 为了更好地捕获用户的情绪,我们的系统可以更改为实时突出显示,并且可以对句子或句子片段进行操作,而不是对整个消息进行操作。 最后,在得到用户的积极反馈的情况下,项目规模可以增加到超过两个用户。 以该项目为概念证明,聊天可以作为自己的东西集成到更精致的站点中,也可以集成到现有的聊天服务中。

结论

我们创建了一个聊天系统,该聊天系统不仅允许文本交流,还可以交流情感,从而进一步缩小了以文本形式进行交互的沟通差距。 通过这样做,我们能够实现我们的福祉设计目标。 这些说明非常简单,用户立即了解了聊天系统。 我们的概念在将来希望从系统中获得更多收益的用户中得到了高度赞赏。 如果有更多时间,我们将有可能随着使用案例的增加而进一步扩展产品的功能。

要查看AffectText,请单击 此处