We use cookies to improve your experience with our site.

EmotionMap:基于隐喻地图的视频情绪可视分析

EmotionMap: Visual Analysis of Video Emotional Content on a Map

  • 摘要: 情绪在提升观众观看体验中发挥着重要的作用,视频内容中隐含的情绪的起伏波动推动着视频的进展同时也影响着观众的情绪,其次,若是能够把握视频中的情绪信息,观众便可以快速地找到视频中的精彩部分,把握视频的大致内容,有需要地对视频内容进行挑选观看。目前对于视频内容的可视化,大多是依靠视频特征(声音、图像等)来提升分析视频内容的效率和可靠性,对于视频中情绪部分的可视分析相关研究工作仍比较少。
    为此,我们提出了EmotionMap这一交互式视频情绪分析与可视化系统,EmotionMap着重于对视频内容(人物、事件等)及其所包含的情绪信息进行可视化,同时允许用户通过自然的草图交互的方式进行探索、查询与分析,可以帮助用户理解视频内容,减轻用户观看视频时的负担。
    该方法通过基于Ekman情绪模型的情绪采集工具收集用户在观看视频时的主观情绪,并借助于自动化的表情识别算法收集电影中的人物在表演中流露出的客观情绪。对收集到的主观和客观情绪数据进行层次化的处理和建模,并在二维空间中构建电影情绪数据和隐喻地图元素的映射关系,借助于地图对电影中的情绪进行层次化展示,结合视频播放视图、人物情绪视图、情绪折线图,最终形成一个可供用户探索、查询、理解电影情绪内容的电影情绪分析及可视化系统。该系统不仅可以帮助用户简单快速地了解电影的整体情绪(分布及强度),同时也可以在系统中详细地探索电影中的人物、场景与情节等信息。系统支持自然的草图交互操作,便于用户探索电影中人物与事件之间的关系。最后,通过专家访谈和用户实验,我们验证了情绪地图的新颖性和实用性。

     

    Abstract: Emotion plays a crucial role in gratifying users’ needs during their experience of movies and TV series, and may be underutilized as a framework for exploring video content and analysis. In this paper, we present EmotionMap, a novel way of presenting emotion for daily users in 2D geography, fusing spatio-temporal information with emotional data. The interface is composed of novel visualization elements interconnected to facilitate video content exploration, understanding, and searching. EmotionMap allows understanding of the overall emotion at a glance while also giving a rapid understanding of the details. Firstly, we develop EmotionDisc which is an effective tool for collecting audiences’ emotion based on emotion representation models. We collect audience and character emotional data, and then integrate the metaphor of a map to visualize video content and emotion in a hierarchical structure. EmotionMap combines sketch interaction, providing a natural approach for users’ active exploration. The novelty and the effectiveness of EmotionMap have been demonstrated by the user study and experts’ feedback.

     

/

返回文章
返回