多角度、真实用户标注，人大 & 华为推出可解释推荐数据集 REASONER

机器之心专栏

机器之心编辑部

推荐算法的可解释性近年来受到工业界和学术界的广泛关注。尽管人们提出了很多模型，但如何合理地评价算法产生的推荐解释一直是人们讨论的焦点。

(资料图片仅供参考)

目前可解释推荐算法的评价有诸多限制，如解释的真值不是由真实用户标注，通常只基于单一的某个方面评估解释质量，评估策略难以统一等。

为了进一步推动可解释推荐领域的发展，来自中国人民大学和华为的研究者联合构建了一个新的可解释推荐数据集—— REASONER ( Real Users Labeled Multi-aspect Explanations for Explainable Recommendation ) 。

论文地址：https://arxiv.org/pdf/2303.00168.pdf

项目主页：https://reasoner2023.github.io/

GitHub 地址：https://github.com/REASONER2023/reasoner2023.github.io

联系邮箱：reasonerdataset@gmail.com

该数据集构建于视频推荐场景，包含了多种推荐解释目的的真值，例如，增强推荐说服力、解释信息量以及用户满意度等。可广泛应用于可解释推荐、推荐系统纠偏以及基于心理学的推荐等领域。同时，该研究也开发了一个可解释推荐工具包，包含了十个知名的可解释推荐模型方便大家使用。

可解释推荐数据集

亮点介绍

REASONER 数据集具有以下几个亮点：

多模态的候选解释：用户可以根据自身偏好为每个推荐的视频选择文本解释或视觉解释。

多方面的解释真值：从推荐说服力、解释信息量和用户满意度三个方面提供推荐解释真值。

真实用户标注：数据集中的解释真值的标注者正是产生交互记录的人。

丰富的用户特征：该研究收集了参与用户的多方面的特征信息（已脱敏）。

数据集构建

数据集的构建主要有以下三步：

1. 搭建视频推荐平台，设计有关推荐可解释性的关键问题

推荐平台的元素

由于视频内容丰富，可以提供充足的解释候选项，该研究选择视频作为平台的推荐项目。考虑到较长的标注时间会降低用户的注意力，因此该研究将视频时长控制在三分钟以内。

该研究挑选了一些视频特征作为推荐解释的候选项，其中最重要的特征是标签和预览。标签提取于视频作者所附原始标签、观看者实时评论和看后评论，属于文本特征；预览是从视频中提取出最具代表性的五个画面，属于视觉特征。

为获得多方面的解释真值，该研究为标注者设计了一系列的问题：

Q1: 哪些特征是您想观看该视频的原因？（推荐说服力）

Q2: 哪些特征最能体现该视频的信息？（解释信息量）

Q3: 哪些特征您最感兴趣？（用户满意度）

Q4: 请根据您的喜好进行评分（范围 1~5）

Q5: 您怎样评价该视频？（对视频的详细观点）

2. 招募标注者使用上述平台，收集他们的行为和回答

数据集的完整标注过程如图所示：

Step1: 用户注册

用户提供个人基础信息进行平台注册，并完成大五人格测试题。

Step2: 平台推荐

用户登录平台，系统为其随机推荐三个短视频。

Step3: 用户选择和观看之前问题回答

用户查看推荐视频的特征并选择是否想要观看该视频，若决定观看，则需回答让其选择观看该视频的特征（Q1），否则用户需要选择令其不想观看该视频的特征。

Step4: 观看视频

用户观看完整视频。

Step5: 观看之后问题回答

用户观看过视频后，进行评分和评价（Q4 和 Q5）， 回答最能体现视频内容的特征（Q2）和最能反应用户兴趣的特征（Q3）。

每个用户需完成 Step1 一次，并重复 Step2~Step5 六次，因此，在完整的标注过程中，每位用户会接收到 18 个推荐视频并对其进行标注。

3. 数据质量控制

相比于图像识别、实体标注等传统标注任务中真值都是客观的，REASONER 数据集旨在收集用户主观的个性化的偏好，无严格对错之分，这给质量控制增添了难度。

为此，该研究精心设置了一系列的规则判断标注结果的合理性，并移除不合理的样本。规则的设计主要依据标注时间、不同问题的一致回答、同一问题的矛盾回答和不同问题的矛盾回答等方面。

数据集内容

REASONER 数据集包含了 2997 个用户，4672 个视频，6115 个标签以及 58000 多条用户与视频的交互记录，这些信息存储在下列文件中：

REASONER-Dataset │── dataset │ ├── interaction.csv │ ├── user.csv │ ├── video.csv │ ├── bigfive.csv │ ├── tag_map.csv │ ├── video_map.csv │── preview │── README.md

1. Interaction.csv 字段说明

2. user.csv 字段说明3. video.csv 字段说明4. bigfive.csv 说明

标注人员需完成大五人格测试 ( Big Five Personality Test ) ，bigfive.csv 包含标注者对 15 个问题的回答，其中 [ 0, 1, 2, 3, 4, 5 ] 分别对应于 [ 完全不符合，大部分不符合，有点不符合，有点符合，大部分符合，完全符合 ] 。

5. tag_map.csv 字段说明

6. video_map.csv 字段说明7. preview 说明

包含了每个视频的五个图片预览。

可解释推荐工具包

连同 REASONER 数据集，该研究还开发了一个可解释推荐算法工具包方便大家使用。该代码库提供了两类广泛研究的可解释推荐模型，分别是基于特征的可解释推荐模型和基于自然语言解释的推荐模型。

现有模型

1. 基于特征的模型

EFM from Yongfeng Zhang et al.: Explicit Factor Models for Explainable Recommendation based on Phrase-level Sentiment Analysis ( SIGIR 2014 ) .

TriRank from Xiangnan He et al.: TriRank: Review-aware Explainable Recommendation by Modeling Aspects ( CIKM 2015 ) .

LRPPM from Xu Chen et al.: Learning to Rank Features for Recommendation over Multiple Categories ( SIGIR 2016 ) .

SULM from Konstantin Bauman et al.: Aspect Based Recommendations: Recommending Items with the Most Valuable Aspects Based on User Reviews. ( KDD 2017 ) .

MTER from Nan Wang et al.: Explainable Recommendation via Multi-Task Learning in Opinionated Text Data ( SIGIR 2018 ) .

AMF from Yunfeng Hou et al.: Explainable recommendation with fusion of aspect information ( WWW 2019 ) .

DERM: 区别于以上基于矩阵分解的浅层模型，该研究实现了不同形式的深度可解释推荐模型 ( Deep Explainable Recommendation Models ) .

2. 基于自然语言解释的模型

Att2Seq from Li Dong et al.: Learning to Generate Product Reviews from Attributes ( ACL 2017 ) .

NRT from Piji Li et al.: Neural Rating Regression with Abstractive Tips Generation for Recommendation ( SIGIR 2017 ) .

PETER from Lei Li et al.: Personalized Transformer for Explainable Recommendation ( ACL 2021 ) .

快速使用

1. 下载源代码

git clone https://github.com/REASONER2023/reasoner2023.github.io.git

2. 快速运行

运行基于特征的模型：

python tag_predict.py --model= [ model_name ] --dataset= [ dataset ] --config= [ config_files ]

运行基于自然语言解释的模型：

python review_generate.py --model= [ model_name ] --dataset= [ dataset ] --config= [ config_files ]

适配 RecBole

RecBole ( 伯乐 ) 是一个基于 PyTorch 开发的统一、全面和高效的推荐算法框架，目前已有 2.6k star。REASONER 数据集已经有适配 RecBole 数据格式的版本，接下来该研究会将目前的可解释推荐算法工具包迁移到 RecBole 上，方便大家使用 RecBole 中丰富、便捷的各项功能。

展望

研究团队相信 REAONER 数据集将为可解释推荐领域带来以下新机会：

多方面的可解释推荐：通过 REASONER 数据集，人们可以同时考虑不同的解释方面，并学习更全面的可解释模型来为线上用户服务。

多模态的可解释推荐：在现实场景中，用户总是需要感知多模态信息。借助 REASONER 数据集，人们可以围绕多模态解释展开研究。

具有全面人物信息的可解释推荐：通过 REASONER 数据集，人们可以获取脱敏的用户信息，有助于很多方向的研究。例如，解释的公平性，以及利用用户特征增强解释预测的准确性。

推荐系统其他方向：推荐系统纠偏、基于心理学的推荐算法等。

Reference

[ 1 ] Xu Chen, Jingsen Zhang, Lei Wang, Quanyu Dai, Zhenhua Dong, Ruiming Tang, Rui Zhang, Li Chen and Ji-Rong Wen. REASONER: An Explainable Recommendation Dataset with Multi-aspect Real User Labeled Ground Truths Towards more Measurable Explainable Recommendation. arXiv preprint arXiv:2303.00168 ( 2023 ) .

[ 2 ] Zhao W X, Mu S, Hou Y, et al. Recbole: Towards a unified, comprehensive and efficient framework for recommendation algorithms [ C ] //Proceedings of the 30th ACM International Conference on Information & nowledge Management. 2021: 4653-4664.

THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com