用上 GAN 推荐算法成精，看完视频马上刷出相关文章，微信已用上
做啦这年头，推荐算法真是越来越智能了。
举个栗子，当你热衷于东京奥运会并且刷了不少剪辑视频，App 就会根据你的品味为你推荐文章、游戏或是同款周边。
没错，推荐算法早已不局限于一个场景，而是在视频、文章、小程序等各种场景中“打通任督二脉”，也就是多领域推荐算法。
但事实上，这类算法并不如想象中容易驾驭，关键在于如何抓住不同领域中，关于目标领域的有效特征。
为了让推荐算法更了解你，腾讯微信的看一看团队，针对多领域推荐任务提出了一个全新的模型，融合了生成对抗网络 GAN、ELECTRA、知识表示学习等思路，学习不同领域之间的特征转移，极大地提升了多领域推荐算法的效果，论文已被 KDD 2021 收录。
8 月 18 日，数据挖掘领域国际最高级别会议 KDD 2021 会议在线上举行，微信看一看团队的 Xiaobo Hao，针对这篇名为「Adversarial Feature Translation for Multi-domain Recommendation」的论文，进行了详细解析和分享。
我们对论文解析进行了相关总结，一起来看看。
多领域推荐难在哪
推荐系统已经融入生活的方方面面，为我们提供个性化的信息获取及娱乐。
在马太效应的影响下，Google、WeChat、Twitter 等平台应运而生。它们往往拥有各种（推荐）服务，能够为用户推荐多样化的物品（如文章、视频、小程序等），满足用户需求。
用户在不同推荐服务上的行为（在用户允许下），会通过用户的共享账号产生关联。
这些行为，能在目标领域行为之外提供更多信息，帮助推荐系统更加全面地了解用户，辅助提升各领域推荐效果。
多领域推荐（Multi-domain recommendation，MDR）任务就是基于用户在多个领域的行为和特征，来同时优化多个领域的推荐效果，关键在于如何抓住不同领域中的目标领域特化的特征。
一个直观的方法，是将用户的多领域行为当作额外的输入特征，直接输入给 ranking 模型，但这种方法没有针对领域间的特征交互进行优化建模。
另一个方法，是近期基于多任务学习（Multi-task learning，MTL）的一些思路，将一个领域的推荐当作一个任务进行处理，取得了不错的效果。
然而，多领域推荐效果仍然严重地受限于其固有的稀疏性问题，具体体现在两个方面：其一，user-item 点击行为的稀疏性（这个是推荐系统本身拥有的稀疏性问题）；其二，跨领域特征交互的稀疏性（这是多领域推荐特有的稀疏性问题）。
AFT 模型要解决什么？
为了解决这两个问题，使模型能够同时提升多领域推荐效果，论文提出了一个名为 Adversarial Feature Translation（AFT）的模型，基于生成对抗网络（GAN）学习不同领域之间的特征转移（feature translation）。
首先，在 multi-domain generator 中，论文先提出了一个 domain-specific masked encoder，用以强调跨领域的特征交互建模，再基于 transformer 层以及 domain-specific attention 层聚合这些跨领域交互后的特征，学习用户在目标领域下的表示，以生成虚假的物品候选（fake clicked items）输入到判别器中。
在 multi-domain discriminator 中，受到知识表示学习（KRL）中的基于三元组的建模方法（如 TransE）的启发，论文构建了一个两阶段特征转移（two-step feature translation）模型，对领域、物品和用户不同粒度/不同领域的偏好进行可解释的建模。
团队在 Netflix 和微信多领域推荐数据集上进行了测试后，发现模型在离线和在线实验的多个结果上都获得了显著的提升，论文也进行了充分的消融实验和模型分析，以验证模型各个模块的有效性。
△图 1：多领域推荐及 AFT 模型框架图
具体来说，如上图 1，AFT 包括 domain-specific masked encoder 以及 two-step feature translation，着重关注跨领域、多粒度的特征交互建模。
在生成器（generator）部分，论文先设计了一个 domain-specific masked encoder，通过 mask 掉目标领域的历史行为特征（historical behaviors），来加强“其它领域历史行为特征”和“目标领域点击行为”之间的交互特征权重，以驱使 AFT 模型学习基于其它领域特征进行的目标领域推荐；
再用 Transformer 层和 Domain-specific aggregation 来抽取目标领域相关的用户特征，以生成 top-k 虚假点击的物品（fake clicked items）。这些虚假点击的物品将被输入判别器，迷惑判别器的判断，在对抗中相互提升所有领域的推荐能力。
在判别器（discriminator）部分，论文受知识表示学习模型（KRL）启发，希望显式地对用户、物品和领域进行建模。
其中，先用 Transformer 从多领域特征中分别抽取用户的细粒度 item 和粗粒度 domain 的偏好特征，分别标记为 user item-level preference 和 user domain-level preference；
再构造第一个三元组（user item-level preference，user domain-level preference，user general preference），进行第一次特征转移，学习用户通用领域的偏好特征（user general preference）。第一个三元组的物理含义是，对于（Hamlet，writer，Shakespeare）三元组关系，有 Hamlet+writer=Shakespeare（以 KRL 中的经典模型 TransE 为例）。
在多领域推荐中，用户不同粒度的偏好相加（item-level preference+ domain-level preference），就约等于用户通用领域的偏好（user general preference），因此这一步能得到用户通用领域的偏好。
然后，论文再次构建第二个三元组（user general preference, target domain information, user domain-specific preference），进行第二次特征转移。第二个三元组的物理含义是，用户的通用领域偏好 + 目标领域的特征 = 用户在目标领域的偏好（user domain-specific preference）。
论文基于成熟的知识表示学习模型 ConvE 进行两层特征转移（two-step feature translation）后，得到了用户在目标领域上的表示，并用于推荐。
那么，AFT 模型到底有什么优势？
其一，AFT 的 GAN 框架在 domain-specific masked encoder 的帮助下，提供了充足且高质量的多领域推荐负例，缓解了数据稀疏和过拟合的问题；
其二，生成器中的 domain-specific masked encoder 能加强模型的跨领域特征交互，而这正是多领域推荐的核心要素；
其三，判别器中的 two-step feature translation 提供了一种大胆的、显式化可解释的建模用户、物品和领域的方式，对多领域推荐提供了更深层次的理解。
团队将 AFT 模型和多个有竞争力的 baseline 模型进行了离线和线上对比。结果显示，AFT 模型在多个领域上全面显著地超出所有 baseline。此外，团队还进行了详尽的消融实验和模型分析实验，用以加深对 AFT 各个模块和参数的理解。
目前，AFT 模型已经在用了 —— 被部署于微信看一看的多领域推荐场景，正服务于千万用户。论文本身的贡献如下：
针对多领域推荐问题，提出了一个全新的 AFT 框架，首次在多领域推荐中引入了对抗下的特征转移。
提出了一种 GAN 框架下的 domain-specific masked encoder，能够针对跨领域特征交互进行特化加强。
设计了一种两阶段特征转移策略，尝试使用结构化知识表示学习的建模方式，学习用户多粒度多领域偏好、物品和领域之间的可解释的转移关系。
AFT 在离线和线上实验中均取得显著的提升效果，并已经被部署于微信看一看系统。
AFT 模型具体长啥样
上文提到，AFT 模型基于 GAN 训练框架，主要分为生成器和判别器两个部分。
如下图 2，生成器输入用户多领域行为特征，并基于 domain-specific masked encoder、Transformer 层和 Domain-specific attention，抽取目标领域相关的用户特征，用于生成 top-k 虚假点击的物品（fake clicked items）。判别器则基于两阶段特征转移，获得用户向量，然后预测真实/虚假点击物品的得分。
△图 2：AFT 具体模型，包括（a）多领域生成器和（b）多领域判别器
我们具体来看。
多领域生成器
多领域生成器旨在为用户生成每个领域上的 fake clicked items，其输入是某个用户在所有 n 个领域上的行为序列 X={X_1, …, X_n}，其中 X_t 是第 t 个领域上的行为序列特征矩阵。
不失一般性，论文假设生成器正在生成目标领域 d_t 上用户可能点击的物品，首先使用 domain-specific masked encoder 处理目标领域序列 X_t，随机对目标领域 d_t 中的行为进行 mask，如下式：
公式表示序列中 pos_t 这些位置上的行为被 [mask] 的 token 替代，使得 domain-specific masked encoder 强制生成器在生成目标领域的候选物品时，会更多地考虑其它领域的用户行为。
这样虽然会丢失关键的目标领域的历史行为，导致生成器更难生成最合适的 fake clicked items，但也会加强跨领域历史行为和点击的特征交互，有助于多领域推荐，特别是稀疏行为的领域上的推荐效果，瑕不掩瑜。
随后，论文使用 average pooling 分别聚合各个领域上（mask 后）的行为序列，并基于 Transformer 和 domain-specific attention，得到用户在目标领域上的表示 h_t 如下：
对每个候选物品 e_i，生成器计算的点击概率 p 为：
论文基于生成概率 p，选择目标领域上的 top k 的近邻物品（剔除训练集中的真实正例），作为生成器生成的负例输入判别器。
多领域判别器
在判别器中，论文首先基于 Transformer 特征抽取器，获取用户在细粒度的具体行为（item）上和在粗粒度的领域（domain）上的特征表示：
随后，团队基于知识表示学习中三元组的学习范式，设计了一个两阶段的特征转移：先基于用户在多领域的细粒度和粗粒度上的偏好，得到用户整体偏好；然后基于用户整体偏好和目标领域信息，得到用户在目标领域上的偏好。
传统的知识表示学习方法（如 TransE）显式建模三元组关系。上文提到，对于（Hamlet, writer, Shakespeare）这个三元组关系，TransE 认为：Hamlet+writer=Shakespeare。
因此，用户细粒度的偏好加上用于粗粒度的偏好，应该等于用户通用领域上的全局偏好（user general preference）。基于 ConvE 模型（因为他能够挖掘 element-wise 的特征交互），对于三元组（e_h, r, e_t）有：
类似地，在第一次特征转移中，构造了一个三元组（user item-level preference, user domain-level preference, user general preference），计算用户通用领域上的全局偏好 u_g 如下：
在得到 user general preference 后，又构建了第二个三元组（user general preference, target domain information, user domain-specific preference），并进行第二次特征转移。这个三元组的物理含义是，用户的通用领域偏好加上目标领域的特征，约等于用户在目标领域的偏好（user domain-specific preference），有：
其中，目标领域特征综合考虑了领域向量和行为向量。与生成器类似，团队基于用户在 d_t 的特征表示 u_t，计算物品 e_i 的点击概率 p 如下：
生成器 & 判别器优化
模型判别器的优化如下：
生成器则是基于 REINFORCE 强化学习进行优化：
团队还提出一项 MMD loss，目的是让生成器产生的物品和真实物品不完全一致（否则会干扰判别器的训练），具体如下：
MMD loss 基于推荐系统的特质设计：在推荐系统中，绝大多数物品其实并未被曝光，团队假设所有未被用户点击的物品均为负例；和点击物品特别相似的 fake clicked items，也有很大概率同样被用户点击（例如不同自媒体号发表的同一主题的新闻/视频等），这也是推荐系统 item-CF 的本质。
因此，团队选择加入 MMD loss，使得 GAN 能够生成更加多样化的、相似但又不完全一样的物品作为判别器的负例。
最后，综合三项 loss 获得最终 AFT 的 loss，如下：
AFT 模型的判别器被部署于线上，更多模型和线上细节可参考论文第三和第四部分。
实验结果
团队在公开数据集和微信看一看数据集上进行了实验，结果表明，模型在多领域推荐上获得了显著提升：
△图 3：AFT 离线结果
此外，论文也在微信看一看多个线上推荐场景进行了 A/B 实验，也同样获得了显著的提升：
△图 4：AFT 线上实验结果
消融实验也证明了模型各个模块的有效性：
△图 5：AFT 消融实验
最后，论文也进行了详尽的模型参数分析，探索了不同 mask ratio 和 fake clicked item number 对模型效果的影响：
△图 6：AFT 参数实验
模型已用到微信里
整体来说，这篇论文针对多领域推荐任务，提出了一个对抗特征转移的 AFT 模型。它基于 domain-specific masked encoder 加强了跨领域特征交互，设计了一种 two-step feature translation，能够显式可解释地对多领域下用户不同粒度的偏好、物品和领域进行建模。
目前，AFT 模型已部署于微信看一看多领域推荐模块中，我们日常用微信看一看时，就会用到这个模型。
对于未来，团队表示十分看好基于对抗和知识表示学习的跨领域特征交互思路，计划展开进一步探索。
