Deep Interest Evolution Network for Click-Through Rate Prediction

1.概述

对din的改进

din：强调用户兴趣是多样的，并使用基于注意力模型来捕获用户的兴趣

dien：不但要找到用户的兴趣，还要抓住用户兴趣的变化过程

2.结构

1 behavior layer

Feature Representation

User Profile, User Behavior, Ad and Context

one-hot vector

Embedding

transforms the large scale sparse feature into lowdimensional dense feature

2 Interest Extractor Layer

利用GRU作为基本单元

3 Interest Evolving Layer

主要两个部分，一个是attention一个是AUGRU

attention

用公式表示为：

$$\alpha_t=\frac{exp(\textbf{h}_tW_{\textbf{e}_a})}{\sum_{j=1}^Texp(\textbf{h}_jW_{\textbf{e}_a})}$$

AUGRU

结构如上图，用式子表达如下：

3 loss

target

为了提高准确率引入Auxiliary loss

$$L_{aux}=-\frac{1}{N}\sum_{i=1}^N\sum_t[log\sigma(\textbf{h}_t^i,\textbf{e}_b^i[t+1])+log(1-\sigma(\textbf{h}_t^i,\tilde{\textbf{e}}_b^i[t+1]))]$$

其中$\sigma$为sigmoid

global loss：

$$L=L_{target}+\alpha L_{aux}$$

参考

原文地址 https://arxiv.org/pdf/1809.03672.pdf