精通推荐算法21：特征交叉之NFM -- 异构模型Deep侧加入显式交叉

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 本文来自天善智能社区专栏作者[文文](https://ask.h...

许多网络应用的预测任务需要对分类变量进行建模，例如用户ID以及性别、职业等人口统计特征。为了应用标准机器学习技术，这些分类预测变量通常通过独热编码转换为一组二元特征，导致生成的特征向量高度稀疏。为了有效利用此类稀疏数据进行学习，充分考虑特征间的交互作用至关重要。因子分解机（Factorization Machines，FM）是一种利用二阶特征交互的流行解决方案。然而，FM以线性方式建模特征交互，可能不足以捕捉现实数据中非线性和复杂的内在结构。

CTR预测任务中， 高阶特征和低阶特征的学习都非常的重要。 推荐模型我们也学习了很多，基本上是从最简单的线性模型(LR)， 到考虑低阶特征交叉的FM， 到考虑高度交叉的神经网络，再到两者都考虑的W&D组合模型。 其实这些模型又存在着自己的问题，也是后面模型不断需要进行改进的原理，主要有下面几点：简单的线性模型虽然简单，同样这样是它的不足，就是限制了模型的表达能力，随着数据的大且复杂，这种模型并不能充分挖掘数据中的隐含信息，且忽略了特征间的交互，如果想交互，需要复杂的特征工程。 FM模型考虑了特征的二阶交叉，

NFM 背景 今天学习深度推荐模型中的NFM(Neural Factorization Machines)模型，该模型是由2017年在SIGIR会议上提出的。CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，所以通过Deep Network来建模更高阶的特征之间的关系，提出了一种将FM融合进DNN的策略，通过引进了一个特征交叉池化层的结构，使得FM与DNN进行了完美

精通推荐算法》，限时半价，半日达t=N7T8《精通推荐算法》，限时半价，半日达https://u.jd.com/VbCJsCz。

特征交叉可以帮助生成新的特征，提高模型准确度。利用深度学习进行特征交叉，可以解决手动特征交叉门槛高、工作任务重、无法穷举等缺点，大大提升了模型表达能力。深度学习特征交叉主要有DNN模型、异构模型和序列模型三大类。本文主要介绍特征交叉的意义、基本范式和主要难点

精排是整个推荐算法中比较重要的一个模块，目前基本都是基于模型来实现，涉及样本、特征、模型三部分。 1 样本 样本是模型的粮食，以CTR任务为例，一般用曝光点击作为正样本，曝光未点击作为负样本。样本方面主要问题有 正负样本不均衡：比如CTR任务，如果点击率是5%，则正负样本1: 20，负样本远远多于正样本，导致样本不均衡。分类问题中样本不均衡，会导致模型整体偏向样本多的那个类别，导致其他类别不准确。解决方法主要有： 负采样：对负样本进行采样，可以直接采用随机负采样。一方面可以减少样本存储

目录 一：背景 二：原理 2.1Embedding Layer 2.2 Bi-Interaction Layer 三：代码实现 四：总结 NFM主要的特点： 一：背景 在CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过D...

推荐算法－NFM   FM对于特征的组合仅限于二阶，缺少对特征之间深层次关系的抽取。因此，NFM提出来就是在FM的基础上引入神经网络，实现对特征的深层次抽取。NFM的模型结构图如下所示：   模型的结构如上图所示，首先输入就是离散化的特征，然后再进行embedding操作，获得每一个特征的向量表示。接着就到了Bi-interaction Pooling层，这里其实就是FM部分。FM的公式如下图所...

本文要介绍的是由新加坡国立大学的研究人员在论文中提出的NFM模型。NFM模型全称是Neural Factorization Machines，通过名字也可以看出，这又是一个基于FM模型改进得到的网络。无论是FM模型还是其改进模型FFM，归根结底是一个二阶特征交叉的模型。受到组合爆炸问题的困扰，FM几乎不可能扩展到三阶及其以上，这就不可避免地限制了FM模型的表达能力。而深度学习网络理论上有拟合任何复杂函数的能力，因此有没有可能使用DNN的更强的表达能力来对FM模型进行扩展呢？这也正是NFM模型出现的缘由。

今天介绍一下NFM模型算法，NFM模型是FM模型的神经网络化尝试：即将FM的二阶交叉项做为Deep模型的输入，以此加强模型的表达能力。 经典的FM模型的数学表达式如公式（1）所示： （公式 1） 在数学形式上，NFM模型的主要思路是用一个表达能力更强的函数替代原FM中二阶隐向量内积部分。NFM的表达式如公式（2）所示： （公式 2） NFM模型的深度网络部分结构图如图（1）所示。 ...

深度学习推荐系统(七)NFM模型及其在Criteo数据集上的应用

相对于DeepFM和DCN对于Wide&Deep Wide部分的改进，NFM可以看作是对Deep部分的改进。NFM的全称是Neural Factorization Machines，如果我们从深度学习网络架构的角度看待FM，FM也可以看作是由单层LR与二阶特征交叉组成的Wide&Deep的架构，与经典W&D的不同之处仅在于Deep部分变成了二阶隐向量相乘的形式。再进一步，NFM从修改FM二阶部分的角度出发，用一个带Bi-interaction Pooling层的DNN替换了FM的特征

文章目录AbstractIntroductionArchitectureExperiment思考题Reference Abstract 概括如下： 在很多预测任务中要对特征进行one-hot编码，使得最终的特征向量高度稀疏，因此需要进行特征交互。 FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系。 因此可以通过Deep Network来建模更高阶的特征之间的关系。 然而Wide&deep和deepcross因为其深度结构而难以训练。 故 FM

NFM的核心创新点是Bi-Interaction池化部分来代替其他模型使用的拼接。