精通推荐算法4：经典DNN框架特征交叉模型 Deep Crossing

已于 2024-10-20 17:41:46 修改
阅读量1k 收藏 14
点赞数 14
CC 4.0 BY-SA版权
分类专栏： 精通推荐算法 文章标签： 推荐算法 dnn 算法 深度学习
于 2024-01-10 09:46:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510838/article/details/135495364

微软2016年提出的Deep Crossing模型奠定了深度学习精排模型的基本架构，具有十分重要的意义。它采用“Embedding + MLP”的结构，成为目前推荐算法的基本范式。通过深度神经网络，实现大规模特征自动组合，大大减少了对人工构造交叉组合特征的依赖和开销。同时将残差网络第一次落地到推荐算法中，优化深度学习反向传播梯度弥散和过拟合等问题。并且完整解决了特征工程、Embedding稀疏向量稠密化等各种关键问题。虽然发表距今已有很多年，但仍然是一个非常重要的模型。

Deep Crossing论文地址，微软，2016年，KDD

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习推荐模型-DeepCrossing
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-16 814
深度学习推荐模型-DeepCrossing 背景 特征工程是绕不开的话题，巧妙的特征组合也许能够为模型带来质的提升。但同时，特征工程耗费的资源也是相当可观的，对于后期模型特征的维护、模型线上部署不太友好。2016年，微软提出Deep Crossing模型，旨在解决特征工程中特征组合的难题，降低人力特征组合的时间开销，通过模型自动学习特征的组合方式，也能达到不错的效果，且在各种任务中表现出较好的稳定性。 与之前介绍的FNN、PNN不同的是，Deep Crossing并没有采用显式交叉特征的方式，而是利用
精通推荐算法19：特征交叉之DeepFM -- 异构模型Wide侧引入FM
谢杨易的博客
08-03 1277
DeepFM通过对Wide侧优化，提升了异构模型表达能力，是推荐算法中的经典模型。虽然早在2017年就提出，距今已经很多年，但仍然广泛应用于各大推荐场景。与DeepDeep等模型相比，它的优势十分明显，主要有：不需要手工构造交叉特征，降低了对特征工程的依赖。相比之下，WideDeep仍然需要。模型可同时进行低阶和高阶特征交叉，兼顾了记忆和泛化两大能力。相比之下，DeepCrossing、FNN、PNN等模型则缺失了低阶特征交叉能力。
Deep crossing
chenyueue的博客
03-16 203
Deepcrossing前言一、embedding 层二、stacking 层三、Multiple Residual Units 层四、Scoring 层 前言 deep croosing 是第一个用于把深度学习用于推荐系统的网络。 模型主要由 embedding层、stacking 层、Multiple Residual Units 层、Scoring 层组成。 一、embedding 层 该层主要是将高维稀疏的特征进行转化成低维稠密特征。 二、stacking 层 将embedding层的低维稠密特
八股 特征交叉
最新发布
m0_69704099的博客
06-08 763
显式交叉（推荐系统的经典模型FM和FFM）局限性：（1）对非线性的建模能力是有限的，（2）很难扩展到更高阶的特征交叉，（3）但数据稀疏性很大时，模型训练比较困难，（4）对所有特征交叉项一视同仁，可能会限制模型的表达能力，（5）不能自动化实现特征交叉隐式交叉MLP网络、Product网络、NFM（Bi-Interaction Pooling层 + MLP层）、Cross网络、CIN网络、CAN网络等。
Deep Crossing
null的专栏
03-24 1893
1. 概述 算法原理 它涵盖了深度CTR模型最典型的要素，即通过加入embedding层将稀疏特征转化为低维稠密特征，用stacking layer，或者叫做concat layer将分段的特征向量连接起来，再通过多层神经网络完成特征的组合、转换，最终用scoring layer完成CTR的计算。跟经典DNN有所不同的是，Deep crossing采用的multilayer perceptron是由残差网络组成的，这无疑得益于MSRA著名研究员何恺明提出的著名的152层ResNet。 参考文献 [1]
DeepCrossing
Miraitowa的博客
03-17 213
DeepCrossing 算法流程 我们可以将这个算法流程在广告推荐中进行举例。 Featrue&&Embedding 我们可以从算法流程图中看到，这个算法的输入为Featrue输出为优化目标。这个算法模型是一个真正将深度学习架构应用于推荐系统的模型， 完整的解决了特征工程、稀疏向量稠密化， 多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题。 这个模型涉及到的技术比较基础，在传统神经网络的基础上加入了embedding， 残差连接等思想， 且结构比较简单。 用户在点击某一广
精通推荐算法15：特征交叉之FNN（下）
谢杨易的博客
07-28 886
精通推荐算法》，限时半价，半日达t=N7T8《精通推荐算法》，限时半价，半日达https://u.jd.com/VbCJsCz。
精通推荐算法3：精排特征交叉 -- 总体架构
谢杨易的博客
01-02 1477
特征交叉可以帮助生成新的特征，提高模型准确度。利用深度学习进行特征交叉，可以解决手动特征交叉门槛高、工作任务重、无法穷举等缺点，大大提升了模型表达能力。深度学习特征交叉主要有DNN模型、异构模型和序列模型三大类。本文主要介绍特征交叉的意义、基本范式和主要难点
推荐算法之AutoRec与Deep Crossing模型
qq_38375203的博客
05-21 1103
前言 这一章节算是从传统的机器学习推荐模型转到深度学习的推荐模型中去了。在2016年， 随着微软的Deep Crossing， 谷歌的Wide&Deep以及FNN、PNN等一大批优秀的深度学习模型被提出， 推挤系统和计算广告领域全面进入了深度学习时代， 时至今日， 依然是主流。 在进入深度学习时代， 推荐模型主要有下面两个进展： 1、与传统的机器学习模型相比， 深度学习模型的表达能力更强， 能够挖掘更多数据中隐藏的模式 2、深度学习模型结构非常灵活， 能够根据业务场景和数据特点， 灵活调整模型结
Deep Crossing——经典的深度学习架构
DeepLearningJay的博客
07-31 560
Deep Crossing——经典的深度学习架构论文地址基本原理网络结构图代码实现参考文献 论文地址 基本原理 网络结构图 代码实现 参考文献
CTR模型：DeepCrossing
rosefun96的博客
09-08 8664
1. 简介 DeepCrossing是2016年提出的模型。 对于web-scale, 特征数量大，如何自动组合特征生成高阶特征是一个问题。 2. 模型 2.1 数据 在搜索广告任务中，有大量的原始特征，每个原始特征都用一个向量表示，原始特征包括： （1）用户 query：用户搜索文本； （2）广告主竞价 keyword：广告主的竞价关键词； （3）广告Title：广告的标题文本； （4）MatchType：广告主指定的关键词匹配类型。分为exact，phrase，broad，contextual. (5)
Deep Crossing模型
星辰的博客
03-06 1006
背景 微软于2016年提出了Deep Crossing模型，是深度学习架构在推荐系统中的第一次完整应用。虽然自2014年以来，就陆续有公司透露在其推荐系统中应用了深度学习模型，但直到Deep Crossing模型发布的当年，才有正式的论文分享了完整的深度学习推荐系统的技术细节。Deep Crossing模型完整地解决了从特征工程、稀疏向量稠密化、多层神经网络进行优化目标拟合#一系列深度学习在推荐系统中的应用问题，为后续的研究打下了良好的基础。 Deep Crossing模型的应用场景是微软搜索引擎Bing中
DeepCrossing模型
zhao254014的博客
08-27 794
在传统神经网络的基础上加入了embedding， 残差连接等思想， 且结构比较简单。
Deep Crossing模型——经典的深度学习架构
LitraLIN的博客
10-31 2715
1、前言 承上启下：由于AutoRec模型过于简单的网络结构会出现一些表达能力不足的问题，Deep Crossing模型完整地解决了从特征方程向量稠密化，多层神经网络进行优化目标拟合等一系列深度学习再推荐系统中的应用问题，为后续打下了良好的基础。 2、Deep Crossing的应用场景 Deep Crossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐场景。用户在搜索引擎中输入搜索词之后，搜索引擎除了会返回相关结果，还会返回与搜索词相关的广告。尽可能地增加搜索广告的点击率，准确地预测广告点击率
推荐系统算法框架
qfikh的博客
03-05 1693
在介绍矩阵分解之前，先让我们明确下推荐系统的场景以及矩阵分解的原理。对于推荐系统来说存在两大场景即评分预测（rating prediction）与Top-N推荐（item recommendation，item ranking）。 评分预测场景主要用于评价网站，比如用户给自己看过的电影评多少分（MovieLens），或者用户给自己看过的书籍评价多少分。其中矩阵分解技术主要应用于该场景。 Top...
推荐系统之Deep Crossing
hiahia28的博客
03-16 245
推荐系统之Deep Crossing前言一、Embedding&Stacking Layer二、Multiple Residual Units Layer三、Scoring Layer四、核心代码学习 前言 Deep Crossing是微软在2016年提出用于解决Bing引擎搜索广告推荐问题的模型，属于深度学习网络架构在推荐系统中的一次完成应用。对于传统的推荐算法而言，浅层的模型结构无法学习到用户与项目之间更深层次的特征关系，于是需要人工设计并组合特征，以便能解决传统推荐存在的数据稀疏以及冷启动问题
推荐算法学习笔记之DeepCrossing
clshishuaige的博客
03-16 390
DeepCrossing简介 DeepCrossing于2016年由微软提出，主要应用于Bing搜索引擎中搜索广告推荐场景，用户在搜索引擎中输入搜索词后，搜索引擎除返回相关结果，还返回搜索词相应的广告，预测广告点击率（Click Through Rate）,并以此作为排序指标，是该模型的优化目标，下图为DeepCrossing的模型结构： Layers及其各自的作用 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
推荐算法深度学习模型
09-23
推荐算法中的深度学习模型有Deep FM模型和Deep Crossing模型。Deep FM模型是一种结合了Factorization Machine（FM）模型和深度神经网络（DNN）的推荐模型。它可以同时捕捉到低阶和高阶的特征交互，从而提高推荐的准确性。而Deep Crossing模型是一种基于深度神经网络的推荐模型，它通过多层的神经网络来学习用户和物品之间的复杂关系，从而提供个性化的推荐结果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谢杨易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值