（读论文）推荐系统之ctr预估-LR与GBDT+LR模型解析

最新推荐文章于 2024-07-06 22:15:29 发布
最新推荐文章于 2024-07-06 22:15:29 发布
阅读量1.1k 收藏 8
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： 推荐系统 计算广告 深度学习 机器学习 ctr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41145281/article/details/109737149

本人才疏学浅，不足之处欢迎大家指出和交流。

本系列接下来要分享的文章是关于线性模型的，在15年后深度模型在ctr预估领域百花齐放之时，仍觉得传统的LR模型有着基石的作用，于是有了今天的分享。话不多说，今天会介绍的是经典的LR模型及Facebook在2014年提出的GBDT+LR（重点）。当时深度学习几乎还没有应用到到计算广告/推荐系统领域，Facebook提出利用GBDT的叶节点编号作为非线性特征的表示，或者说是组合特征的一种方式，可以自动实现特征工程，下面我们一起来看看吧。

两篇原文：

  1. Predicting Clicks: Estimating the Click-Through Rate for New Ads

  2. Practical Lessons from Predicting Clicks on Ads at Facebook

1、背景


这里是微软研究院在当时提出LR模型时的商业背景：搜索引擎主要靠商业广告收入，在广告位上面打广告，用户点击，之后广告商付费。在通用搜索引擎，通常广告位置是在搜索结果之前，或者在搜索结果右边，由此为查询选择正确的广告及其展示顺序会极大地影响用户看到并点击每个广告的概率。此排名对搜索引擎从广告中获得的收入产生了很大影响。此外，向用户展示他们喜欢点击的广告也会提高用户满意度。出于这些原因，能够准确估计系统中广告的点击率非常重要(朴素的想法即是放用户可能点击的广告，并且放每次点击广告商付费多的广告)。

于是就归结到点击率预估的模型选择和特征工程问题。

2、LR Model

2.1 LR的数学基础

为何在2012年之前LR模型占据了计算广告领域的极大部分市场呢，我们可以从数学角度稍作分析：
逻辑回归（logistics regression）作为广义线性模型的一种，它的假设是因变量y服

最低0.47元/天 解锁文章

200万优质内容无限畅学
CTR预估中GBDT与LR融合方案
玉心sober
08-27 11万+
1、 背景 CTR预估（Click-Through Rate Prediction）是互联网计算广告中的关键环节，预估准确性直接影响公司广告收入。CTR预估中用的最多的模型是LR（Logistic Regression）[1]，LR是广义线性模型，与传统线性模型相比，LR使用了Logit变换将函数值映射到0~1区间[2]，映射后的函数值就是CTR的预估值。LR这种线性模型很容易并行化，处理上亿条
推荐系统 | 基础推荐模型 | GBDT+LR模型 | Python实现
liujiesxs的博客
09-13 3066
GBDT+LR模型 | Python实现
广告点击率 CTR预估中GBDT与LR融合方案
weixin_34345560的博客
01-28 730
http://www.cbdio.com/BigData/2015-08/27/content_3750170.htm 1、背景 CTR预估，广告点击率（Click-Through Rate Prediction）是互联网计算广告中的关键环节，预估准确性直接影响公司广告收入。CTR预估中用的最多的模型是LR（Logistic Regression）[1]，LR是广义线性模型，与传统线性模型相比...
GBDT+LR论文翻译
weixin_44852067的博客
04-13 1095
在线广告允许广告客户仅针对可衡量的用户响应进行出价和付费，例如广告点击。因此，点击预测系统是大多数在线广告系统的核心。伴随每日活跃用户超过7.5亿活跃广告客户超过100万的情况，预测Facebook广告点击是一项具有挑战性的机器学习任务。在本文中，我们介绍了一个将决策树与逻辑回归相结合的模型，其性能比这两种方法中的任何一种都高出 3% 以上，这一改进对整体系统性能产生了重大影响。然后，我们将探讨一些基本参数如何影响我们系统的最终预测性能。最重要的是拥有正确的特征。
推荐系统之GBDT+LR
张先生－您好的博客
03-12 528
GBDT+LR系列（组合高阶特征） 模型示意图： 通过GBDT生成的特征，可直接作为LR的特征使用，省去人工处理分析特征的环节，LR的输入特征完全依赖于通过GBDT得到的特征通过GBDT生成的特征，可直接作为LR的特征使用，省去人工处理分析特征的环节，LR的输入特征完全依赖于通过GBDT得到的特征。 思考： 1）为什么要使用集成的决策树模型，而不是单棵的决策树模型：一棵树的表达能力很弱，不足以表达多个有区分性的特征组合，多棵树的表达能力更强一些，可以更好的发现有效的特征和特征组合。　　 2）为什么建树采用
GBDT+LR
呵呵
06-22 594
利用GBDT对特征进行变换https://wenku.baidu.com/view/7319fc2c960590c69ec376c0.htmlhttps://blog.csdn.net/shine19930820/article/details/71713680/http://scikit-learn.org/stable/auto_examples/ensemble/plot_feature_t...
（读论文）推荐系统之CTR预估-MLR算法模型
qq_41145281的博客
11-17 681
本人才疏学浅，不足之处欢迎大家指出和交流。 今天继续带来传统模型之MLR算法模型，这是一篇来自阿里盖坤团队的方案（LS-PLM），发表于2017年，但实际在2012年就已经提出并应用于实际业务中，当时主流仍然是我们上一篇提到过的的LR模型，而本文作者创新性地提出了MLR(mixed logistic regression, 混合逻辑斯特回归)算法，引领了广告领域CTR预估算法的全新升级。总的来说，MLR算法创新地提出并实现了直接在原始空间学习特征之间的非线性关系，基于数据自动发掘可推广的模式，相比于人工来说
2014年探索：GBDT+LR组合模型，自动化特征工程与端到端训练实践
最新发布
xziyuan的博客
07-06 713
FFM模型采用引入特征域的方式增强了模型的特征交叉能力，但无论如何, FFM只能做二阶的特征交叉，如果继续提高特征交叉的维度，会不可避免地产生 组合爆炸和计算复杂度过高的问题。那么，有没有其他方法可以有效地处理高维 特征组合和筛选的问题呢？2014年，Facebook提出了基于GBDT+LR组合模型 的解决方案。GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。
浅析GBDT+LR
Xianming的专栏
04-12 2133
1.前言 最近在做的项目中，一直用到了GBDT+LR算法模型来做二分类，好好梳理了下。下面介绍下这个算法。先来解答下面三个问题。 GBDT+LR模型是什么：是一种具有stacking思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于Facebook 2014年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 GBDT+LR模型常用在哪：GBDT+LR 使用最广泛的场景是CTR广告点击率预估，即预测当给用户推送的广告
GBDT原始论文
04-23
最早提出GBDT思想的论文，很多GBDT的原理在里面都已经系统性地进行了阐述，比看博客要更系统
推荐系统中的排序技术
weixin_34174422的博客
03-14 1370
在工业应用中，推荐系统通常可分为两部分，召回和排序。 召回阶段对应的是之前几篇文章所讲的各种推荐算法，比如据资料所载，Spotify至少使用了三种算法来生成其广受赞誉的Discover Weekly歌单，包括： 矩阵分解来学习集体智慧； NLP处理音乐评论文章与报道； 对音频使用卷积神经网络进行分析。 这些算法各有特点，音频分析显然可以用于解决冷启动问题，NLP处理音乐评论更是可以学得专业人士...
排序层-传统模型-2014：GBDT+LR模型【“首次”实现特征工程自动化，实现端到端训练】【①用GBDT构建特征工程；②利用LR预估CTR；这2步骤是独立训练的】
u013250861的博客
10-31 1080
GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。协同过滤和矩阵分解存在的劣势就是仅利用了用户与物品相互行为信息进行推荐，忽视了用户自身特征，物品自身特征以及上下文信息等，导致生成的结果往往会比较片面。而这次介绍的这个模型是2014年由Facebook提出的GBDT+LR模型，该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做LR模型的输入，来产生最后的预测结果，该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面
【推荐算法 学习与复现】-- 逻辑回归算法族 -- LR
Big_Huang的博客
04-16 1269
协同过滤仅仅使用有限的用户行为信息，逻辑回归算法模型大多引入用户行为、用户特征、物品特征和上下文特征等，从CF逐步过渡到综合不同特征的机器学习模型。 （1）逻辑回归模型 将用户特征（年龄、性别等）、用户行为（收藏、浏览等）、物品特征（属性、描述等）和上下文特征（当前时间、地点等）转化成数值型特征向量；以点击率为优化目标；利用已有数据进行训练学习模型参数；利用学习完成的模型进行推理预测用户点击率。 代码编写原理参考大多参照《深度学习推荐系统》书籍内容，原理见后面附...
广告点击率(CTR)预测经典模型 GBDT + LR 理解与实践（附数据 + 代码）
VariableX的博客
07-16 7058
CTR预估早期使用最多的方案是逻辑回归(LR)，LR 性能非常高，但是其效果十分依赖于大量的特征工程。但是手动构造许多有用特征费时费力，因此需要有更自动化的方法来发现有效特征并构造组合特征。 2004 年Facebook 在论文 Practical Lessons from Predicting Clicks on Ads at Facebook 中提出的 GBDT + LR 模型给出了一个可行的解决方案。 GBDT + LR 模型 基本思想 GBDT 基于集成学习中的boosting思想，每次迭代都在减少
GBDT+LR算法入门理解
TURING.DT
06-04 6315
CTR估计也就是广告点击率预估，计算广告训练与平滑思想说明了是用LR算法对于预测的有效性。LR（Logistic Regression）是广义线性模型，与传统线性模型相比，LR通过Logit变换将函数值映射到0~1区间，映射后的函数就是CTR的预估值。LR模型十分适合并行化，因此对于大数据的训练十分有效。但是对于线性模型而言，学习能力是有限的，因此需要大量的特征工程预先分析出有效的特征或者是特征组...
2017.02.20回顾 gbdt+lr
strwolf的专栏
02-21 2902
1、重跑了镇江的部分客户，看了下通过率，信用模型就是信用模型，很难防住欺诈 2、修改了个小BUG 3、下午研究了gbdt+lr的模型，读了facebook的论文3.1的章节，这个章节是论文的核心部分，讲了是怎样通过GBDT把实值特征变量转换成bool特征变量，每一个叶节点就是一条rule，也就是一个特征，然后怎么去选取这些高阶特征论文没有细说了，而是给出了gbdt+lr的对于NE的提升，相对G
GDBT
anyi6536的博客
02-02 114
理论知识： 第四范式自主研发算法GBDT(Gradient Boosting Decision Tree) GBDT是一种基分类器为决策树的集成学习方法。决策树是一种常见的机器学习算法，GBDT中使用到的是回归树，如下图所示，回归树包含一个根结点、若干个内部结点和若干个叶子结点，每个叶子结点对应于一个实数值的预测结果，其他每个结点对应于一个特征判断，根结点包含所有样本，每个结点包含的...
gdbt
TYtrack的博客
04-07 721
一、GBDT/GBRT      1. GBDT简介      GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。      树模型也分为决策树和回归树      决策树常用来分类问题，回归树常用来预测问题。            1. 决策树常用于分类标签值，比如用户性别、网页是否是垃圾页面、用户是不是作弊；         ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值