NT的博客

ps：训练模型时xgb的GPU不支持了，报系统错误。一顿神操作，nvidia-smi突然不能用了，（手动狗头）查看原因。。。尼玛有两个版本nvidia-driver互相冲突，不知道为嘛它自己就给更新了嘛。。驱动报废，GPU也用不了，模型训练CPU不给力，心塞。那就驱动卸载，卸不干净，新的也装不上，凉凉。。在我考虑把GPU环境弄进docker里怎么操作的时候发现神预言blog，完美解决我的问题。奉上链接：https://blog.csdn.net/physuleo/article/details/9749

lightgbmpip install lightgbm --install-option=–gpu新增传入参数： ‘device’ : ‘gpu’, ‘gpu_platform_id’:0,  ‘gpu_device_id’:0xgboost：pypi.org downloadpip install xgboost.whl新增传入参数： ‘gpu_id’:0,  ‘tree_method’:‘gpu_hist’...

CatBoost是一种基于对称决策树（oblivious trees）为基学习器实现的参数较少、支持类别型变量和高准确性的GBDT框架，主要解决的痛点是高效合理地处理类别型特征，这一点从它的名字中可以看出来，CatBoost是由Categorical和Boosting组成。此外，CatBoost还解决了梯度偏差（Gradient Bias）以及预测偏移（Prediction shift）的问题，从而减少过拟合的发生，进而提高算法的准确性和泛化能力。与XGBoost、LightGBM相比，CatBoost的

参考：https://www.freesion.com/article/76441004344/#LightGBM__sklearn__329https://blog.csdn.net/qq_39777550/article/details/109277937LightGBM的优点lightgbm是xgboost的加强升级版.LightGBM=XGBoost+Histogram+GOSS+EFB其中，Histogram算法是直方图算法，作用:减少后选分类点的算法GOSS是基于梯度的单边采样算法

class XGBClassifier(XGBModel, XGBClassifierBase):class XGBRegressor(XGBModel, XGBRegressorBase):class XGBModel(XGBModelBase):    # pylint: disable=too-many-arguments, too-many-instance-attributes, missing-docstring    def init(self,

CUDA 卸载没有 uninstall卸载办法# 用 runfile 方式安装的删除方法：sudo /usr/local/cuda-8.0/bin/uninstall_cuda_8.0.pl# 用 package manager 方式安装的删除方法：sudo apt-get --purge remove cuda-8.0sudo apt autoremovesudo apt-get autoclean# cudnn文件和samples残留在 /usr/local/cuda-8.0/，删除

XGB + hyperopt 优化参数# 初始化空间space = { "max_depth": hp.choice("max_depth", [4, 5, 6, 7, 8, 9, 10]), "gamma": hp.uniform("gamma", 1, 9), "reg_alpha": hp.quniform('reg_alpha', 40, 180, 1), "reg_lambda": hp.uniform("reg_lambda", 0, 1), "sub

FM & FFM算法解读与实践在推荐系统和计算广告业务中，点击率CTR（click-through rate）和转化率CVR（conversion rate）是衡量流量转化的两个关键指标。准确的估计CTR、CVR对于提高流量的价值，增加广告及电商收入有重要的指导作用。业界常用的方法有人工特征工程 + LR（Logistic Regression）、GBDT（Gradient Boosting Decision Tree） + LR、FM模型。在这些模型中，FM近年来表现突出。因子分解机（Fact

AUC计算公式推导基本公式推算基本排名的公式推算2.详解如何计算AUC？计算AUC时，推荐2个方法。方法一：在有M个正样本,N个负样本的数据集里。一共有MN对样本（一对样本即，一个正样本与一个负样本）。统计这MN对样本里，正样本的预测概率大于负样本的预测概率的个数。，其中， 这样说可能有点抽象，我举一个例子便能够明白。IDlabelproA00.1B00.4C10.35D10.8假设有4条样本。2个正样本，2个负样本，那么

机器学习数学基础：随机事件与随机变量所谓机器学习和深度学习， 背后的逻辑都是数学， 所以数学基础在这个领域非常关键， 而统计学又是重中之重， 机器学习从某种意义上来说就是一种统计学习。这次借着在Datawhale组织的概率统计专题学习的机会再重新温习一遍数学基础，非常感谢组织的这次学习机会。这一版块是整理概率统计的相关内容， 具体知识点参考了Datawhale的开源教程概率统计， 这次又是站在了大佬的肩膀上前行， 同时对其中的重点知识进行整理和补充， 然后进行了必要的代码实现。今天是概率统计基础的第一

机器学习数学基础：常见分布与假设检验所谓机器学习和深度学习， 背后的逻辑都是数学， 所以数学基础在这个领域非常关键， 而统计学又是重中之重， 机器学习从某种意义上来说就是一种统计学习。这次是学习概率统计的第三篇文章， 基于前两篇文章进行展开。在第一篇文章的概率论基础学习了离散型随机变量和连续型随机变量及其分布，本篇将继续会学习七种机器学习领域中常见的数据分布。而这篇文章的第二部分假设检验， 属于第二篇数理统计的内容， 假设检验是统计推断中的一类重要问题，在总体的分布函数完全未知或只知其形式，不知其参数

所谓机器学习和深度学习， 背后的逻辑都是数学， 所以数学基础在这个领域非常关键， 而统计学又是重中之重， 机器学习从某种意义上来说就是一种统计学习。今天是概率统计基础的第二篇文章， 基于第一篇随机变量与随机事件进行整理， 首先理一理这里面的逻辑，第一篇的内容蕴涵了大部分概率论的知识(除了大数定律和中心极限定理这种理论性的支持, 后期有机会会补上)。而今天的这篇内容是在概率论的基础上往前一步， 属于数理统计的内容。概率论中， 我们研究随机现象， 随机变量， 但是我们是假设它们的分布已知， 比如已知某一