xgboost3-各类防止过拟合的参数以及调参过程，以及模型的保存和调用

最新推荐文章于 2025-03-07 12:44:50 发布

原创

最新推荐文章于 2025-03-07 12:44:50 发布 · 2.7k 阅读

13 ·

CC 4.0 BY-SA版权

在这里插入图片描述

#展示各类参数的调参过程
#目的就是测试集的效果不能更差且与训练集的距离减小，主要防止过拟合
dfull=xgb.DMatrix(X,y)#其余参数都是默认
param1={"silent":True#并非默认
       ,"obj":"reg:linear"#并非默认
       ,"subsample":1
       ,"max_depth":6
       ,"eta":0.3
       ,"gamma":0.3
       ,"lambda":1
       ,"alpha":0
       ,"colsample_bytree":1
       ,"colsample_bylevel":1
       ,"colsample_bynode":1
       ,"nfold":5}

param2={"silent":True#并非默认
       ,"obj":"reg:linear"#并非默认
       ,"subsample":1
       ,"max_depth":3
       ,"eta":0.05
       ,"gamma":20
       ,"lambda":3.5
       ,"alpha":0.2
       ,"colsample_bytree":0.4
       ,"colsample_bylevel":0.6
       ,"colsample_bynode":1
       ,"nfold":5}


param3={"silent":True#并非默认
       ,"obj":"reg:linear"#并非默认
       ,"subsample":1
       ,"max_depth":2