Wilber的blog。心若有所向往，又何惧道阻且长。

主要讲解LightGBM算法的基本原理、数学推导及证明、sklearn的和原生API实现以及参数讲解。

主要讲解XGBoost的数学原理以及证明过程。

主要讲解XGBoost的基本原理以及快速的实现方法。

主要讲解梯度提升树GBDT的基本思想、参数空间、参数优化、数学求解流程。

讲解Boosting算法思想、AdaBoost算法思想、参数讲解、原理实现以及sklearn库实现的基本过程。

主要介绍超参数优化方法，包括网格搜索、随机搜索、对半搜索（Halving搜索）、贝叶斯优化算法等。

细介绍关于ID3和C4.5这两种决策树模型的建模基本思路和原理。ID3和C4.5的基本建模流程和CART树是类似的，也是根据纯度评估指标选取最佳的数据集划分方式，只是不过ID3和C4.5是以信息熵为评估指标，而数据集的离散特征划分方式也是一次展开一列，而不是寻找切点进行切分。

Bagging方法6大面试热点问题。

集成学习（Ensemble learning）是机器学习中最先进、最有效、最具研究价值的领域之一，这类方法会训练多个弱评估器（base estimators）、并将它们输出的结果以某种方式结合起来解决一个问题。

本文主要包括决策树模型：CART分类树、ID3、C4.5决策树。从原理到建模的流程。

本文介绍了三种常用的无监督聚类算法：K-Means、Mini Batch K-Means和DBSCAN。K-Means通过迭代计算质心对数据进行分群，目标是使组内误差平方和最小化。Mini Batch K-Means是K-Means的优化版本，适用于大数据集。DBSCAN则基于密度进行聚类，无需预先指定簇数。文章详细阐述了K-Means的原理、计算步骤和数学意义，包括质心计算、迭代停止条件等。聚类算法广泛应用于客户分群、特征工程等领域，相比有监督学习更简单但应用场景有限。

主要讲解逻辑回归的完整构建示例、网格搜索方法、多分类指标macro与weighted过程、用网格搜索构建一个完整的机器学习流过程。

主要讲解sklearn的使用以及常见的模块：逻辑回归、多元线性回归、正则化等。

本文主要围绕回归类算法展开。

文中引入了一种名为 Token Embedding-Aligned Graph Language Model (TEA-GLM)（Token 嵌入对齐图语言模型） 的新颖框架，该框架利用 LLM 作为跨数据集和跨任务用于图机器学习的零样本学习器。具体来说，该方法预训练 GNN，将GNN得到的表示与 LLM 的token嵌入对齐。然后，训练一个线性投影器，将 GNN 的表示转换为固定数量的 graph token 嵌入，而无需调整 LLM。