45、机器学习模型的深入解析与实践

机器学习模型的深入解析与实践

在机器学习领域，多种模型各有特点和应用场景。下面将详细介绍逻辑回归、支持向量机（SVM）、神经网络以及概率图模型的相关知识和实践。

逻辑回归

逻辑回归是一种常用的分类算法，下面从不同编码方式和图形化视角进行介绍。
- 零一编码的逻辑回归
- 模型与损失函数 ：预测对数几率的模型与线性回归模型类似，但损失函数不同，使用的是逻辑损失（logistic loss），也称为对数损失（log-loss）或交叉熵损失（cross-entropy loss）。单个预测的损失公式为：$log_loss = -p_{actual} log(p_{pred}) - (1 - p_{actual}) log(1 - p_{pred})$。
- 代码实现 ：

# for logistic regression
def logreg_model(weights, ftrs):
    return rdot(weights, ftrs)
def logreg_loss_01(predicted, actual):
    # sum(-actual log(predicted) - (1-actual) log(1-predicted))
    # for 0/1 target works out to
    return np.sum(- predicted * actual + np.log(1+np.exp(predicted)))