机器学习——线性回归

最新推荐文章于 2025-06-26 23:29:23 发布

原创最新推荐文章于 2025-06-26 23:29:23 发布 · 2.2k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #深度学习 #人工智能 #线性回归

机器学习专栏收录该内容

9 篇文章

订阅专栏

这篇博客介绍了机器学习中的线性回归模型，包括简单线性回归和多元线性回归，并提供了使用正规方程求解的实现。同时，文章讨论了衡量线性回归模型性能的两个指标：均方误差(MSE)和决定系数(R²)。最后，通过scikit-learn库展示了波士顿房价预测的线性回归应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习——线性回归

educoder平台练习题
如果博客中图片加载失败可点击链接跳转至实训详情
https://www.educoder.net/shixuns/4awq25iv/challenges

1.简单线性回归与多元线性回归

在这里插入图片描述

2.线性回归的正规方程解

在这里插入图片描述

代码

#encoding=utf8 
import numpy as np
def mse_score(y_predict,y_test):
    '''
    input:y_predict(ndarray):预测值
          y_test(ndarray):真实值
    ouput:mse(float):mse损失函数值
    '''
    #********* Begin *********#
    mse = np.mean((y_predict - y_test)*(y_predict - y_test))
    #********* End *********#
    return mse
class LinearRegression :
    def __init__(self):
        '''初始化线性回归模型'''
        self.theta = None
    def fit_normal(self,train_data,train_label):
        '''
        input:train_data(ndarray):训练样本
              train_label(ndarray):训练标签
        '''
        #********* Begin *********#
        x = np.hstack([np.ones((len(train_data),1)),train_data])
        self.theta =np.linalg.inv(x.T.dot(x)).dot(x.T).dot(train_label)
        #********* End *********#
        return self.theta
    def predict(self,test_data):
        '''
        input:test_data(ndarray):测试样本
        '''
        #********* Begin *********#
        x = np.hstack([np.ones((len(test_data),1)),test_data])
        return x.dot(self.theta)
        #********* End *********#

3.衡量线性回归的性能指标

在这里插入图片描述

代码

#encoding=utf8 
import numpy as np
#mse
def mse_score(y_predict,y_test):
    mse = np.mean((y_predict-y_test)**2)
    return mse
#r2
def r2_score(y_predict,y_test):
    '''
    input:y_predict(ndarray):预测值
          y_test(ndarray):真实值
    output:r2(float):r2值
    '''
    #********* Begin *********#
    r2 = 1 - mse_score(y_predict,y_test)/np.var(y_test)
    #********* End *********#
    return r2
class LinearRegression :
    def __init__(self):
        '''初始化线性回归模型'''
        self.theta = None
    def fit_normal(self,train_data,train_label):
        '''
        input:train_data(ndarray):训练样本
              train_label(ndarray):训练标签
        '''
        #********* Begin *********#
        x = np.hstack([np.ones((len(train_data),1)),train_data])
        self.theta =np.linalg.inv(x.T.dot(x)).dot(x.T).dot(train_label)
        #********* End *********#
        return self
    def predict(self,test_data):
        '''
        input:test_data(ndarray):测试样本
        '''
        #********* Begin *********#
        x = np.hstack([np.ones((len(test_data),1)),test_data])
        return x.dot(self.theta)
        #********* End *********#

4.scikit-learn线性回归实践 - 波斯顿房价预测

在这里插入图片描述

代码

#encoding=utf8
#********* Begin *********#
import pandas as pd
from sklearn.linear_model import LinearRegression
#获取训练数据
train_data = pd.read_csv('./step3/train_data.csv')
#获取训练标签
train_label = pd.read_csv('./step3/train_label.csv')
train_label = train_label['target']
#获取测试数据
test_data = pd.read_csv('./step3/test_data.csv')
#使用LinearRegression
lr = LinearRegression()
#训练模型
lr.fit(train_data,train_label)
#获取预测标签
predict = lr.predict(test_data)
#将预测标签写入csv
df = pd.DataFrame({'result':predict}) 
df.to_csv('./step3/result.csv', index=False)
#********* End *********#