机器学习特征选择：传统互信息、k-nearest neighbor互信息

最新推荐文章于 2024-03-20 22:34:10 发布
最新推荐文章于 2024-03-20 22:34:10 发布
阅读量5.7k 收藏 35
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 论文研读 文章标签： 传统互信息 分箱 k最近邻
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43864473/article/details/88089862
本文介绍了机器学习中用于特征选择的互信息概念，包括传统的互信息计算方法和基于k-NN的两种互信息估计方法。传统方法通过分箱统计样本点来计算离散变量的互信息。而在Estimating Mutual Information论文中，提出了针对离散和连续数据集的k-NN方法，其中一种是基于X和Y方向最大欧式距离的规则来选择最近邻。互信息越大，表示特征与输出的相关性越强。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

  1. 传统互信息
  2. Estimating Mutual Information中的的两种基于最近邻的互信息
  3. Mutual Information between Discrete and Continuous Data Sets论文中提到的互信息

1. 传统互信息

  • 已知变量(X,Y)(X,Y)(X,Y)的联合概率密度

对于一个NNN维的双变量点对(xi,yi),i=1,...N(x_i, y_i), i = 1, . . . N(xi​,yi​),i=1,...N，假设其是由联合概率密度为μ(x,y)\mu(x,y)μ(x,y)的变量(X,Y)(X,Y)(X,Y)生成的一组独立同分布的数据，由此我们可以计算得到x,yx,yx,y各自的边缘概率密度，即，μ(x)=∫μ(x,y)d(x)\mu(x)=\int\mu(x,y)d(x)μ(x)=∫μ(x,y)d(x)，μ(y)=∫μ(x,y)d(y)\mu(y)=\int\mu(x,y)d(y)μ(y)=∫μ(x,y)d(y)。由此，我们可以根据下述公式计算得到变量(X,Y)(X,Y)(X,Y)的互信息I(X,Y)I(X,Y)I(X,Y)。
在这里插入图片描述
在解决实际问题的时候，我们通常是不知道变量(X,Y)(X,Y)(X,Y)的联合概率密度的，而且，变量XXX与变量YYY一般来说是离散的，由此，我们采用分箱(binning)的方法，来计算变量(X,Y)(X,Y)

最低0.47元/天 解锁文章

200万优质内容无限畅学
互信息与KL散度：差异与应用全解析
ZJQ的博客
05-13 288
信息论核心概念解析 互信息与KL散度作为信息论基础工具，在概率分析和机器学习中扮演着重要角色： 互信息（Mutual Information） 衡量两个随机变量的统计相关性，通过联合分布与边缘分布的乘积之比进行计算 具有对称特性，计算结果越大表明变量间关联性越强 典型应用场景：特征工程中的变量筛选、多源数据融合分析 KL散度（Kullback-Leibler Divergence） 表征两个概率分布间的非对称差异量度 基于参考分布与目标分布的概率比值构建评估指标
机器学习3：K近邻法K-Nearest-Neighbor Classifier/KNN（基于R language&Python）
绝对是谨慎提交的博客
04-21 2279
k近邻法是一种基本分类与回归问题。k近邻法的输入为实例的特征向量，对应于特征空间中的点；输出为实例的类别，可以取很多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其 k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k近邻法的三个要素是k值的选择、距离度量及分类决策规则。
K近邻互信息计算程序
10-30
K近邻互信息计算程序matlab代码,KraskovMI算法实现，可用于计算时间序列数据之间的相关性
k互近邻
JayShaun的博客
12-19 1004
定义N(p,k)N\left( {{\mathop{\rm p}\nolimits} {\rm{, k}}} \right)N(p,k) 为ppp的kkk近邻（即与目标最接近的前kkk个样本）： N(p,k)={g10，g20，⋯，gk0},∣N(p,k)∣=kN\left( {{\mathop{\rm p}\nolimits} {\rm{, k}}} \right){\rm{ = }}\left...
互信息近邻法估计
11-12
互信息近邻法估计，用于软测量建模变量的选择
在数据集上计算连续随机变量的信息熵和互信息--k-近邻估计方法
热门推荐
weixin_43992162的博客
03-31 1万+
一种无参熵估计法(non-parametric entropy estimation)可以避免划分bins来计算熵值，包括了核密度估计(kernel density estimator, KDE)和k-近邻估计(k-NN estimator)。相比之下，直方图法不够精确，而核密度估计法运算量太大，k-近邻估计成为了普遍使用的一种计算连续随机变量的熵值方式。
机器学习—有监督学习—KNN-K近邻法(k-NearestNeighbor)
柳成荫
08-12 1077
一、KNN简介 KNN（K-Nearest Neighbor） 最邻近分类算法是数据挖掘分类（classification）技术中最简单的算法之一，其指导思想是”近朱者赤，近墨者黑“，即由你的邻居来推断出你的类别。 实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则（majority...
【机器学习】k近邻（k-nearest neighbor ）算法
最新发布
专注人工智能，主攻CV
03-20 1184
k近邻（k-nearest neighbors，KNN）算法是一种基本的监督学习算法，用于分类和回归问题。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。
4.2 最邻近规则分类(K-Nearest Neighbor)KNN算法应用_files.zip
02-19
最邻近规则分类（K-Nearest Neighbor，简称KNN）是机器学习领域中最基础的算法之一，尤其在监督学习中扮演着重要角色。KNN算法应用广泛，尤其是在分类问题中，例如图像识别、文本分类等。这个压缩包文件可能包含了...
基于K-Nearest Neighbor和神经网络的糖尿病分类研究.pdf
09-26
研究采用两种机器学习算法——K-Nearest Neighbor (KNN) 和神经网络进行糖尿病分类。KNN是一种基于实例的学习方法，通过寻找最近邻的样本进行分类。神经网络则模拟人脑神经元结构，通过学习和调整权重来实现复杂任务...
k-近邻算法（kNN）
09-20
采用测量不同特征值之间的距离方法进行分类 工作原理:存在一个样本数据集合(训练样本集),并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。 　　输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征醉相思数据(最近邻)的分类标签。
通过互信息进行特征选择
11-22
综述性论文，如何使用互信息来进行特征选择。特征工程是机器学习最重要的领域之一，本文深入浅出介绍了特征选择的一个方向。
机器学习之重点汇总系列（二）——K近邻算法(k-Nearest Neighbor,kNN)
达摩院院长的博客
08-12 1635
什么是K近邻算法 引例 假设有数据集，其中前6部是训练集（有属性值和标记），我们根据训练集训练一个KNN模型，预测最后一部影片的电影类型 首先，将训练集中的所有样例画入坐标系，也将待测样例画入 然后计算待测分类的电影与所有已知分类的电影的欧式距离 接着，将这些电影按照距离升序排序，取前k个电影，假设k=3，那么我们得到的电影依次是《He’s Not Really Into Dudes》、《B...
k近邻法-理论基础
LaoChen_ZeroonE
05-18 549
k近邻法距离度量k值选择分类决策规则 k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法，给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或投票，距离越近的样本权重越大。 k近邻是“懒惰学习（lazy learning）”的代表
Mutual Information
adam_tu的专栏
09-24 2594
互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。   平均互信息量定义:     互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。 平均互信息量的物理含义
特征选择方法详解Part2-卡方检验、互信息(Mutual Information)
iizhuzhu的博客
03-22 1万+
Content1. 单变量分析1.1 卡方检验1.1.1 原理1.1.2 使用示例1.2 互信息（Mutual Information）1.2.1 原理1.2.1.1 互信息（Mutual Information）定义一定义二定义三1.2.1.2 Normalized Mutual Information1.2.1.3 Adjusted Mutual Information1.2.2 Notice...
特征选择方法
weixin_41744192的博客
05-01 1120
Feature Selection 特征选择单变量特征过滤Variance Threshold 方差选择法Pearson Correlation 皮尔森相关系数 (回归问题)Mutual Information互信息Chi-squared Statistics卡方统计量 数据预处理后，我们生成了大量的新变量（比如独热编码生成了大量仅包含0或1的变量）。但实际上，部分新生成的变量可能是多余：一方面它们本身不一定包含有用的信息，故无法提高模型性能；另一方面过这些多余变量在构建模型时会消耗大量内存和计算能力。因此
K近邻 K-Nearest Neighbors
JasonH2021的博客
05-27 3638
本文主要简单介绍了K近邻的基本概念，优缺点，应用场景，K近邻建模的python实现方法，示例和模型的参数等。
计算两个向量的互信息(Mutual Information) matlab程序
Control Everything
03-19 1万+
function [Ixy,lambda]=MutualInfo(X,Y) %% % Estimating Mutual Information with Moon et al. 1995 % between X and Y % Input parameter % X and Y : data column vectors (nL*1, nL is the record length) % % O...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值