互信息

最新推荐文章于 2024-10-17 00:35:10 发布
原创 最新推荐文章于 2024-10-17 00:35:10 发布 · 4.8k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#互信息 #信息熵 #相关性

互信息是一种衡量两个变量之间关联强度的度量，它基于信息熵的概念。当X,Y完全相关时，互信息达到最大，反之，如果X,Y独立，则互信息为0。互信息不受变量之间线性关系的限制，因此应用更广泛。信息熵表示的是不确定性的度量，而信息量则是消除不确定性所需的信息。在物理意义上，熵描述的是系统的无序程度，封闭系统中熵通常趋向于最大值。" 122690992,10822128,全球与中国静态电能表市场分析与未来展望,"['大数据', '市场分析', '电力行业', '能源管理', '智能电网']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 相关性的描述问题

独立性说明两者之间无关系，相关性可以说明两者之间有关系，但这两者之间关系强弱如何度量？我们可以有线性相关系数（皮尔逊积矩相关系数)、卡方检验（此处不谈）和互信息这几个指标来进行量化。

使用线性相关系数的前提自变量与因变量是线性关系，取值范围为[-1,1]，负数表示负相关:

ρx,y=cov(X,Y)σX,σY=E[(X−uX)(Y−uY)]σX,σYρx,y=cov(X,Y)σX,σY=E[(X−uX)(Y−uY)]σX,σY

即协方差除以标准差的积。

而互信息是基于信息熵，适用面更广。

2. 信息熵与互信息

2.1 信息熵

信息熵表示要把一个事物弄清楚所需要的信息量的多少。所以，严格意义上来说，熵是表示不确定程度的度量，而非信息量的度量。意思是，熵小的，预测起来更容易。举个例子：一个汉字信息熵大约为8比特，英文的信息熵为4比特，意思是一个汉字所要表达意思的不确定度要大于英文，这说明了英文确实在很多方面表达精确度胜于汉字，因为更容易理解、预测它的意思。相应的，汉字存储压缩度更高，对应的英文原著翻译为中文版往往变薄了许多。

香农指出了信息熵必须满足费复兴，单调性，可加性这三种性质，并给出满足这三条性质的一种定义（当然也是目前唯一大家都用的定义）：

H(X)=−∫XP(X)log(P(X))H(X)=−∫XP(X)log(P(X))

P(X)是X的出现概率，即X分布越离散，X的状态数越多，信息熵越大。

#### 2.2 互信息：
互信息度量知道X,Y这两个变量其中一个，对另一个不确定度减少的程度，其定义为

I(X,Y)=∫x∫yP(X,Y)logP(X
最低0.47元/天 解锁文章

200万优质内容无限畅学
信息时代的必修课：寻找和利用信息的强相关性（互信息可以帮你判断两件事到底是不是相关）
专注于计算机研发知识和资讯分享
03-17 957
条件Y1所带来的信息增益：H（X）-H（X|Y1），写作IG（Y1）。具体到这个特殊的情况，IG就是X和Y之间的互信息，这个值越大，说明消除的不确定性越大，X和Y越具有相关性。信息Y2所带来的信息增益就是在原来Y1基础上的增加，写成IG（Y2）。假设后面还有N种不同的信息，从数学上看，它们带来的信息增益，每一个都是在原来所有信息基础上递减的。通常人们总是率先发现和所要解决问题互信息最大的信息，也就是增益最大的信息，因此通常来讲，越往后发现的信息，带来的增益越小。
互信息：揭秘变量间的隐藏关联
最新发布
ZJQ的博客
05-13 188
互信息（Mutual Information）是衡量两个随机变量之间依赖关系的指标，通过比较联合概率与边缘概率的差异来量化变量间的信息量。其公式为 $I(X;Y)=\sum_{x\in X}\sum_{y\in Y}P(x,y)\log\frac{P(x,y)}{P(x)P(y)}$。若变量独立，互信息为0；若高度相关，则互信息值较大。对数运算在公式中起到量化信息增益的作用，选择不同的对数底数可改变信息量的单位。互信息在机器学习、信息检索和自然语言处理等领域有广泛应用，如特征选择、文档检索和词语共现分析等。
Mutual Information
adam_tu的专栏
09-24 2594
互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。   平均互信息量定义:     互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。 平均互信息量的物理含义
使用互信息来衡量两个单词间的相关程度
qq_40438165的博客
07-17 3082
\quad两个随机变量X,YX,YX,Y的互信息为I(X;Y)=∑x∈X,y∈Yp(x,y)logp(x,y)p(x)p(y)I(X;Y)=\sum_{x\in X, y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}I(X;Y)=x∈X,y∈Y∑​p(x,y)logp(x)p(y)p(x,y)​。互信息可以衡量两个变量之间的相似程度。如果我们要衡量某个数据集中任意两个单词x,yx,yx,y的关联程度，可以这样计算I(x;y)=p(x,y)logp(x,y)p(x)p(y)I(x
最大互信息系数-MIC
San_pi_sama的博客
03-23 1154
不确定性越大，熵越大。
Maximal Information Coefficient (MIC)最大互信息系数详解与实现
热门推荐
FontTian的博客
12-23 4万+
MIC MIC 即：Maximal Information Coefficient 最大互信息系数。 使用MIC来衡量两个基因之间的关联程度，线性或非线性关系，相较于Mutual Information（MI）互信息而言有更高的准确度。MIC是一种优秀的数据关联性的计算方式。本篇文章将会详细介绍MIC的算法原理，优缺点以及Python的具体实现方式，并给出一个可视化方案。 互信息？ 互信息(Mut...
不相关性、独立性以及互信息（Mutual Information, MI）和相关系数之间的关系
qq_51011530的博客
10-17 1604
相关系数只反映线性关系，因此，相关系数为 0 并不能确保两个变量是独立的——它们可能通过复杂的非线性关系相互影响。如果两个变量是独立的，它们的互信息为 0，但如果它们有任何形式的依赖关系（无论是线性或非线性），互信息就会是正数。换句话说，如果两个变量不相关，它们之间的线性依赖关系不存在，但这并不意味着它们之间没有其他形式的关系。因此，互信息的优势在于它不仅可以检测线性关系，还能揭示任何形式的依赖关系，这使得它在评估随机变量的独立性时比相关系数更加有力。，它们的互信息为 0。，无论是线性的还是非线性的。
“互信息”（Mutual Information）是什么？有什么用？
Drug discovery
09-06 772
在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）是变量间相互依赖性的量度，。
深入理解最大互信息系数
zuoan1993的博客
11-07 408
互信息Mutual Information（MI）是用来评价一个事件的出现对于另一个事件的出现所贡献的信息量。在先前聚类算法的评估指标中有过简单的介绍。抛开公式，通俗的理解：原来我对X有些不确定(不确定性为H(X))，告诉我Y后我对X不确定性变为H(X|Y)，这个不确定性的减少量就是X,Y之间的互信息I(X;
信道容量即是输入与输出的互信息量的最大值
博客
01-15 2195
根据极化码的原始论文中提出的信道容量为 它是一种信道速率的丈量,标志着信道速率的上限，，即信道的输入与输出的互信息量的最大值； 所谓的互信息定义是： 设两个随机变量的联合分布为，边缘分布分别为，互信息 是联合分布 与边缘分布 的相对熵，即 ...
NLP之【点互信息PMI】——衡量两变量之间的相关性
Yale-曼陀罗
09-27 2761
M = M / expected # Silence distracting warnings about log(0): with np . errstate(divide = 'ignore') : # np.errstate()用于浮点错误处理的上下文管理器。M = np . log(M) M [ np . isinf(M) ] = 0.0 # log(0)=0 # np.isinf()用于按元素测试正无穷或负无穷 if positive : M [ M < 0 ] = 0.0 return M。
机器学习-特征中的相关性及相关系数、卡方检验、互信息
数据掘金
08-06 3万+
过滤式方法先按照某种规则对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关，这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。相关系数法、卡方检验法和互信息法是进行特征选择时常用的几种过滤式方法。 变量之间的关系 变量之间的关系可分为两类： （1）存在完全确定的关系——称为函数关系，即Y=2X+3； （2）不存在完全确定的关系——虽然变量间有着十分密切的关系，但是不能由一个或多各变量值精确地求出另一个变量的值，称为相关关系，存在相关关系...
最大化互信息
Hungryof的专栏
08-24 3205
总说 因为，一般做分类的，交叉熵很常见吧，类似KL散度或者交叉熵，本质上就是利用“编码长度”作文章。比如KL散度就是，不完美的概率qqq去编码完美信息条件下的概率ppp，从而多需要的编码长度。这种都是利用直接预测的某件事情的概率去做的。 比如，我需要预测这张图是不是猫，预测的猫的概率为 p(x)p(x)p(x)，对吧，就是表示独立事件的本身。 某些情况下，有两个事件，一个事件的发生可以去预测另外一个事件的概率，就是条件概率。互信息衡量两个变量的依赖程度，可以理解为给定其中一个变量，可以多大程度的减少另一个变
机器学习基础 | 互相关系数和互信息异同探讨
fangsfdavid的博客
07-12 3176
机器学习基础 | 互相关系数和互信息异同探讨 主要阐述互相关系数和互信息的区别和联系，先说结论： 对于高斯分布，两者是等价的，且存在转换公式，当XXX与YYY互相关系数为零时，两者相互独立，且互信息为零；当互相关系数为±1\pm1±1时，两者完全相关且互信息为无穷大，转换公式： I(X,Y)=−12log⁡(1−r2) I(X,Y)=-\frac{1}{2}\log(1-r^2) I(X,Y)=−21​log(1−r2) 一般情形，互相关系数只是反应了两者之间的线性相关关系，而互信息则直接从概率分布
机器学习笔记 - 互信息Mutual Information
学以致用 知行合一
07-04 4361
遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。 我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。 互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。 互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。
概率论 | 联合熵、条件熵、互信息之间的表示、关系及大小
日拱一卒，功不唐捐
10-20 2241
联合熵、条件熵、互信息之间的关系及大小
基于互信息最大化的无监督学习图像特征表示------P02114198田园，P02114018刘颖，P02114050刘欣让
lily_ahu的博客
07-19 567
他们认为，这是学习更好的和更条理的表示的一个重要方向，有利于未来的人工智能研究。全局互信息是指两个随机变量之间的互信息，它是一个大于等于0的实数，且满足以下条件：当两个随机变量独立时，它们的全局互信息为1;通俗来说可以理解为两个变量交叠的信息，对于两个随机变量，互信息衡量了一个随机变量平均传达了多少关于另一个的信息。，相当于得到了一个更大的 feature map，然后对这个 feature map 用多个1x1的卷积层来作为局部互信息的估算网络 Tlocal。的随机性,成为一个确定的量。
互信息（Mutual Information，MI）的原理和计算
GuFrank的博客
07-12 1792
互信息（Mutual Information，MI）是信息论中的一个度量，用于量化两个随机变量之间的依赖关系。互信息度量了一个随机变量包含了关于另一个随机变量的信息量。它可以用来识别和量化两个信号之间的非线性相关性。互信息可以揭示两个信号共享的信息量，是信息论中的一个重要概念。以下是一个计算互信息的示例，假设我们有两个离散化的信号 X 和 Y： 解释 通过互信息，可以定量地评估两个信号之间的信息共享和依赖关系，这对于分析复杂系统中的变量关系非常有用。互信息（Mutual Information, MI）在
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值