基于深度学习立体匹配中的‘Cost Volume‘

最新推荐文章于 2024-07-27 21:03:41 发布
最新推荐文章于 2024-07-27 21:03:41 发布
阅读量4.7k 收藏 25
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 立体匹配 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41405284/article/details/109301434
本文整理了关于深度学习立体匹配中的Cost Volume相关资料，包括多个cost volume的介绍及《Cascade Cost Volume》和《Pyramid Stereo Matching Network》两篇文献，并通过PSMNet实例展示左右特征图拼接成cost volume的过程，解释了为何cost volume需要shift操作以形成D维度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 最近太忙，我把参考资料和相关文献给大家整理一下，以及代码演示，print出来让大家看懂。一起进步！
    cost volume1
    cost volume2
    cost volume3
    cost volume4
    cost volume 5

  • 《Cascade Cost Volume for High-Resolution Multi-View Stereo
    and Stereo Matching》
    在这里插入图片描述
    在这里插入图片描述

  • 《Pyramid Stereo Matching Network》
    在这里插入图片描述

  • 我把PSMNet中 左右特征图的Tesnsor和最后合并的cost volume的size 都打印出来方便大家看，这里PSMNet的处理方式就是按列拼接。

load PSMNet
Number of model parameters: 5224768 
CNN-out torch.Size([1, 128, 96, 312])
output_branch1-before torch.
最低0.47元/天 解锁文章

200万优质内容无限畅学
什么是cost-volume ？（代价体）
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
11-05 2482
cost-volume在计算机视觉中特指计算机视觉中的立体匹配stereo matching问题中的一种左右视差搜索空间。普遍来说，Cost volume是在双目匹配中用于衡量左右视图的相似性的一个 4D tensor（batch为1），也被用于光流估计中。我们以difference的方式为例进行介绍。输入左右视图的特征图维度为B C H W。首先，对D（max disparity）维度进行遍历，cost volume(:, :, i, :, i:)可以理解为视差为i时，左右视图的相似度。
立体匹配Stereo Matching_Semi-Global Matching之代价聚合Cost Aggregation_Cost Volume
科研学习笔记！
11-19 3344
备注：ground truth 关键词解析 ground truth就是参考标准，一般用来做误差量化。 1>> 比方说要根据历史数据预测某一时间的温度，ground truth就是那个时间的真实温度。error就是(predicted temperature - real temperature)。 2>> 在全监督学习中，数据是有标签（label）的的，以(x, t...
双目立体视觉中基于深度学习的Cost Volume浅析（difference方式）
huarzail的专栏
11-29 2371
深入了解双目立体视觉中基于深度学习的Cost Volume构建方式，对于Stereo Match研究具有重要意义。
双目深度算法——基于Cost Volume的方法（GC-Net / PSM-Net / GA-Net）
weixin_44580210的博客
06-11 7732
本篇博客可以主要是义GC-Net为例，解释什么是Cost Volume以及为什么要用3D卷积来进行推理。
代价体积（Cost Volume）
liruikai332的博客
07-27 1629
代价体积是一个三维张量，其中每个元素表示某个像素在不同深度假设下的匹配代价。这个代价通常反映了参考图像中的像素与源图像中对应像素的匹配程度。图像宽度（Width）图像高度（Height）深度层数。
光流估计中cost volume详解
longshaonihaoa的博客
05-12 5535
原创声明：是暮涯啊 我认为之所以光流估计中会使用独有的cost volume，其初始形态是传统基于块的光流估计方法中，对每个前一帧图像F1中的某个块B1，计算其在一定范围内对应于后一帧图像2中哪个块B2最接近。假如B1的坐标为（x1，y1）B2的坐标为（x2，y2），对应这个块的光流矢量就是（x2-x1，y2-y1）。 1、FlowNet中的correlation 1.1 介绍 FlowNet作为光流估计的开山鼻祖，对correlation的计算花了大量篇幅。作者说这些分割啊，深度估计啊这些网络可以产生像素
基于深度学习的立体匹配
qq_33270279的博客
04-26 9203
目录基于深度学习的立体匹配1. 背景2. 解决方案2.1监督学习算法2.1.1 PSM-Net2.1.2 EdgeStereo2.1.3 GwcNet2.1.4 GA-Net2.1.5 SSPCV-Net2.1.6 WSM-Net3. 算法验证及落地思考3.1 算法的复现3.2 Middleburry v3 评估3.3 落地思考 基于深度学习的立体匹配 1. 背景 传统的立体匹配算法多围绕损失计算...
ICCV 2023 I ELFNet：基于 Transformer 和深度证据学习的立体匹配
计算机视觉工坊
05-02 123
立体匹配是在给定一对矫正图像的情况下，估计密集视差图的目标，是各种应用中最基础的问题之一，例如3D重建、自动驾驶和机器人导航。借助卷积神经网络的快速发展，许多立体匹配模型通过构建代价体积并使用3D卷积的方式取得了有希望的性能。最近，借助transformer的支持，提出了利用自注意和交叉注意机制来利用全局信息的方法，为立体匹配带来了一种替代方法。尽管性能有所改善，但立体匹配结果的不确定性量化一直被忽视。现有立体匹配中经常出现过于自信的预测，限制了算法的部署，特别是在安全关键应用中。
深度学习立体匹配
最新发布
03-11
### 深度学习在立体匹配中的应用 #### 成本体积（Cost Volume） 成本体积是深度学习应用于立体匹配的核心概念之一。通过构建三维的成本体积来表示不同视差下的像素对应关系，可以更有效地捕捉图像间的相似性和差异...
计算机视觉中的cost-volume的概念具体指什么(代价体积)
hxxjxw的博客
10-12 7456
cost-volume在计算机视觉中特指计算机视觉中的立体匹配stereo matching（关于立体匹配请自行百度）问题中的一种左右视差搜索空间 参考： https://www.zhihu.com/question/297481800
Guided Filter对Cost Volume滤波
08-20
PPt简要介绍利用guided imagefilter对costvolume进行滤波
多视图立体几何PatchMatchStereo：DSI与Cost Volume
3D视觉工坊
03-17 716
在上一篇文章：传统多视图立体算法：PatchMatchStereo详解[1]中，我们谈到利用在视差空间对每一个像素随机一个视差平面，然后通过传播这个视差平面参数，使得每一个像素经过周围像素...
DisparityCostVolumeEstimator.cpp
weixin_33816946的博客
07-10 160
  #include "DisparityCostVolumeEstimator.hpp" #include "DisparityCostVolume.hpp" #include "stereo_matching/cost_functions.hpp" #include "helpers/get_option_value.hpp" #include "helpers/fill_multi_...
立体匹配综述阅读心得之Classification and evaluation of cost aggregation methods for stereo correspondence
大青上的博客
04-05 2462
学习笔记之基于代价聚合算法的分类 ，主要针对cost aggregration分类，2008 CVPR 1. Introduction 经典的全局算法有： BP[31] DP[28] SO[20]        本文主要内容有：从精度的角度对比各个算法，主要基于文献【23】给出的评估方法，同时也在计算复杂度上进行了比较，最后综合这两方面提出一个trade-o
【阅读笔记】Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
chetttt的博客
11-09 3211
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
CVPR 2023 | IGEV：双目立体匹配网络新SOTA!
CV_Autobot的博客
04-03 5284
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群Title: Iterative Geometry Encoding Volume for Stereo MatchingPaper: https://arxiv.org/pdf/2303.06615.pdfCode: https://github.c...
光流法中cost volume模块是什么
Bruce_0712的博客
09-14 5733
GWC-Net代码阅读
weixin_44762713的博客
07-14 1851
待续
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值