书生・天际 3.0 实景三维大模型开源发布：城市级 100 平方

公里全范围实时渲染，VR 设备可用。
据“书生 Intern”官方公众号 28 日推文，书生・天际 3.0 实景三位大模型现已开源发布，渲染效率提速近 6 倍，同时将应用方式拓展至 VR 设备。
此前在去年 7 月，上海人工智能实验室联合多家机构发布了书生・天际（LandMark）实景三维大模型，号称首次实现城市级 100 平方公里全范围实时渲染。
据介绍，书生・天际 3.0 在 Web 端的基础上，将应用方式拓展至 VR 设备，用户戴上 VR 眼镜，既可在名胜古迹、城市街景或博物馆中自由穿梭、探索，也可在重建的三维实景中对场景进行更直观、更自由的编辑。
此外，书生・天际 3.0 拥有了更全尺度场景的 3D 建模能力，可覆盖单个物体、室内布局及城市场景，面向更真实、立体的生活及生态空间呈现。
渲染效率方面，书生・天际 3.0 相比于上一代模型提升了 5.84 倍。面对不同尺度场景对实时渲染算力需求的区别，结合算力需求与硬件性能，可对计算资源进行弹性调度。
此外，研究人员还提出了连续渲染静态重用技术，渲染精度较传统方法提升 36.93%，保证了成像流畅度。在书生・天际 3.0 中，室内场景中实现 120FPS 的流畅表现，在室外场景中则能保持稳定的 72FPS。
研究人员同时也提出首个针对 3D 高斯（3D Gaussian）渲染的双目去冗融合渲染技术，在不增加额外算力的情况下可实现消除双目视差。
🔸大范围、高精度建模
首次实现 100 平方公里、4K 图像精度的城市级 NeRF 高效训练，建模范围理论上具有无限可扩展性。
🔸实时、高精度渲染
首次实现城市级 NeRF 的 100 平方公里全范围 1k 分辨率、30 帧 实时渲染 和 4k 分辨率离线渲染，打造沉浸式穿梭体验。
🔸丰富的扩展功能
提供丰富的超越重建能力，包括移除、新建、旋转城市建筑等城市编辑能力，调节光照、季节等城市风格变化能力。
🔸训练、渲染、交互一体化系统
首次实现覆盖算法、算子、计算系统、用户交互的城市级 NeRF 系统，为训练、渲染、交互和应用提供坚实基础。
开源链接如下：
书生・天际算法代码：https://github.com/InternLandMark
书生・天际系统开源代码：https://github.com/InternLandMark/LandMarkSystem
相关阅读：
“书生·天际”正式开源，助力应用场景下城市实景重建

       近日，上海人工智能实验室（上海AI实验室）正式开源了全球首个城市级NeRF实景三维大模型“书生·天际”（LandMark），支持在不同应用场景下的落地部署，并提供免费商用。作为上海AI实验室书生通用大模型体系的重要组成部分，书生·天际将逐步开放更多能力，赋能学术研究和产业发展。
      今年7月，上海AI实验室联合香港中文大学和上海市测绘院发布了书生·天际，首次在大模型层面提出一种新的实景三维模型表征和训练范式，以4K级图像精度准确呈现大规模三维城市场景。
      凭借强大的城市实景“重建”和“编辑”能力，引发产学研界广泛关注。基于行业现实需求，上海AI实验室开源了书生·天际的核心算法与训练策略，使用者可根据自身应用场景落地复现大模型能力，切实为行业带来AI技术进步增效。
      上海AI实验室领军科学家林达华教授表示，书生·天际拥有广阔的应用空间，期待在合作中探索新的应用，推动技术创新与产业进步，与行业伙伴一道“自由编辑城市的广阔与细腻”。
    
        书生·天际官网 https://landmark.intern-ai.org.cn（点击阅读原文获取）
        开源链接 https://github.com/InternLandMark/LandMark
        论文链接 https://city-super.github.io/gridnerf
 
     开源关键能力：助力落地应用性能复现
       核心算法与模型训练策略，是书生·天际实现当前能力的关键。本次开源，书生·天际首次公开了多分支GridNeRF模型核心算法及与之匹配的训练策略，研究人员及从业者在具体场景下，使用开源内容即可复现实施书生·天际相关能力，以AI助力行业升级提质。
       具体开源内容：
       1、核心算法：大尺度城市场景的多分支GridNeRF模型
       2、训练策略：
            🔸与多分支GridNeRF模型匹配的BranchParallel并行训练策略；
            🔸GridNeRF的单卡训练与离线渲染策略；
            🔸GridNeRF的并行训练策略（PlanParallel、 ChannelParallel、 DataParallel）
      GridNeRF：从单体渲染到自由延展
       NeRF是一种新的三维重建与表征技术，可以通过少量数据实现三维重建，被广泛应用于物体级别的三维建模中。如何将NeRF技术应用于城市建筑甚至城市场景的三维建模中，需要多维度的创新性突破。
       为实现城市级大规模实景建模，2021年12月，上海AI实验室首次提出CityNeRF，将卫星与近景等多种不同高度的影像进行有效融合，率先把NeRF建模技术从物体级拓展到城市级。通过对单体建筑的绕飞影像采集，即可实现一定规模的实景渲染重建。
       在CityNeRF基础上，上海AI实验室进一步研发出第二代CityNeRF技术，即GridNeRF。基于网格（Grid）表征和NeRF表征相结合的双支模型结构（GridNeRF），支持模型的多层级拓展，为城市级大范围建模奠定了技术基础。

在书生·天际穿梭在楼宇间
       第二代CityNeRF从捕捉单个建筑拓展至采集整个区域各处的细节。与第一代CityNeRF技术仅能围绕着单个建筑做绕飞式渲染不同，最新技术则可以实现在整个区域上下翻飞、平移穿梭，更高效地建模。
       本次开源的GridNeRF，正是全面升级后的第二代CityNeRF技术。不仅实现了4K分辨率离线渲染，在保持高质量场景重建的基础上在城市区域和地标建筑两个维度上提供丰富的超越重建能力，可对实景中的城市布局进行建筑移动、新建建筑等调整，并调节光照、季节等城市风格，一键“编辑城市”。

在书生·天际中可对城市实景进行“再编辑”

在书生·天际中“编辑”中华艺术宫
      实景三维建模新范式：轻量、经济、高效

       基于“算法+计算系统+算子”系统式的解决思路，通过与其采用的渐进式渲染、并行训练与多分支策略，在实际应用层面，书生·天际成为集训练、渲染、交互一体化的系统，开创了城市级实景三维建模新范式。
       轻量：双支模型结构，精细捕捉场景细节，实现大规模场景重建与无限扩展
 
     GirdNeRF包含2个分支，其中网格端（Grid branch)将场景分解成地面特征平面和垂直特征轴，即将城市场景分解为更小粒度，再通过NeRF端（NeRF branch）采用轻量MLP网络重建训练视角，生成高质量渲染图像。同时，通过一种化整为零的策略，使用渐进式渲染方式更好地支持大规模场景渲染，为实现无限城市场景重建提供了可能性。
 

基于网格(Grid)表征的双支模型结构

在书生·天际中对城市实景进行光影变化调节
        经济：合理化跳跃空白，降低千亿级模型在大规模应用下的训练与渲染成本
    书生·天际可在算法中光线采集阶段准确预测对实际重建无效的采样点，从而“合理化跳跃”。书生·天际具有千亿级参数，前序环节的采样数量与计算效率对于模型的训练与渲染性能来说非常重要，而且，算法模型会提前终止非必要的渲染，不仅可以更好地减少渲染计算量提升计算效率，同时更能降低前序环节中90%以上的采样量，大幅降低计算复杂度与渲染成本。

高效、经济系统实现快速训练
       高效：并行训练与多分支策略，提升效率千倍，高效处理大尺度城市复杂数据
 在训练策略上，书生·天际通过PlaneParallel与ChannelParallel两种模型并行训练将训练任务分成多个部分，同时在多台计算机上完成，提高了训练速度。同时，设计多分支模型MultiBranch Model和与之对应的BranchParallel训练策略将模型分割成多个部分，每个部分负责处理图像的一部分，使模型适应不同场景和尺度。这些策略帮助降低了训练时间和资源需求，使模型更好地理解和编辑城市场景，渲染效率提升1000倍。
评分完成：已经给本帖加上 30 银元！