上海AI实验室联合多家机构发布全球首个城市级NeRF实景三维大模型“书生·天际”
在7月6日举行的2023世界人工智能大会(WAIC 2023)开幕式和科学前沿全体会议上,上海人工智能实验室(上海AI实验室)联合香港中文大学和上海市测绘院发布全球首个城市级NeRF实景三维大模型“书生·天际(LandMark)”(以下简称“书生·天际”)。
(相关资料图)
书生通用大模型体系在WAIC 2023开幕式现场发布
书生·天际在大模型层面提出一种新的实景三维模型表征和训练范式,可以4K级图像精度准确呈现大规模三维城市场景。在重构出来的三维实景中,不仅具备包括移除、移动和新建城市建筑等城市布局的调整能力,还可以“上帝视角”调节光照、季节等城市风格。书生·天际已超越“城市重建”,突破性实现了“城市编辑”功能。
未来,上海AI实验室将对书生·天际的建模范围和功能进行扩展,并对书生·天际的算法、算子和系统全部进行开源。
“今天当谈到AIGC,我们想到的还是一张张照片;未来,AIGC将可能生成我们心目中的家,心目中的整个城市。”上海AI实验室林达华教授表示,书生·天际让超写实城市级三维实景成为可能,还将继续进化,覆盖更多城市区域和地标建筑,提供更多、更丰富的三维实景功能。
超越实景重建,实现城市“可编辑”
自然资源部发布的《实景三维中国建设总体实施方案(2022-2025年)》指出,实景三维是对一定范围内人类生产、生活和生态空间进行真实、立体、时序化反映和表达的数字空间,是重要的新型基础设施。
书生·天际在实景三维重建领域,实现了一系列技术突破。具有千亿级参数的书生·天际,已实现对100平方公里范围进行城市实景三维建模。研究人员将预先采集的航拍倾斜摄影图像导入书生·天际模型进行训练,经计算渲染后便可生成实景三维模型。
图像质量方面,书生·天际实现了4K分辨率离线渲染,同时首次实现城市级NeRF的100平方公里全范围1K分辨率、30帧实时渲染。书生·天际利用少量的倾斜拍摄图像,便可实现大规模场景的三维实景建模,建模范围理论上具有无限可扩展性。与传统建模方式相比,书生·天际效率显著提升,有望为城市数字孪生节约可观的人力和资源。
书生·天际可实现大规模场景的三维实景建模
书生·天际实现4K分辨率离线渲染、1K分辨率实时渲染
在高质量实景重构的基础上,书生·天际首次在城市区域和地标建筑两个维度上提供丰富的超越重建能力。
在书生·天际中编辑地标建筑
首创CityNeRF技术,“生成”城市
书生·天际高性能的内核,是上海AI实验室首创的CityNeRF技术。2021年12月,上海AI实验室提出CityNeRF,将卫星与近景等多种不同高度的影像进行有效融合,率先把NeRF建模技术从物体级拓展到城市级。这项工作的提出超前于Google的BlockNeRF和卡内基梅隆大学的MegaNeRF。随后,上海AI实验室进一步研发出基于网格(Grid)表征和NeRF表征相结合的双支模型结构,支持模型的多层级拓展的第二代CityNeRF技术,为城市级NeRF大范围无限扩展建模奠定了技术基础。
为实现从NeRF到第二代CityNeRF的技术突破,上海AI实验室创新性提出了“算法+计算系统+算子”全套创新的“解题思路”,使大范围、高精度、可编辑的城市级实景三维大模型变为现实。
针对大规模城市级场景的NeRF建模,书生·天际采用了基于网格(Grid)表征的双支结构模型,包含一个网格端和一个NeRF端。网格端(Grid branch)将场景分解成地面特征平面和垂直特征轴,NeRF端(NeRF branch)采用轻量MLP网络重建训练视角。为减少渲染计算量,书生·天际可有效地跳过空白空间,降低九成以上采样量,同时还采用提前终止渲染的方式提高计算效率。
在训练阶段,书生·天际采取渐进式的训练策略逐步增大训练图像的分辨率。每个阶段训练后,还会加入形变损耗(distortion loss)来约束每条光束上点权重的分布,以得到更加干净紧凑的场景密度。
基于网格(Grid)表征的双支结构模型
针对三维实景重构所面临的海量计算任务,书生·天际采用了并行训练、数据集分块、分布式渲染3个计算加速方案,大幅度提升了计算效率。在并行系统中,并行策略组件(BranchParallel、PlaneParallel、ChannelParallel、DataParallel)进行混合,实现了超过200B参数量的城市级NeRF高效训练。
城市级场景的生成,输入数据规模通常达到100TB级别规模,针对大规模数据加载与预处理问题,“书生·天际”把数据分块,通过两层数据集重排,使得运算负载更均衡。渲染速度是影响基于NeRF的城市级三维实景的实际体验的关键因素,为了从系统层面充分提高渲染效率,书生·天际在渲染前先做多分支模型的分支合并。渲染引擎还根据城市级场景的特点,提出了一种运行时动态加载模型参数的策略,可以使实时渲染不随场景尺度的增大而增加所消耗的资源。得益于这一系列系统层面的优化,书生·天际最终提升渲染性能近3个数量级(1000倍),并实现了城市级NeRF的100平方公里1K分辨率、30帧的实时渲染。
随着城市场景渲染的规模不断增加和精细度要求不断提高,城市级NeRF的场景规模和渲染精细度对实时计算、存储以及系统的硬件配置都提出了更大的挑战。因此,在算子方面,书生·天际提供了一套完整的基于CUDA的算子优化方案。该方案针对网格端和NeRF端的不同特性,采用了不同的核心算子优化手段,并最终实现了一系列针对城市级NeRF计算特点的高性能算子设计。
关于上海人工智能实验室
上海人工智能实验室是我国人工智能领域的新型科研机构,开展战略性、原创性、前瞻性的科学研究与技术攻关,突破人工智能的重要基础理论和关键核心技术,打造“突破型、引领型、平台型”一体化的大型综合性研究基地,支撑我国人工智能产业实现跨越式发展,目标建成国际一流的人工智能实验室,成为享誉全球的人工智能原创理论和技术的策源地。(作者:周涵欣)
标签:
您可能也感兴趣:
为您推荐
中国宣布镓锗出口管制 高盛预测:西方需投超250亿美元“匹敌”中国稀土供应
中国禁止进口日本福岛等十地食品!A股超3100股下跌 外资净流出近40亿!
沸腾了!暴增超1400% 刚刚一字涨停!曾经30倍大牛股却又“崩了”
排行
精彩推送
- 上海AI实验室联合多家机构发布全球首个城市级NeRF实景三维大...
- 工信部召开专精特新中小企业圆桌会议
- 国家疾控局启用95120全国疾控电话流调专用号码
- 春风化雨 滋兰树蕙满庭芳 40年 礼赞师生大爱
- 焦点消息!重庆三峡银行五名董事辞职
- 中国宣布镓锗出口管制 高盛预测:西方需投超250亿美元“匹敌...
- 淘气天尊:午后市场能否重拾升势?
- 1新加坡币等于多少人民币(2023年7月7日)-环球热文
- 新消息丨1瑞郎兑换多少人民币(2023年7月7日)
- 全球要闻:一千港币换多少人民币(2023年7月7日)
- 7月7日人民币对美元中间价报7.2054 上调44个基点 每日简讯
- 中国禁止进口日本福岛等十地食品!A股超3100股下跌 外资净流...
- 沸腾了!暴增超1400% 刚刚一字涨停!曾经30倍大牛股却又“崩了”
- 唱空中资银行股?高盛最新回应!资深分析师:测算结果有误
- IPO申报潮降温!沪深北交易所受理数量减少24% 业内这么看
- 闪崩闪崩又闪崩 都是减持惹的祸?暴跌50%排不进前十名 软件...
- 万得凯:7月6日融资买入28.16万元,融资融券余额8048.2万元
- 良心导游小祁爆红 符合大众消费期待
- 美国防部发言人:美国目前有锗的战略储备 但没有镓储备
- 营口市构建“3+3+3”模式全面提升行政复议工作质量
- 中国驻乌克兰使馆郑重提醒:所有在乌同胞必须高度重视!
- 营口市民营经济发展研究中心到大连理工大学盘锦产业技术研究...
- 突发大消息 这股三涨停!AI算力跳水!特斯拉大动作 再推奖...
- 阿丽亚娜5型火箭谢幕 欧洲航天计划面临挑战
- 午评:指数延续震荡调整 种植业与林业板块强势_世界新视野
- 世界观察:全球坚果供应链巨头与三只松鼠在安徽合资建厂
- 九龙坡签约一批重点项目 总投资149.7亿元
- 海关回应日本核污染水排海:视事态发展及时采取一切必要措施...
- 郭正亮:侯提九二共识绿媒开始紧张 怕这事
- 万和科技终止北交所IPO 保荐机构为安信证券 最资讯
- 热点在线丨中信银行西安分行被罚 违反金融消费权益保护管理规定
- 龙头车企纷纷宣布海外投资建厂 “中国智造”正走出国门
- 蚌埠高新区:努力为蚌埠振兴挑大梁扛重任
- 财政部相关负责人就美财政部部长耶伦访华答媒体询问
- 人民银行批准12家非银行支付机构牌照续展,2家被中止
- 汇纳科技亮相人工智能大会,展现庞大数据“肌肉”
- 中阳金融集团美股跌9.38% 短讯
- 每日头条!兰州银行:副行长王毅任职资格获批
- 【世界聚看点】7月7日汇市早评:美国上周初请失业金人数小幅攀...
- 世界新资讯:美日今天可能会走低 市场预计美日将面临强劲支撑
- 今日上市:海科新源、致尚科技
- 黄龙县:做优研学品牌 助力乡村振兴
- 20cm涨停后 利好来袭!频繁沾光AI、机器人等热点
- 全球平均气温连续3天达历史高位!这国一地区最高气温一度接近...
- 猪企上半年销售数据陆续出炉 价格下跌影响业绩
- 氧化铝产业强韧性促转型
- “叫停”日本排污入海是中国高度负责的表现
- 中小学开发校本课程须报备
- liteloader怎么安装(liteloader)
- 五连板牛股遭控股股东减持!股民:“真是割韭菜了”
- AI算力带动PCB需求增长 龙头股价已翻倍 业绩高增长概念股出炉
- 嘉元科技:控股股东嘉沅实业拟减持不超过3%公司股份|天天最资讯
- 经济日报金观平:楼市政策应强化中长期调节
- Satechi新品发布:Thunderbolt 4 Multimedia Pro Dock助力创意行业扩展
- 暴涨450%!AI牛股鸿博股份披露关键数据 热炒业务5月毛利仅12...
- AI产业链进入业绩验证节点 哪些上市公司有望率先突围?
- 证券时报头版评论:误读中资银行基本面不可取
- 风口还是泡沫?人工智能大会很火 基金经理却有点焦虑!最新...
- 全球黑周四?欧美股市接力下跌 美重要数据爆表 加息或势在必行
- 悬浮式中控+仪表/后背角度可调,哈弗H5内饰发布!国产还是香!
- 中交集团与兰州交通大学签署战略合作协议
- 2023WTT球星挑战赛卢布尔雅那站:樊振东3比0战胜汪洋,晋级男单16强
- 张家界:董事长刘少龙辞职
- 美国6月ADP就业人数增加49.7万人 大超预期
- 1-5月我国服务进出口总额同比增10.2%
- 游资被“闷杀” 连续两个一字跌停 减速器龙头崩了 董事长...
- 7月6日晚间沪深上市公司重大事项公告最新快递
- 金智教育7月13日深交所首发上会 拟募资5.77亿元
- 23巷居民也能过的镜本2普通难度攻略
- 7月6日龙虎榜:3.34亿抢筹拓维信息 机构净买入14只股
- 江西一地发通告称彩礼超6万可举报?回应:已撤销 考虑不周
- 6月乘用车零售189.6万辆 新能源批发74.4万辆 增长36%
- 合景龙光要被强,还在奋力挣扎
- “免费赠房”背后的郑州楼市:有的折价近40% 有的跌回十年前
- “机器人比人多”!马斯克等畅想AI未来:人类将进入非常富足...
- 【风口研报】人工智能投资机会明确!关注三大领域 核心公司...
- 拓维信息涨10.01% 机构净买入7588万元 天天新资讯
- 天天快消息!浙江世宝涨10.03% 机构净卖出1.22亿元
- 比依股份涨10.01% 三个交易日机构净买入9134万元
- 世界视讯!云南锗业涨10% 机构净买入7792万元
- 出击!招行信用卡协助警方重拳打击金融“黑灰产”!
- 创业黑马牛文文:赋能中小企业迅速拥抱人工智能时代
- 山西开展有限空间作业安全排查整治:发生安全事故的停产整顿
- 故宫抢票要靠黄牛 北京持续高温旅游却异常火爆
- ASML回应:没有面向中国市场推出特别版光刻机
- 山西突发!一公交车发生事故,致4死13伤
- 以系统思维统筹推进乡村水务建设
- 黑色星期四!港股突然大跌 AI概念股反弹
- 工信部调整新能源车型积分计算方法:将新能源乘用车标准车型...
- 微众银行微业贷上线全国信易贷示范平台,以数字金融服务拓宽...
- 2023立德树人与家校社协同育人家庭教育公开课播出时间
- 热点在线丨九毛九港股跌7.39%
- 天键股份跌2.64% IPO超募6.2亿元华英证券保荐
- 当前快播:华宝国际港股跌12.74%
- 每日看点!网络游戏板块涨0.14% 方正科技涨6.88%居首
- 破发股智翔金泰跌6.49% 募资34.7亿海通证券赚1.65亿
- 当前热文:中方对镓、锗实施出口管制出于什么考虑?商务部回应
- 矿难致7死7伤,竟被瞒报!省委书记、省长迅速表态
- 外交部:热烈欢迎首批洪都拉斯学生离台到大陆留学_动态
- 世界快看:池一菲结局(池一菲是哪部电视剧的)