青年论坛嘉宾

廖依伊，浙江大学特聘研究员
作者简介：廖依伊，浙江大学信电学院特聘研究员。2018年获浙江大学博士学位，2018年到2021年在德国马普所从事博士后研究。研究兴趣为三维视觉，包括三维生成、场景重建与理解等。在TPAMI、CVPR、ICCV、NeurIPS等顶级期刊和会议发表文章三十余篇，谷歌学术引用超3000次，其中论文被 Best of CVPR 杂志报道，于欧洲AIGameDev比赛获最具科学前景奖，牵头搭建的大规模稠密标注数据集KITTI-360受到广泛应用且获得ESI高被引论文。担任CVPR2023、NeurIPS 2023、CVPR 2024领域主席。获浙江大学启真优秀青年学者、2023 百度 AI 华人女性青年学者。

报告题目：面向自动驾驶的高写实仿真：从重建到生成
报告摘要：高写实度仿真平台对自动驾驶具有重要价值，而人工制作的仿真平台通常成本高昂且无法逼真还原现实世界。本次汇报将分享系列利用神经渲染技术从现实世界构建高写实度驾驶场景的工作，从现实场景逼真重建出发，到无限街景三维高效生成，构建具有逼真外观、丰富语义和多自由度控制能力的城市场景

个人主页：https://yiyiliao.github.io/

彭思达，浙江大学研究员
作者简介：彭思达，浙江大学软件学院百人计划研究员。在2023年获得浙江大学计算机科学与技术博士学位。研究方向为三维计算机视觉，代表工作为4K4D、Neural Body、PVNet。至今在TPAMI、CVPR、ICCV等期刊或会议发表三十余篇论文，谷歌学术引用2800余次，其中一篇一作论文获得CVPR最佳论文提名，在GitHub开源获得超过10000个stars。曾获得2023年世界人工智能大会云帆奖-明日之星、2022 Apple Scholar、2020年CCF-CV学术新锐奖、2021年中国CCF图形开源软件奖。

报告题目：无需特征检测的图像匹配
报告摘要：图像匹配是众多计算机视觉问题的基石，比如静态与动态场景的重建、物体的定位与跟踪。现有图像匹配器大多依赖于图像特征检测器，导致在弱纹理区域以及动态场景难以获得鲁棒的图像匹配结果。在本次报告中，讲者将介绍一种无需特征检测的图像匹配方法，展示如何在保持高精度匹配的同时提升图像匹配速度，并讨论如何将其拓展到时序匹配以及三维重建。

个人主页：https://pengsida.net/

晏轶超，上海交通大学助理教授
作者简介：晏轶超，上海交通大学人工智能研究院助理教授，博士生导师。获上海交通大学电子工程系学士、博士学位，法国里昂中央理工学院硕士学位，曾担任阿联酋起源人工智能研究院研究科学家。主要研究方向为三维数字人，发表包括TPAMI、CVPR、NeurIPS在内的国际高水平论文20余篇，Google Scholar 引用超过1700次，担任TPAMI、IJCV、CVPR、ICCV等十余个国际会议与期刊审稿专家。先后主持国家自然科学基金青年项目、CCF-阿里巴巴青年科学家基金等项目5项。曾入选上海市海外高层次人才计划，获2020年度中国图象图形学学会优秀博士论文奖。

报告题目：三维数字人的重建、编辑与驱动
报告摘要：面对大规模三维数字人的生产需求，结合生成式模型与传统图形学建模产生高拟真、规模化的三维数字人正逐渐成为研究热点。本次报告包括两方面内容，首先介绍课题组在三维人脸编辑方向的最新工作，使用拖拽方式实现三维人脸几何结构的快速编辑；其次在人体驱动方面，提出了一个全新的人与人交互行为生成的benchmark。

个人主页：daodaofr.github.io

徐英豪，斯坦福大学博士后
作者简介：Yinghao Xu is a postdoc at the Stanford Computational Imaging Lab, Stanford University, working with Prof. Gordon Wetzstein. He was a Ph.D. student at the Multimedia Lab (MMLab) at The Chinese University of Hong Kong. He is deeply interested in problems lying at the intersection of Computer Graphics and Computer Vision. Currently, his research focuses on generative models and neural rendering, particularly in the area of 3D generative models.

报告题目： Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation
报告摘要： Over the past year, the large language model has achieved significant milestones, approaching human-like intelligence in various domains. However, the literature lacks substantial exploration into large-scale 3D reconstruction. This talk will focus on our recent breakthroughs in this area, specifically highlighting our advancements in large-scale 3D reconstruction through Gaussian Splatting (GRM). GRM represents a robust and highly adaptable 3D reconstruction system, leveraging extensive, high-quality 3D datasets. Functioning as a large-scale reconstructor, GRM can reconstruct a 3D asset from sparse-view images in approximately 0.1 seconds. Furthermore, GRM demonstrates promising capabilities in generative tasks, such as text-to-3D and image-to-3D, through integration with existing multi-view diffusion models.

个人主页： https://justimyhxu.github.io/

郑泽荣
作者简介：郑泽荣，杭州新畅元科技有限公司首席算法科学家。于2018年和2023年在清华大学自动化系分别获得学士学位和博士学位，师从刘烨斌教授。研究方向为三维视觉和图形学，主要关注三维人体的建模和数字化身生成。至今在TPAMI/TOG/CVPR/ICCV/ECCV/SIGGRAPH 发表论文近30篇，谷歌学术引用 1800余次。

报告题目：基于高斯Splatting的数字化身建模
报告摘要： 3D Gaussian Splatting (3DGS) 在场景的快速高质量渲染上展示出了巨大的潜力，因此在近期引发了极大的关注和研究热情。本次报告将简要介绍本人所在团队在基于3DGS的三维数字人建模方向的探索，包括基于3DGS的可驱动人体建模和基于3DGS的可驱动人头建模，并展示高质量、高保真、实时渲染的全身数字人效果。

个人主页：

陈文拯，北京大学助理教授
作者简介：陈文拯，博士毕业于多伦多大学，师从Sanja Fidler教授和Kyros Kutulakos教授。他目前在英伟达多伦多AI研究院担任研究科学家。他的研究集中在计算摄影和机器学习的交叉领域，主要探索如何利用各种成像系统的光学和物理先验知识以提高三维感知性能。他将于2024年加入北京大学王选计算机研究所担任助理教授。曾在IEEE CVPR，NeurIPS，ICLR，SIGGRAPH等领域顶级会议上发表论文十余篇，并获得四项美国专利以及ICCP 2021 Best Poster Award。

报告题目：动态场景的表征和成像
报告摘要：随着虚拟现实技术的快速发展，对于动态场景重构的需求不断增长。精确理解和重建动态场景既需要高效的动态表征设计，同时也依赖精准的动态成像捕捉方法。在本次报告中，我们将展示如何通过设计高效的场景表征和动态成像捕捉技术，实现动态场景的精确理解与重建。我们将首先介绍如何通过将静态3D Gaussian Splatting 升维到动态4D Gaussian Splatting，实现对动态场景的精确高效的表示。接着，我们介绍如何利用高速结构光技术，以每秒20帧的速度进行动态捕捉，从而实现亚像素级的动态重建精度。

个人主页： https://www.cs.toronto.edu/~wenzheng

孙赫，北京大学研究员
作者简介：孙赫，北京大学未来技术学院助理教授、研究员、博士生导师，国家高层次青年人才项目获得者。他本科毕业于北京大学，博士毕业于普林斯顿大学，之后在加州理工大学从事博士后研究。他的研究方向为计算成像和自适应光学，尤其是人工智能在生物、医学、天文等科学成像问题中的应用。研究成果在国际会议和期刊上发表学术论文50余篇，并应用于事件视界望远镜黑洞成像等多个国际大型科学任务中。

报告题目：三维科学成像：从太空到细胞
报告摘要：科学成像的核心难题之一是从稀疏、高噪音的观测数据中重建高清晰度的科学目标影像。本次报告将结合空间监测、超声CT、液相电镜等科学成像案例，简要展示新型三维视觉技术在天文学和生物医学领域的应用。

个人主页：

胡文博，腾讯 AI Lab 研究员
作者简介：胡文博，腾讯AI Lab 研究员，于2022年在香港中文大学获得计算机科学与工程博士学位。研究兴趣位于计算机图形学，视觉，和人工智能的交叉点，近期研究主要集中在3D神经表示，重建，渲染，理解，以及生成。在SIGGRAPH，CVPR， ICCV等发表多篇论文，曾获ICCV 2023 Best paper finalist。

报告题目： Anti-aliasing in Neural Rendering
报告摘要：以Neural Radiance Fields (NeRF) 和3D Gaussian Splatting (3DGS) 为代表的神经渲染方法在高真实感多视角重建方面已经取得了瞩目的成就。但是渲染图像是离散的表达，将像素建模为无面积的点仍然导致走样 (aliasing) 问题，阻碍了神经渲染更进一步表达高真实感细节的能力。在这个问题上，我们做了一系列的工作，进一步拓展了NeRF和3DGS的能力边界。首先，我们提出了Tri-MipRF，来使用三个正交的Mipmap表达3D空间。得益于Mipmap的pre-filtering特性，我们可以将像素建模为有面积的圆片，并为其投射一个圆锥而非射线，来实现区域采样，从而避免了点采样导致的aliasing问题。该工作取得了当时最佳的重建渲染效果，且被评选进入ICCV’23的Best Paper Finalist。然后，我们进一步发现Mipmap的各项同性pre-filtering在刻画各向异性的空间区域时不够有效。因此我们提出了Rip-NeRF，将3D空间投影到正多面体的非平行面上，然后使用Ripmap来表达各平面，从而实现了对各向异性区域采样的精确刻画，进一步提升了重建和渲染高保真细节的能力。该工作取得了SOTA的效果，渲染结果优于Tri-MipRF和Zip-NeRF，且训练速度和存储占用也优于Zip-NeRF。最后，3DGS相比于NeRF在实时渲染方面有着天然的优势，因此吸引着越来越多的关注。即使3DGS使用连续的高斯分布来刻画3D空间，但在投影到2D空间进行像素着色时，仍然存在使用离散的像素点采样连续的高斯信号的现象，使得在不同相机距离或者分辨率渲染时出现aliasing瑕疵。为了解决这个问题，我们提出了Analytic-splatting，在像素着色时使用像素的覆盖区域对高斯信号进行积分，实现了高效的区域采样。从而在保持3DGS实时渲染能力的前提下，实现了aliasing-free的高保真重建和渲染，达到了3DGS框架下的SOTA效果。这一系列工作表明了区域采样相比于点采样可以有效地避免aliasing瑕疵，提升重建渲染质量。

个人主页： https://wbhu.github.io/

曾爱玲，粤港澳大湾区数字经济研究院研究员
作者简介：曾爱玲是粤港澳大湾区数字经济研究院（IDEA）计算机视觉与机器人研究员，负责以人为中心的视觉和多模态感知、理解、交互和生成方向，具体包括2D/3D人体姿态估计/动作识别/三维人体重建/基于LLM的动作理解，以及多模态可控的人物图片/视频/动作生成。她于2022年在香港中文大学计算机科学与工程系获得博士学位，期间在卡内基梅隆大学做访问学者。她在相关顶级学术会议CVPR、ICCV、ECCV、ICLR、AAAI等上发表了二十多篇论文，谷歌学术引用超过一千次，主导的工作在Github star累计超过八千次，其中一篇第一作者的文章评选为AAAI2023最有影响力的Top-3研究工作。

报告题目：大规模三维人物数据搭建及相关生成算法的进展
报告摘要：近年来，随着计算机视觉和多模态研究领域取得的巨大进步，基于单目视觉的无穿戴式三维动作捕捉技术愈发紧贴计算平台革命的浪潮前沿。它是多模态智能体、人机交互、机器人技术和个性化数字形象应用以及AIGC模型发展的关键要素，让通向沉浸式数字化终局之路日益明晰，而低成本、高质量、可扩展的大规模多模态动作数据的智能捕捉系统将至关重要。在本讲座中，我将主要分享我们在构建以人为中心的大规模数据和基准方面的方法和进展，包括（1）从互联网数据中获得大规模的3D动作、图像、视频、文本、音频等多模态数据，（2）符合物理规则的人和交互物体的数据捕捉算法，（3）多模态人物动作生成模型方面的最新进展，（4）实时动捕流程、后处理平滑和预处理加速算法等。

个人主页： https://ailingzeng.site/

徐晓刚，之江实验室&浙江大学百人计划研究员
作者简介：徐晓刚目前就职于之江实验室，担任研究专家（PI），同时兼聘于浙江大学计算机科学与技术学院CAD国家重点实验室，担任新百人计划研究员，主要研究方向为多模态内容生成与修复。徐晓刚于2018年在浙江大学信息工程专业获得工学学士学位，于2022年在香港中文大学获得博士学位，师从香港中文大学IEEE Fellow贾佳亚教授。博士期间曾在国内外多家公司和研究机构实习（腾讯，思谋，微软，Adobe等）。徐晓刚在人工智能和计算机视觉领域累计发表共4篇国际顶级期刊论文（均为CCF-A论文，其中3篇为第一作者），22篇国际顶级会议论文（其中11篇为第一作者，3篇为通讯作者），多项中国发明专利（落地于阿里巴巴等公司平台），并且担任多个国际学术会议（包括CVPR, ICCV, ECCV, NeurIPS, ICLR, ICML, AAAI等）和国际学术期刊（包括TPAMI, IJCV, TCSVT, TMM, TNNLS等）的审稿人和程序委员会。主持和参与之江实验室优秀青年科学基金，浙江省鲲鹏计划，浙江省自然科学基金重大项目等。

报告题目：针对真实世界降质数据的高效神经辐射场
报告摘要：神经辐射场（NeRF）技术已在物体和场景级别的三维重建中展现出卓越的成果。尽管如此，其在设备与环境限制条件下的表现及重建效果的维持仍然是一个值得深入探讨的问题。研究表明，三维重建的质量在很大程度上取决于输入数据的质量，而现有的二维数据增强和恢复技术难以显著提升这些数据的质量到理想水平。因此，本演讲旨在探索通过对NeRF自身的改进——包括新型三维特征表征的设计和更符合实际物理性质的网络架构更新——来增强其在多种受限环境下的三维重建性能。特别地，本次演讲将以稀疏传感数据和低光照条件下的重建挑战为例，分享我们的最新研究成果和进展。

个人主页： https://xiaogang00.github.io/

张鸿文，北京师范大学副教授
作者简介：张鸿文，北京师范大学人工智能学院副教授。主要从事以人为中心的三维视觉研究，尤其是三维数字人体的运动捕捉与理解、表面重建与渲染、化身建模与驱动等课题。在领域顶级期刊和会议TPAMI/TOG和CVPR/ICCV/ECCV/SIGGRAPH上发表论文30余篇，Google Scholar引用量2300余次，提出的动捕系列算法累计获GitHub星标量超过1000。曾获中国科学院优博论文/院长奖等荣誉。

报告题目：移动相机下脚地交互合理的单目实时全身运动捕捉
报告摘要：相比于传统运动捕捉技术，单目无标记运动捕捉只需单个普通相机即可重建人物的全身运动，在构建数字人体化身等应用中有着极大应用潜力。目前，通过设计回归网络和利用大规模伪标注数据，现有方法在单目运动捕捉方面取得一定进展，但在全局交互合理性方面仍然存在诸多挑战性问题。本报告将介绍基于脚地交互感知的单目运动捕捉方法，其核心是在算法学习和推理过程中引入脚地接触状态反馈，以提升人物与地面的交互合理性；此外，通过建立自身运动参考系，利用运动先验恢复移动相机下的人物运动轨迹。报告将展示所提出方法在移动相机下的实时全身运动捕捉效果。

个人主页： https://zhanghongwen.cn

施逸飞，国防科技大学副教授
作者简介：施逸飞，国防科技大学副教授，国防科技大学-普林斯顿大学联合培养博士。研究方向为三维视觉、计算机图形学和智能机器人。入选中国科协青年人才托举工程、中国图学学会青年托举计划、湖湘青年英才、国防科技大学高层次创新人才。发表学术论文40余篇，包括IEEE T-PAMI、ACM TOG、SIGGRAPH、CVPR、ICCV、ECCV (Oral)等顶级期刊会议第一作者论文11篇，CCF A类13篇。主持湖南省优秀青年基金、国家自然科学基金青年项目、之江国际青年人才基金等科研项目6项，参与国家自然科学基金重点项目、国家重点研发计划等重要科研项目12项，担任某重大科研任务主任设计师。获ACM长沙分会新星奖、亚洲人工智能技术大会最佳论文奖。

报告题目：几何结构驱动的机器人感知与交互
报告摘要：三维视觉是机器人感知与交互的关键技术。已有方法通常直接从数据中学习经验和知识，存在缺乏结构信息、精度低和稳定性差等问题。针对这一问题，我们研究了内嵌几何结构先验的三维数据学习方法，并在物体位姿估计、三维对称检测和机器人抓取等任务上进行了验证，实现了在未训练物体上的精准感知，提高了抓取检测和规划的精度和可靠性。

个人主页： yifeishi.net

陈冠英，香港中文大学（深圳）研究助理教授
作者简介：陈冠英，香港中文大学（深圳）研究助理教授。他于2021年获得香港大学博士学位，在此之前，于中山大学获得本科学位。近年来，他的研究方向专注于三维视觉、神经渲染以及底层视觉。他已经在领域内一流的期刊和会议（如TPAMI/IJCV/CVPR/ECCV）上发表研究工作近20篇，其中5篇论文入选了Oral/Spotlight报告。他也入选了2021年百度全球AI华人新星百强榜单和NeurIPS 2023优秀审稿人。目前，他主持国家自然科学基金和深圳市优秀科技创新人才培养项目-青年项目

报告题目：面向文生三维的可泛化法线-深度扩散模型
报告摘要：本报告将介绍一项利用二维扩散模型生成三维内容的工作。由于自然图像中存在几何先验缺失以及材质和光照的复杂交织，将二维数据先验升至三维内容是一个具有挑战性的问题。现有方法通过评分蒸馏采样（SDS）首先创建几何，然后进行外观建模，已经显示出一定的潜力。然而，依赖于二维图像扩散模型来优化物体表面法线是次优的，导致优化不稳定。为了解决这一问题，本研究提出了一个可泛化的法线-深度扩散模型，通过在大规模LAION数据集上训练，并结合图像到深度和法线的先验模型来实现。为了缓解生成材质中混合的光影影响，我们引入了一个漫反射率扩散模型，以对漫反射率分量施加数据驱动的约束。实验结果表明，将这些模型整合到现有的文本到三维生成管线中，能显著提高细节丰富度，达到了先进的生成结果。

个人主页： https://guanyingc.github.io

杨洁，中科院计算所助理研究员
作者简介：杨洁，中国科学院计算技术研究所助理研究员，博士毕业于中科院计算所，研究方向为几何处理和几何学习。相关研究成果发表在ACM SIGGRAPH\TOG、IEEE TPAMI、IEEE TVCG、NeurIPS、CVPR等期刊和会议上。曾获得博士后创新人才支持计划、浙江大学陆增镛高科技奖等奖项。目前担任中国计算机学会计算机辅助设计与图形学专委会执行委员、中国图象图形学学会智能图形专委会委员以及中国图象图形学学会三维视觉专委会委员，并担任多个期刊会议的审稿人。

报告题目：具有复杂拓扑的开曲面重建和生成方法
报告摘要：三维重建和生成一直是计算机图形学领域最具挑战的问题之一。然而,现有技术存在一些局限性,基于NeRF的方法只能处理封闭曲面,且需要额外的三维数据监督。为了解决这些挑战,本文提出了NeUDF和DreamUDF,实现了对一般模型的复杂拓扑表面的重建和生成。具体而言,NeUDF使用无符号距离场(UDF)作为曲面表示,并通过基于UDF的体渲染方法,提出了一种新的体渲染权重函数,该函数对于无符号距离场(UDF)具有自一致性、无偏差且对遮挡具有感知能力,以输入图像为监督,优化神经网络,从而获得精确的开放曲面。进一步提出了DreamUDF,解决根据稀疏和模糊观察结果生成正确拓扑的挑战,结合了来自多视图扩散模型的数据先验和UDF重建器带来的几何先验,利用基于UDF和扩散模型的联合框架以及耦合训练方法,使得UDF和NeRF相互优化,能够从单张图像生成具有任意拓扑结构的高质量3D物体。

个人主页： http://people.geometrylearning.com/~jieyang/

张彪，KAUST博士后
作者简介：Biao Zhang obtained a Bachelor's and Master's degree from Xi'an Jiaotong University. He obtained his Ph.D. from KAUST, focusing on 3D deep learning, geometric modeling, and generative models. His research has been published in conferences and journals such as CVPR, ICLR, NeurIPS, and SIGGRAPH.

报告题目： Exploring Representations for 3D Generative Models
报告摘要： In this study, we investigate generation models for 3D objects, representing objects as Signed Distance Functions (SDFs). Firstly, we introduce sparsity into 3D object representations, demonstrating its utility as a generative model and affirming the significance of sparsity in 3D object representation. Subsequently, we explore compressing objects entirely into a set of vectors, which not only incorporates sparsity but also eliminates the need for manually designing sparse structures. We establish its efficacy as a generative model, yielding exceptionally good generation results. Furthermore, we reveal that 3D object representation is essentially an infinite-dimensional function. We demonstrate the feasibility of bypassing representation learning and directly employing generation models on infinite-dimensional functions. These findings shed light on novel approaches to 3D object generation and pave the way for more efficient and effective modeling techniques.

个人主页： https://1zb.github.io/

惠乐，西北工业大学副教授
作者简介：研究方向聚焦于三维视觉主要包括三维场景语义与实例分割、三维目标跟踪、三维点云生成、三维重建等。主要成果发表在顶级期刊和会议:TIP、CVPR、ICCV、ECCV、NeurPs等共20篇论文，其中9篇为一作，长期担任国际人工智能顶刊和顶会:TPAMI、CVPR、ICCV、ECCV、NeurIPS等的审稿人。

报告题目：基于超点表示的三维场景理解方法研究
报告摘要：针对大规模三维场景，如何高效地处理三维点云是一个值得研究的问题。超点作为点云的一种表示方式，其可以高效、紧凑、灵活的表示三维场景的局部几何结构。本报告将介绍基于超点表示的三维场景理解方面的系列工作。首先介绍针对稀疏点云的一种高效端到端超点分割方法，利用快速点聚类方法，实现快速精确的超点分割，同时有效提升下游语义分割的性能。然后，介绍基于超点表示的单阶段三维目标检测方法，利用超点增强提案内部语义特征的一致性，实现了室内单阶段三维物体检测的最佳性能。

个人主页： https://fpthink.github.io/

李众，OPPO美国研究院高级研究员
作者简介：李众博士，2019年毕业于特拉华大学，目前担任OPPO美国研究院XR算法组高级研究科学家，专注于移动AR/VR技术应用和普及，目前主要研究方向为3D计算机视觉和计算成像，主要关注沉浸式媒体体验。于TPAMI/TVCG/CVPR/ICCV/ECCV/NeurIPS/ACM MM等会议发表论文多篇并担任审稿人。

报告题目：基于时空特征的实时动态高斯Splatting
报告摘要：面对动态场景新视角合成的这一课题，虽然近期已有所进展，但同时达到高分辨率、高质量，并且实时的真实感渲染，以及保持紧凑存储依然充满挑战。针对这些难题，我们提出了一种新的动态场景表示技术——时空高斯特征喷溅。我们通过给3D高斯模型增加时间不透明度和参数化运动/旋转，创建了表达能力强的时空高斯模型，并采用喷溅特征渲染技术，用神经特征取代球谐函数来建模颜色信息，这样的创新设计极大地提升了渲染效率和质量。在多个公开数据集上的测试证明，我们的方法在确保存储紧凑的同时，能够提供高品质的渲染效果和实时渲染速度。在8K分辨率下，我们的轻量级模型能够在Nvidia RTX 4090 GPU上达到每秒60帧的渲染速度。

个人主页： https://sites.google.com/site/lizhong19900216