Université de Rennes Vers une édition sémantique de vidéos volumétriques: segmentation 4D basée Gaussian Splatting et moyens d’évaluation Towards semantic editing of volumetric video: a Gaussian splatting-based 4D segmentation method and evaluation framework Vidéo volumétriqueSegmentation sémantiqueReconstruction 3DSynthèse de vues nouvellesJeu de données Volumetric videoSemantic segmentation3D reconstructionNovel view synthesisDataset Réalité virtuelle Imagerie quadridimensionnelle La vidéo volumétrique permet des représentations 3D dynamiques de scènes réelles, offrant une exploration multi-vues et une navigation naturelle en six degrés de liberté (6 DoF). Pour une interaction véritablement immersive, la segmentation sémantique est essentielle afin de permettre une compréhension des objets au niveau individuel. Bien que les méthodes récentes de synthèse de vues nouvelles, telles que les Neural Radiance Fields (NeRF) et le 3D Gaussian Splatting (3DGS), aient considérablement fait progresser la reconstruction 3D et la segmentation de scènes statiques, la segmentation sémantique dans des scènes dynamiques 4D reste relativement peu explorée. Les principaux défis incluent le maintien de la cohérence sémantique dans l’espace et le temps, ainsi que le manque de jeux de données multi-vues richement annotés pour les environnements dynamiques. Cette thèse répond à ces limitations en introduisant MUVOD, un jeu de données de segmentation d’objets en vidéo multi-vues, couvrant 17 scènes réelles avec des masques 4D cohérents pour 459 instances réparties sur 73 catégories. Un benchmark est proposé pour l’évaluation des méthodes de segmentation 4D. Nous proposons également une nouvelle approche de segmentation 4D fondée sur 3DGS, qui étend la segmentation d’objets statiques aux scènes dynamiques en intégrant un vecteur d’identité d’objet apprenable dans le pipeline de reconstruction. Cette méthode permet le rendu photoréaliste en RGB ainsi que la génération de masques d’objets à n’importe quel point de vue et instant temporel, offrant ainsi une solution efficace et portable pour la compréhension et l’édition de scènes 4D. Volumetric video enables dynamic 3D representations of real-world scenes, supporting free-viewpoint exploration and natural 6 Degrees of Freedom (6 DoF) navigation. To achieve truly immersive interaction, semantic segmentation is essential for object-level understanding. While recent novel view synthesis methods, such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), have advanced 3D reconstruction and static scene segmentation, semantic segmentation in 4D dynamic scenes remains relatively underexplored. Key difficulties include maintaining semantic consistency across space and time, as well as the lack of richly annotated multi-view datasets for dynamic environments. This thesis addresses this gap by introducing MUVOD, a multi-view video object segmentation dataset featuring 17 real-world scenarios with 4D-consistent object masks for 459 instances across 73 categories. A benchmark is established for evaluating 4D segmentation methods. Furthermore, we propose a novel 4D segmentation approach based on 3DGS, extending static object segmentation to dynamic scenes by incorporating a learnable Object Identity Encoding into the reconstruction pipeline. The method supports photorealistic RGB and mask rendering at arbitrary viewpoints and timepoints, offering an efficient and portable solution for 4D scene understanding and editing. Electronic Thesis or DissertationText en application/pdf1 : 9797 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/aa1a9d34-6c05-4e9c-a32d-dcc75650ede9 Wei Bangning 1997-08-28 CN 298917823 bangningwei@gmail.com 2025URENS134 http://www.theses.fr/2025URENS134 2025-10-09 Signal, image, vision Université de Rennesthesis.degree.grantor_1 26693823X Doctorat non ouiZhang Luintervenant_1180080792Le CalletPatrickintervenant_2060370068OuttasMeriemintervenant_5278418015RaminNicolasintervenant_6147696267DufauxFrédéricintervenant_3169586170ZaidiHabibintervenant_4225627477 MATISSEecoleDoctorale_1 267602553 IETR partenaireRecherche_1 149256035 ddc:620 Zhang LuLe CalletPatrickDufauxFrédéricZaidiHabibOuttasMeriemRaminNicolasUniversité de RennesMATISSE IETR ASCII PDF 10031667 restriction 2025-10-09 2031-10-09 restriction 2025-10-09 2031-10-09