Université de Rennes Novel view synthesis from sparse inputs Synthèse de nouvelles vues à partir d’entrées limitées Synthèse de nouvelles vueschamps de rayonnement neuronalréseau de champ lumineuxgénération de formes multi-humaineentrées éparses neural radiance fieldslight field networkmulti-human generationsparse inputs Vision par ordinateur Réseaux neuronaux (informatique) Malgré le potentiel important de la synthèse de nouvelles vues à partir d’entrées éparses dans les applications d’infographie et de vision par ordinateur, plusieurs défis subsistent dans ce sujet. Cette thèse étudie trois aspects concernant la synthèse de nouvelles vues. Tout d’abord, nous avons présenté une nouvelle approche pour améliorer les NeRF à partir d’entrées éparses. Les méthodes proposées comprennent échantillonnage global avec régularisation, l’augmentation des données, l’échantillonnage de patchs locaux avec régularisation basée sur les patchs et la régularisation de profondeur explicite. Des évaluations approfondies démontrent que notre méthode surpasse les performance de référence. Deuxièmement, nous avons proposé d’améliorer le champ lumineux neuronal à partir d’entrées éparses. Nous utilisons un réseau neuronal implicite conditionné sur les caractéristiques des rayons locaux d’un encodeur à convolutions. Nous atteignons des performances compétitives et offrons une vitesse de rendu beaucoup plus rapide. Troisièmement, nous avons introduit une nouvelle approche pour génération de forme et rayonnement 3D d’un scène contenant plusieurs personnes à partir d’images éparses. Notre approche intègre des contraintes géométriques à l’aide de maillages pré-calculés, de la régularisation des rayons basée sur les patchs et de la régularisation de la saturation. Nous atteignons des performances de pointe sur des données réelles et synthétiques. Despite the significant potential of novel view synthesis from sparse inputs in computer graphics and computer vision applications, several challenges remain in this topic. This thesis investigates and provides solutions in three aspects regarding novel view synthesis. Firstly, we presented a novel approach to improve NeRF from sparse inputs. The proposed methods include global sampling with regularization, data augmentation, local patch sampling with patch-based regularization, and explicit depth regularization. Extensive evaluations demonstrate our method outperforms baselines. Secondly, We proposed to improve the neural light field from sparse inputs. It employed an implicit neural network conditioned on local ray features from the convolutional encoder. It achieved competitive performance and offered a much faster rendering speed. Thirdly, We introduced a novel 3d shape and radiance generation approach for multiple humans from sparse images. Our approach incorporates geometry constraints using pre-computed meshes, patch-based ray regularization, and saturation regularization. It achieved state-of-the-art performance on real and synthetic data. Electronic Thesis or DissertationText en application/pdf1 : 92952 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/0ac8dcbb-38f3-4419-b55f-06866dffdc18 Li Qian 1993-10-24 XX 27308044X qianlilyli@gmail.com 2023URENS036 http://www.theses.fr/2023URENS036 2023-10-17 Signal, image, vision Université de Rennesthesis.degree.grantor_1 26693823X Doctorat non ouiMultonFranckintervenant_1067317952AdnaneBoukhayma intervenant_2230211100KrupaAlexandreintervenant_3076168204LoscosCélineintervenant_4174583699ShumHubertintervenant_5273080652 MATISSEecoleDoctorale_1 267602553 INRIA-RENNES partenaireRecherche_1 133175863 ddc:004 MultonFranckAdnaneBoukhayma KrupaAlexandreLoscosCélineShumHubertUniversité de RennesMATISSE INRIA-RENNES ASCII PDF 95182967