| Watermarking across modalities for content tracing and generative AI (Tatouage numérique multimodal pour la traçabilité du contenu et l'IA générative) | ||
Fernandez, Pierre - (2025-01-28) / Université de Rennes Watermarking across modalities for content tracing and generative AI Langue : Anglais Directeur de thèse: Furon, Teddy; Douze, Matthijs Laboratoire : IRISA Ecole Doctorale : MATISSE Thématique : Informatique | ||
Mots-clés : Tatouage numérique, IA générative, traçage de contenu, Filigranes numériques, Intelligence artificielle générative Résumé : Le tatouage numérique intègre des informations dans des contenus numériques tels que des images, de l'audio ou du texte, imperceptibles pour les humains mais détectables de manière robuste par des algorithmes spécialisés. Cette technologie a des applications importantes dans de nombreux défis de l'industrie tels que la modération de contenu, le traçage de contenu généré par IA et la surveillance de l'utilisation des modèles IA. Les contributions de cette thèse incluent le développement de nouvelles techniques de tatouage numérique pour les images, l'audio et le texte. Nous introduisons d'abord des méthodes pour la modération active des images sur les plateformes sociales. Nous nous concentrons ensuite sur des méthodes dédiées au contenu généré par IA. Nous démontrons spécifiquement des méthodes pour adapter les modèles génératifs latents afin d'incorporer des tatouages numériques dans tout contenu généré, identifier les sections marquées dans la parole, et améliorer le tatouage numérique dans les grands modèles de langage avec des tests qui garantissent un faible taux de faux positifs. De plus, nous explorons l'utilisation du tatouage numérique pour détecter le mésusage de modèle, par la détection de tatouages dans des modèles de langage affinés sur du texte tatoué, et par le tatouage des poids de transformer larges sans aucun entraînement. À travers ces contributions, la thèse offre des solutions efficaces pour les défis posés par l'utilisation croissante des modèles d'IA génératifs et le besoin de surveillance des modèles et de modération de contenu. Elle examine enfin les défis et les limitations des techniques de tatouage numérique, puis discute des orientations futures potentielles pour la recherche dans ce domaine. Résumé (anglais) : Watermarking embeds information into digital content like images, audio, or text, imperceptible to humans but robustly detectable by specific algorithms. This technology has important applications in many challenges of the industry such as content moderation, tracing AI-generated content, and monitoring the usage of AI models. The contributions of this thesis include the development of new watermarking techniques for images, audio, and text. We first introduce methods for active moderation of images on social platforms. We then develop specific techniques for AI-generated content. We specifically demonstrate methods to adapt latent generative models to embed watermarks in all generated content, identify watermarked sections in speech, and improve watermarking in large language models with tests that ensure low false positive rates. Furthermore, we explore the use of digital watermarking to detect model misuse, including the detection of watermarks in language models fine-tuned on watermarked text, and introduce training-free watermarks for the weights of large transformers. Through these contributions, the thesis provides effective solutions for the challenges posed by the increasing use of generative AI models and the need for model monitoring and content moderation. It finally examines the challenges and limitations of watermarking techniques and discuss potential future directions for research in this area. Identifiant : rennes1-ori-wf-1-20599 | ||
| Exporter au format XML |