| Detection et explanation of semantic changes in mulimedia content : from passive detection to active watermarking (Détection et explication des changements sémantiques dans les contenus multimédias : de la détection passive au tatouage actif) | ||
Evennou, Gautier - (2026-09-30) / Université de Rennes Detection et explanation of semantic changes in mulimedia content : from passive detection to active watermarking Langue : Anglais Directeur de thèse: Kijak, Ewa; Chappelier, Vivien; Fernandez, Pierre Laboratoire : IRISA Ecole Doctorale : MATISSE Thématique : Informatique | ||
Mots-clés : tatouage d'images, modèles vision-langage, détection de manipulation, légendage de différences d'images, IA générative, intégrité des médias, forensique, Filigranes numériques, Traitement d'images -- Techniques numériques, Intelligence artificielle générative Résumé : La prolifération des modèles génératifs a transformé la manipulation d'images en menace de masse pour l'information. Cette thèse traite la détection et l'explication d'altérations sémantiques par des approches passives et actives, en plaçant la sémantique au cœur de la chaîne. BLIP2IDC adapte BLIP2 au légendage de différences : en encodant les paires au niveau pixel plutôt que par fusion, il dépasse l'état de l'art sur données réelles à faible coût de calcul, complété par une augmentation synthétique par édition pour pallier le manque de données. Lorsque l'image originale est indisponible, nous recourons au tatouage sémantique. SWIFT compresse une légende via LLMZip et la transmet par modulation TCCSK sur 72 bits au plus, avec une métrique de confiance sur l'authenticité. LatentSeal lève ce verrou de capacité en encodant la phrase dans un vecteur latent unitaire de dimension 256, embarqué via un réseau dérivé de VideoSeal et sécurisé par rotation aléatoire. Enfin, la détection d'effaçage de tatouage montre que les attaques modernes laissent des traces statistiques distinctives, avec un TPR moyen de 0,92 à un FPR de 0,001. Résumé (anglais) : The rise of generative models capable of producing realistic images has turned visual manipulation into a mass-scale threat to information integrity. This thesis tackles the detection and explanation of semantic alterations through both passive and active approaches, placing semantics at the core of the pipeline. We first introduce BLIP2IDC, an adaptation of BLIP2 to image difference captioning. By encoding image pairs at the pixel level rather than through a two-stream scheme, BLIP2IDC outperforms the state of the art on real-world data at low computational cost. We further propose a synthetic augmentation strategy based on text-guided image editing, tackling data scarcity. We then address the case where the pristine image is unavailable through semantic watermarking. SWIFT compresses a caption via LLMZip and transmits it through TCCSK modulation in a 72-bit payload, paired with a confidence metric for authenticity decisions. LatentSeal breaks this capacity ceiling by encoding sentences into a 256-D unit-norm latent vector, embedded via an adapted VideoSeal network and secured by random rotation. Finally, we study the robustness of the ecosystem: Watermark Removal Detection shows that modern removal attacks leave distinctive statistical traces, detectable with an average TPR of 0.92 at an FPR of 0.001. Identifiant : rennes1-ori-wf-1-23137 | ||
| Exporter au format XML |