Description

Dans le cadre de la conservation des peintures ou des photographies anciennes, la connaissance des pigments utilisés lors de la création de l’œuvre est primordiale pour déterminer comment ceux-ci vieillissent et comment restaurer les œuvres. Afin de caractériser au mieux les différents pigments utilisés à travers les âges, la méthode utilisée actuellement s’appuie sur plusieurs techniques dont de la spectrophotométrie de réflectance qui va de l’Ultra Violet à l’Infra-Rouge, de la spectrométrie Raman, la spectrométrie XRF de fluorescence sous rayons X qui permettent de caractériser le spectre des pigments. Les méthodes sans contact et sans prélèvement qui assurent une réponse rapide sont la XRF qui offre la possibilité d’obtenir une cartographie des éléments chimiques non organiques, comme le chrome (Cr), le plomb (Pb), le fer (Fe), et bien d’autres et l'imagerie hyperspectrale qui enregistre la réponse optique des matériaux à la lumière. En effet, la conjonction des informations hyperspectrales et XRF permettent de mieux orienter la détection des pigments puisque ces deux informations sont complémentaires. Chaque technique ayant ses incertitudes, leur conjonction permet d’orienter vers les matériaux en présence.
Plusieurs bases de données d’images des pigments sont mises à disposition, cependant ces diverses bases ont peu de données, souvent des images reconstruites moins informatives que l’ensemble du spectre et surtout peu de données labellisées. De plus, les données labellisées le sont en général sur un seul pigment et pas sur des mélanges. Or ce sont ces mélanges que l’on retrouve le plus fréquemment dans les oeuvres d’art.
La question qui se pose alors est comment retrouver ces pigments dans les œuvres d’art existantes et comment utiliser cette information pour en mesurer le comportement dans le temps. En effet, trouver les pigments utilisés permet d’une part que les restaurateurs respectent la législation en ne mettant pas les mêmes pigments, et d'autre part de définir des corpus qui serviront ensuite à authentifier des œuvres inconnues.
Méthodologiquement, il s’agit d’un problème de segmentation multi-classes et/ou de détection des pigments en chaque pixel de l’image. La détection peut être abordée par des techniques d’apprentissage automatique semi-supervisé, ou non supervisé si on ne connaît pas les spectres des pigments avec potentiellement des déséquilibres entre les classes puisque, selon les artistes, certains pigments peuvent être utilisés plus rarement que d’autres. Par ailleurs, dans le domaine du patrimoine, les bases de données étant petites, l’apprentissage correspond à du few shot learning.
L’objectif de cette thèse est d’étudier et de développer des méthodes d’apprentissage automatique semi-supervisé ou non-supervisé pour la détection de pigments dans les œuvres d’art.
Dans un premier temps, le travail se focalisera sur les technologies XRF et hyperspectrale. Ces données sont très bruitées avec un bruit s’apparentant à
du speckle difficile à filtrer.
Nous proposons alors de nous appuyer sur des approches semi-supervisées où seulement un petit nombre de pixels non ambigus sont étiquetés en amont. L'étiquetage des autres pixels des images du dataset d'entraînement se fait alors en affectant des pseudo-labels estimés par prédiction.
L’évaluation des méthodes sera faite d’une part par l’étude classique des performances mais aussi par leur robustesse par rapport à la taille des bases de données et aux caractéristiques du bruit.

Compétences requises

Le ou la candidat.e devra posséder de solides connaissances en mathématiques, apprentissage par réseaux de neurones mais également en traitement d’image.

Bibliographie

- Sofiane Daimellah , Sylvie Le Hégarat-Mascle, Clotilde Boust:
Domain-informed and neural-optimized belief assignments: A framework applied to cultural heritage. Int. J. Approx. Reason. 187: 109534 (2025)
- Tiziana Cavaleri, Paola Buscaglia, Simonetta Migliorini, Marco Nervo, Gabriele Piccablotto, Anna Piccirillo, Marco Pisani, Davide Puglisi, Dario Vaudan, and Massimo Zucco. Pictorial materials database:
1200 combinations of pigments, dyes, binders and varnishes designed as a tool for heritage science and
conservation. Applied Physics A, 123:1–15, 2017.
- C Colantonio, L Clivet, E Laval, Y Coquinot, C Maury, M Melis, and C Boust. Integration of multispectral imaging, xrf mapping and raman analysis for noninvasive study of illustrated manuscripts: the case study of fifteenth century “humay meets the princess humayun” persian masterpiece from louvre museum. The European Physical Journal Plus, 136(9):958, 2021.
- Côme Rodriguez, Vitor Martin Bordini, Sebastien Destercke, and Benjamin Quost. Self learning using Venn-Abers predictors. In Conformal and Probabilistic Prediction with Applications, pages 234–250, 2023.
- Yaqing Wang, Quanming Yao, James T Kwok, and Lionel M Ni. Generalizing from a few examples: A
survey on few-shot learning. ACM computing surveys (csur), 53(3):1–34, 2020.

Mots clés

apprentissage profond, IA frugale, apprentissage semi-supervisé, imagerie éléments chimiques