Description

Le projet proposé vise à relever les principaux défis actuels dans le domaine de la reconstruction 3D photométrique, également connue sous le nom de stéréophotométrie.

La stéréophotométrie consiste à estimer le relief d'une surface à partir de plusieurs photographies de celle-ci acquises dans des conditions d'éclairage actives. Historiquement, ce problème a été abordé par l'inversion numérique d'un modèle physique paramétrique, produisant des solutions acceptables et interprétables capables de reconstruire des structures de surface fines approximées par le modèle de réflectance lambertienne pour les surfaces mates.

Toutefois, ces dernières années ont été marquées par une évolution de ces méthodes vers des approches basées sur l'intelligence artificielle, où les architectures de réseaux neuronaux apprennent directement l'association entre les images et la géométrie à partir d'ensembles de données massifs. Bien que ces méthodes excellent dans la reconstruction du relief pour les surfaces hautement réfléchissantes, elles posent des problèmes en termes de ressources nécessaires et d'interprétabilité des résultats, car les modèles de réflectance sont implicitement encodés dans les nombreux coefficients des réseaux, de manière opaques.

Notre projet vise donc à s'attaquer à ces verrous, en développant des méthodes d'intelligence artificielle qui sont à la fois économes en ressources et interprétables pour la reconstruction 3D photométrique. L'objectif principal est de concevoir un modèle neuronal de réflectance utilisant des réseaux légers et d'intégrer cette architecture dans une approche classique de problème inverse.

Le mélange de ces approches devrait permettre d'obtenir une solution algorithmique de pointe pour la stéréophotométrie, qui concilie efficacement les performances, l'efficacité de calcul et l'interprétabilité des résultats.

Compétences requises

Nous recherchons un(e) étudiant(e) en Master de sciences ayant une solide expérience en informatique appliquée, en particulier dans le domaine de l'imagerie. De bonnes compétences en apprentissage automatique et en optimisation, ainsi qu'une connaissance de base de la vision par ordinateur, seraient un plus. Le candidat doit également faire preuve de bonnes compétences en programmation et de bonnes capacités de communication en anglais, tant à l'écrit qu'à l'oral.

Bibliographie

[1] Bruneau, R., Brument, B., Calvet, L., Cassidy, M., Mélou, J., Quéau, Y., Durou, J.-D. et Lauze, F. (2023). Multi-view Stereo of an Object Immersed in a Refractive Medium. https://hal.science/hal-04101580. [2] Buskulic, N., Quéau, Y. et Fadili, J. (2023). Convergence Guarantees of Overparametrized Wide Deep Inverse Prior. In 9th International Conference on Scale Space and Variational Methods in Computer Vision (SSVM 2023), volume 14009 de Lecture Notes in Computer Science, pages 406–417. https://hal.science/hal-04040724. [3] Durand, T., Rabin, J. et Tschumperlé, D. (2022). Modular and lightweight networks for bi-scale style transfer. In 2022 IEEE International Conference on Image Processing (ICIP), pages 1871–1875. [4] Durou, J.-D., Falcone, M., Quéau, Y. et Tozza, S. (2020). Advances in Photometric 3D-Reconstruction. Advances in Computer Vision and Pattern Recognition. https://normandie-univ.hal.science/hal-02941602. [5] Griwodz, C., Gasparini, S., Calvet, L., Gurdjos, P., Castan, F., Maujean, B., De Lillo, G. et Lanthony, Y. (2021). AliceVision Meshroom : An open-source 3D reconstruction pipeline. In Proceedings of the 12th ACM Multimedia Systems Conference, pages 241–247. [6] Haefner, B., Peng, S., Verma, A., Quéau, Y. et Cremers, D. (2020). Photometric Depth Super-Resolution. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(10):2453–2464. https://normandie-univ.hal.science/hal-02145726. [7] Haefner, B., Quéau, Y., Moellenhoff, T. et Cremers, D. (2018). Fight ill-posedness with ill-posedness : Single-shot variational depth super-resolution from shading. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 164–174. https://normandie-univ.hal.science/hal-02118545. [8] Haefner, B., Ye, Z., Gao, M., Wu, T., Quéau, Y. et Cremers, D. (2019). Variational Uncalibrated Photometric Stereo under General Lighting. In The IEEE International Conference on Computer Vision (ICCV 2019), pages 8539–8548. https://hal.science/hal-02089403. [9] Hardy, C., Quéau, Y. et Tschumperlé, D. (2023). MS-PS : A Multi-Scale Network for Photometric Stereo With a New Comprehensive Training Dataset. In International Conference on Computer Graphics, Visualization and Computer Vision, volume 3301 de Computer Science Research Notes, pages 194–203. https://hal.science/hal-03863690. [10] Hertzmann, A. et Seitz, S. M. (2005). Example-based photometric stereo : Shape reconstruction with general, varying BRDFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(8):1254–1264. [11] Ikehata, S. (2018). CNN-PS : CNN-based photometric stereo for general non-convex surfaces. In Proceedings of the European conference on computer vision (ECCV), pages 3–18. [12] Ikehata, S. (2023). Scalable, detailed and mask-free universal photometric stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13198–13207. [13] Ikehata, S., Wipf, D., Matsushita, Y. et Aizawa, K. (2014). Photometric stereo using sparse bayesian regression for general diffuse surfaces. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(9):1816–1831. [14] Laurent, A., Mélou, J., Sagory, T., Fritz, C. et Durou, J.-D. (2022). Contributions of photometry to the 3d-digitization of heritage. In Proceedings of the 4th ACM International workshop on Structuring and Understanding of Multimedia heritAge Contents, pages 33–41. Quéau, Y. (2015). Reconstruction tridimensionnelle par stéréophotométrie. Theses, Institut National Polytechnique de Toulouse. https://theses.hal.science/tel-01261526. [15] Quéau, Y., Durix, B., Wu, T., Cremers, D., Lauze, F. et Durou, J.-D. (2018a). LED-Based Photometric Stereo : Modeling, Calibration and Numerical Solution. Journal of Mathematical Imaging and Vision, 60(3):313–340. https://hal.science/hal-02118488. [16] Quéau, Y., Leporcq, F. et Alfalou, A. (2018b). Design and simplified calibration of a Mueller imaging polarimeter for material classification. Optics Letters, 43(20):4941. https://normandie-univ.hal.science/hal-02169371. [17] Quéau, Y., Leporcq, F., Lechervy, A. et Alfalou, A. (2019). Learning to classify materials using Mueller imaging polarimetry. In Fourteenth International Conference on Quality Control by Artificial Vision (QCAV), page 111720Z. https://hal.science/hal-02088951. [18] Quéau, Y., Wu, T., Durou, J.-D., Lauze, F. et Cremers, D. (2017). A Non-Convex Variational Approach to Photometric Stereo under Inaccurate Lighting. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages pp. 99–108. https://hal.science/hal-01809278. [19] Raguet, H., Fadili, J. et Peyré, G. (2013). A generalized forward-backward splitting. SIAM Journal on Imaging Sciences, 6(3):1199–1226. Redon, M., Pizenberg, M., Quéau, Y. et Elmoataz, A. (2023). 3D surface Approximation of the Entire Bayeux Tapestry for Improved Pedagogical Access. In 4th ICCV Workshop on Electronic Cultural Heritage, Proceedings of the IEEE International Conference on Computer Vision (ICCV) Workshops. https://hal.science/hal-04196665. [20] Ren, J., Wang, F., Zhang, J., Zheng, Q., Ren, M. et Shi, B. (2022). Diligent102 : A photometric stereo benchmark dataset with controlled shape and material variation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12581–12590. [21] Santo, H., Samejima, M., Sugano, Y., Shi, B. et Matsushita, Y. (2017). Deep photometric stereo network. In Proceedings of the IEEE International Conference on Computer Vision Workshops, pages 501–509. [22] Shafer, S. A. (1985). Using color to separate reflection components. Color Research & Application, 10(4):210–218. [23] Silveti-Falls, A., Molinari, C. et Fadili, J. (2022). A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization. Pure and Applied Functional Analysis, pages 39 [24] Tozza, S., Mecca, R., Duocastella, M. et Del Bue, A. (2016). Direct differential photometric stereo shape recovery of diffuse and specular surfaces. Journal of Mathematical Imaging and Vision, 56:57–76. [25] Tschumperlé, D. et Deriche, R. (2005). Vector-valued image regularization with pdes : A common framework for different applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(4):506–517. [26] Woodham, R. J. (1978). Reflectance map techniques for analyzing surface defects in metal castings. Technical Report AI-TR-457,MIT, Artificial Intelligence Laboratory, Cambridge, Mass. [27] Woodham, R. J. (1979). Photometric stereo : A reflectance map technique for determining surface orientation from image intensity. In Image understanding systems and industrial applications I, volume 155, pages 136–143. [28] Zheng, Q., Kumar, A., Shi, B. et Pan, G. (2019). Numerical reflectance compensation for non-Lambertian photometric stereo. IEEE Transactions on Image Processing, 28(7):3177–3191.

Mots clés

Vision par ordinateur, Reconstruction 3D, Apprentissage profond, Réseaux neuronaux légers.