Research

Research interests and projects

Team: IPI - Image Perception Interaction

Keywords: handwriting recognition, on-line handwritting, computer vision, deep-learning, mathematical expression recognition, recognition evaluation metrics, graphe-based approaches (graph matching and graph embedding) writer adaptation, writer identification, document analysis, medical imaging.

Themes:

  • Pattern Recognition, Classification, Artificial Intelligence
  • Classification Evaluation (with reject option), complex structural recognition evaluation (applied to math in CROHME competition)
  • Used classifiers: Neural Networks (DeepLearning, MLP, RBFN, TDNN, RNN, BLSTM), Support Vector Machine (SVM), Fussy Inference Systems
  • On the fly learning (adaptation)
  • Deep-Learning in different context (graph-based deep-learning, traning with few data, using attention based training, …)

HDR defense

Reconnaissance de documents manuscrits structurés - Des équations manuscrites aux documents anciens

Université de Nantes, le 2 décembre 2016. Jury composé de:

  • Thierry Paquet, Professeur à l’Université de Rouen, section CNU 61 (Rapporteur)
  • Jean-Yves Ramel, Professeur à Polytech Tours, section CNU 27 (Rapporteur)
  • Antoine Tabbone, Professeur à l’Université de Lorraine, section CNU 27 (Rapporteur)
  • Jean-Marc Ogier, Professeur à l’Université de La Rochelle, section CNU 27 (Président)
  • Eric Anquetil, Professeur à l’INSA de Rennes, section CNU 27 (Examinateur)
  • Christian Viard-Gaudin, Professeur à l’Université de Nantes, section CNU 61 (Garant HDR)

Projects

  • Project AiBy4 : “AI by Human, for Human”, ANR program PhD in AI, co-leader with Diana Mateus.
  • Project APACOSI in collaboration with Jean Baptiste Fasquel (LARIS Angers), R. Dahyot (Trinity College Dublin) and I. Bloch (LTCI Télécom ParisTech) ; Deep learning and structural knowledge for image analysis
  • Interdisciplinary Project CrohnIPI : collaboration with Imad team from the University Hospital of Nantes de Nantes, computer assisted decision for the Crohn disease (medical imaging, deep-learning, visual attention)
  • Interdisciplinary Project DL4IVF : collaboration with the University Hospital of Nantes, a precision medicine approach to improve IVF success rate through combination of automated image analysis and deep learning.
  • Projet ANR CIRESFI Contrainte et Intégration : pour une réévaluation des spectacles forains et italiens sous l’Ancien Régime (2014 - 2019): Ancient document analysis, , hanwritting recognition, transfert learning, language model with deep-learning, wordspotting.
  • CROHME 2016 Competition on Recognition of Online Handwritten Mathematical Expressions, ICFHR 2016
  • Projet Région Pays de la Loire DEPART (Document Ecrits et Paroles – Reconnaissance et Traduction, 2009-2014)
  • Projet ANR CIEL (Conversion Indexation de l’Ecriture en Ligne, 2008-2010)

Supervision of students

Current PhD students

  • « Coopération multi-robot en espaces partagés par vision et jumeau numérique »,
    • Younes El Ghazi, Université de Nantes, co-encadrement avec O. Cardin (LS2N/CPS3) et K. Subrin (LS2N/ROMAS)
  • « Graph based deep learning research for recognition of on-line handwritten mathematical expression »,
    • Yejing Xie, Université de Nantes
  • « Apprentissage profond non supervisé basé sur la physique pour une super résolution »,
    • Simon Perrin, Université de Nantes, co-encadrement avec S. Levilly (LS2N/IPI)
  • « Robotisation de la vendange manuelle »,
    • Louis Guibert, Université de Nantes et CNHi (CIFRE) co-encadrement avec K. Subrin (LS2N/ROMAS) et S. Levilly (LS2N/IPI)

Former PhD students

  • « Image to digital ink conversion and deep neural networks »,
    • Mohamed Moussa Elmokhtar, Université de Nantes et MyScript (CIFRE), co-encadrement avec Thibault Lelore, soutenue le 16/01/2024
  • « Explicabilité des modèles profonds et méthodologie pour son évaluation: Application aux données textuelles de Pôle emploi »,
    • Gaelle Jouis, Université de Nantes et Pôle Emploi (CIFRE), co-encadrement avec Fabien Picarougne, soutenue le 14/02/2023
  • « Deep Learning for morphokinetic information extraction on time lapse microscopy images of human embryo »,
    • Tristan Gomez, Université de Nantes, co-direction avec Thomas Fréour (CRTI, CHU Nantes), soutenue le 08/11/2022
  • « Deep learning and structural knowledge for image analysis »,
    • Jérémy Chopin, Université d’Angers, co-direction avec Jean Baptiste Fasquel (LARIS Angers), et co-encadrement avec R. Dahyot (Trinity College Dublin), soutenue le 14/12/2022
  • « Visual attention in deep-learning in medical imaging for computer assisted diagnosis »,
    • Rémi Vallée, Université de Nantes, co-encadrement avec Nicolas Normand et Antoine Coutrot, soutenue le 18/05/2022
  • « Vision industrielle et réseau profond »,
    • Julien Langlois, Université de Nantes et MultitudeTechnologies (CIFRE), co-encadrement avec Christian Viard-Gaudin et Nicolas Normand, soutenue le 28/08/2019, download
  • « Extraction d’informations dans des collections historiques »,
    • Adeline Granet, Université de Nantes, co-encadrement avec Emmanuel Morin et Solen Quiniou, soutenue le 12/12/2018, download
  • « New Architecture for Handwritten Mathematical Expressions Recognition »,
    • Ting Zhang, Université de Nantes, co-encadrement avec Christian Viard-Gaudin, soutenue le 26/10/2017, download
  • « Reconnaissance et interprétation des interactions tactiles multipoints »,
    • Zhaoxin Chen, Université de Nantes et INSA de Rennes, co-encadrement avec Christian Viard-Gaudin et Eric Anquetil de l’INSA de Rennes, soutenue le 28/04/2017, download
  • « Structural Analysis of Handwritten Mathematical Expressions using Contextual Information »,
    • Frank Julca-Aguilar, Universtity of Sao Paulo and Université de Nantes, co-encadrement avec Christian Viard-Gaudin et Nina Hirata de l’Université de Sao Paulo, soutenue le 29/04/2016 download
  • « Stratégies de fusion pour des signaux écrits et sonores – Application à la reconnaissance d’expressions mathématiques »,
    • Sofiane Medjkoune, Université de Nantes, dans le cadre du projet DEPART, co-encadrement avec Christian Viard-Gaudin et Simon Petitrenaud de l’Université du Mans, soutenue le 13/11/2013, download
  • « Extraction de connaissances symboliques et relationnelles appliquée aux tracés manuscrits structurés en-ligne »
    • Jinpeng Li, Université de Nantes, co-encadrement avec Christian Viard-Gaudin, soutenue le 23/10/2012, download
  • « Reconnaissance de structures 2D dans les documents manuscrits : application aux équations mathématiques »,
    • Ahmad-Montaser Awal, Université de Nantes, dans le cadre du projet CIEL, co-encadrement avec Christian Viard-Gaudin, soutenue le 12/11/2010, download

Master Students

  • Simon Perrin (2023, Ingénieur Polytech), « Analyse computationnelle d’écriture ancienne (grec sur papyrus) » (avec Isabelle Marthot-Santaniello)
  • Titouan Subileau–Langloi (2023, Master VICO), « Computer Aided Diagnosis of Crohn’s disease using deep learning and an active learning approach on whole videos of the small intestine »
  • Raphaëlle Rouveyre (2023, Master SIBM), « Aide à la lecture de vidéo-capsule endoscopique grêlique de patients atteints de maladie de Crohn par réseaux de neurones profonds selon une méthode d’apprentissage actif »
  • Jing XING (2023, Master VICO) « Deeplearning for automatic analysis of lesion in endoscopic video using self-supervised approaches »
  • Mira KHALIL (2022, Lebanese University Faculty of Engineering) « Graph Neural Network for Handwritten Math Expression »
  • Caren AL ANAISSY (2021, Master VICO) « Training Handwriting Recognition System with Uncertain Data from Crowd-sourcing »
  • Zhe LI (2020, Master VICO) « Electrocardiogram semantic segmentation from image based archives »
  • Pingao LYU (2020, Master VICO) «Training Handwriting Recognition System with Uncertain Data from Crowd-sourcing »
  • Zhengchao ZHANG (2019, Master VICO) «Inpainting with GAN for automatic segmentation of lesion in endoscopic video»
  • Endong ZHENG (2019, Master VICO) «2D language recognition with graph-based BLSTM»
  • Hippolyte DUBOIS (2019, Master VICO) «Using machine learning to capture and model the singularity of spatial trajectories»
  • Zerui YANG (2019, Master VICO) «Morphocinetic information extraction in microscopic time-laps of embryo with deep-learning»
  • Rémi Vallée (2018, Ingénieur Polytech, 2018) «Segmentation d’images de documents anciens par apprentissage profond utilisant des données issues du crowd-sourcing»
  • Littisha Lawrance (2018, Master VICO) «Deep learning for automatic detection of early development stages in videos of human embryos»
  • Yinan ZHANG (2017,Master MDM) « Adding local language constraints as post-processing of math recognizer»
  • Adding local language constraints as post-processing of math recognizer»
  • Rashika BARALA (2017, Master MDM) « Classification in a Taxonomy with Deep Learning for the Plankton Classification »
  • Ziheng QIU (2017, Master MDM) « Segmentation free word spotting using deep-learning in ancient document»
  • Hansil RYU, (2016, Master MDM) « Low Quality Video-surveillance analysis »
  • Jingwen HUANG, (2016, Master MDM) « Semi-automatic image segmentation of old documents »
  • Weishen PAN, (2015, Master MDM) « Distance Metric Learning from Multilayer Perceptron to Convolutional Neural NetworkApplication for Word Spotting in Historical Documents »
  • Chengcheng WANG, (2015, Master SEGE) « Understanding handwritten 2d structural language using conditional random field in the example of flowchart »
  • Ram Hari (2014, Master MDM) « Spatial Relationship Identification for Handwritten Mathematical Expressions Recognition »
  • Junbei Shang (2014, Master MDM) « Bidirectional Long Short Term Memory Classifier for Handwritten Mathematical Expressions Recognition »
  • Bingwei WU (2013, Master MDM) « Two-dimensional (2D) languages and application to handwritten graphical parsing»
  • Xiaoxin WEI (2013, Master MDM) « From Recurrent Neural Network to Long Short Term Memory Architecture »
  • Boussad GHEDAMSI (2013, Master Recherche Informatique MRI, ISTIC, Université de Rennes 1 avec Eric Anquetil) « Muti-touch Gestures Recognition Using the Strategy of Graph Embedding »
  • Zhaoxin CHEN : (2012, Master SEGE) « Stroke-order Free Handwriting Recognition System »
  • Rahmoun Somia : (2012, Master Recherche Informatique MRI, ISTIC, Université de Rennes 1 avec Eric Anquetil) « Composition manuscrite de gestes graphiques sur des interfaces tactiles multipoints »
  • J. Li : (2009, Master SEGE) « Writer identification based on grapheme distribution »
  • A. Kanj : (2009, Master SEGE) « Handwritten mathematical expression recognition : symbol recognition optimization »