Synchronisation des gestes et de la parole en contexte interactionnel
1. Projet
Objectifs
- Synchronisation gestes / parole en contexte interactionnel
- Animation d’agents virtuels & de robot humanoïdes
➤ Modélisation de la gestuelle co-verbale
Équipe
- Sciences du mouvement (EuroMov Digital Health in Motion, Univ. de Montpellier & IMT Mines d’Alès)
- Intelligence artificielle (LORIA, Univ. de Lorraine)
- Sciences du langage (Praxiling, Univ. Paul-Valéry Montpellier 3)
➤ Expertise combinée et intérêts croisés
Originalité
- Contexte interactionnel
- Échange spontané
2. Le projet pilote
➤ Interroger les aspects pratiques, techniques et méthodologiques de la collaboration
1. Élaboration d’un protocole d’enregistrement
Protocole linguistique
- Participants : 1 dyade d’amis (H&F)
- Contenu : différentes tâches discursives (jeux, thèmes d’actualité ou personnels)
- Disposition : face à face
- Déroulement : 7 phases en autonomie
- Durée : une session : ≃ 45 min
Protocole technique
- Système de capture de mouvements QTM (9 caméras Qualisys Tracking Manager)
- 2 caméras fixes plan large (plateau)
- 2 caméras plan serré (visages)
- 2 caméras plan élargi (bustes)
- 1 caméra 360° (face-à-face)
- 1 webcam (suivi à distance)
- 2 micro-cravates zoom H4 pro
2. Détermination des méthodes de traitements
Traitements linguistiques
➤ Transcription verbale et prosodique (PRAAT)
- transcription orthographique (normes CHAT)
- mots, syllabes, phonèmes (Sampa, EasyAlign)
- proéminences et accents (ProsoProm)
- montée/descentes intonatives (ProsoGram)
- Accents initiaux & accents de fin
➤ Annotation gestuelle (ELAN)
- gestes discursifs à structuration du contenu
- gestes interactifs à relation
3 – Détermination des méthodes de traitements
Traitements numériques
➤EuroMov DHM : Système d’identification automatique des marqueurs (AIM)
➤Loria : Extraction des marqueurs par reconnaissance visuelle
- 478 marqueurs faciaux 3D (MediaPipe FaceMesh)
- 33 marqueurs corporels 3D (MediaPipe Pose)
- Mesures dynamiques (position 3D, vitesse et accélération)
3- Du projet pilote au projet global
➤ Résultats du projet pilote
- Création d’un protocole efficace
- Collaboration efficace
- 9th colloque International Society of Gesture Studies (Chicago, Juillet 2022)
➤ Nouvelle soumission ANR
- Nombreux besoins identifiés
➤ Perspectives 2022-2023
- Nouveaux enregistrements
- Travail sur données « brutes »
