Analyse de vidéos

Ce projet s'intéresse à l'aide à la préhension par des outils de vision par ordinateur aux amputés des membres supérieurs équipés de neuroprothèses.
Suivi des objets à saisir dans la vidéo égocentrée: approche par l'apprentissage incrémental temporel

Bases technologiques d'un flux vidéo
Estimation de déplacement
CNN et modèles attentionnels pour la vidéo
Introduction à l'apprentissage continu

Cours enseigné en anglais.

A partir de vidéos égocentrées, c'est- à-dire issues de caméras portées, nous étudions différentes solutions s'appuyant sur les réseaux de neurones convolutionnels pour la détection et le suivi d'objets d'intérêt [1].
La vidéo représente une scène enregistrée par la caméra fixée sur des lunettes, donc nous avons une continuité de la scène. Ainsi, au lieu de reconnaître et localiser l'objet dans chaque image de la vidéo, nous pouvons effectuer le suivi de l'objet détecté dans quelques premières images.
Ce suivi/tracking est vu comme l'adaptation continue du modèle pré-entraîné pour la détection des objets aux nouvelles données/images qui arrive avec le temps dans la vidéo. Nous proposons de le réaliser par une approche d'apprentissage incrémental que nous avons conçu [2]. Dans le cadre du projet il s'agirait de :

s'approprier l'implémentation proposée de la méthode Move-to-Data
combiner cette méthode avec la détection initiale des objets
évaluer cette méthode sur un sous-ensemble de données du corpus Grasping-in-the-Wild et proposer des pistes d'amélioration.

Compétences acquises: les étudiants s'approprient des notions et pratiquent l'approche par apprentissage incrémental/continu.
Références bibliographiques :
[1] Iván González-Diaz, Jenny Benois-Pineau, Jean-Philippe Domenger, Daniel Cattaert, Aymar de Rugy:
Perceptually-guided deep neural networks for ego-action prediction: Object grasping. Pattern Recognit. 88: 223-235 (2019)
[2] Miltiadis Poursanidis, Jenny Benois-Pineau, Akka Zemmari, Boris Mansencal, Aymar de Rugy:
Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition. CoRR abs/2006.07152 (2020)