Search

International audience; We present an autonomous assistive robotic system for human activity recognition from video sequences. Due to the large variability inherent to video capture from a nonfixed robot (as opposed to a fixed camera), as well as the robot's limited computing resources, implementation has been guided by robustness to this variability and by memory and computing speed efficiency. To accommodate motion speed variability across users, we encode motion using dense interest point trajectories. Our recognition model harnesses the dense interest point bag-of-words representation through an intersection kernel-based SVM that better accommodates the large intra-class variability stemming from a robot operating in different locations and conditions. To contextually assess the engine as implemented in the robot, we compare it with the most recent approaches to human action recognition in the public datasets (non-robot-based), including a novel approach of our own that is based on a two-layer SVM-hidden conditional random field sequential recognition model. The latter's performance is among the best within the recent state of the art. We show that our robot-based recognition engine, while less accurate than the sequential model, nonetheless shows good performances, especially given the adverse test conditions of the robot, relative to those of a fixed camera

National audience; Nous présentons dans ce papier, un système de vision, intégré dans le robot Nao pour la reconnaissance d'activités humaines réalisées par une personne dans des conditions réelles. Contrairement à une caméra fixe, le robot considéré peut filmer les activités à des endroits différents, ce qui implique qu'il doit opérer dans des conditions plus complexes, relativement aux fonds de scènes, aux conditions d'éclairage, aux angles de vues, et aux distances du robot par rapport à la personne. Le système développé est fondé sur l'extraction de trajectoires de points d'intérêt spatio-temporels uniformément et densément échantillonnés sur la scène, et l'encodage de ceux-ci par des histogrammes de gradients sur des volumes définis par leurs trajectoires. La représentation ainsi obtenue est ensuite transformée en un " sac de mots " (Bag of Words) qui est ensuite classifié par un SVM (Support Vector Machines). Ce système a été implémenté dans le robot Nao et testé dans des conditions réelles en considérant onze activités humaines. Les performances obtenues sont satisfaisantes dans l'ensemble, spécialement au regard des contraintes d'implémentation et de ressources de calcul