Search

Your search keyword '"Crowley, James L."' showing total 17 results
Start Over Author "Crowley, James L." Topic [info.info-cv]computer science [cs]/computer vision and pattern recognition [cs.cv]
17 results on '"Crowley, James L."'

1. Recognizing Manipulation Actions from State-Transformations

Author

Aboubakr, Nachwa, Crowley, James L., Ronfard, Rémi, Interaction située avec les objets et environnements intelligents (PERVASIVE), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments (IMAGINE ), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Laboratoire Jean Kuntzmann (LJK ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), and ANR-19-P3IA-0003,MIAI,MIAI @ Grenoble Alpes(2019)

Subjects
FOS: Computer and information sciences, Computer Vision and Pattern Recognition (cs.CV), Computer Science - Computer Vision and Pattern Recognition, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]
Abstract

Manipulation actions transform objects from an initial state into a final state. In this paper, we report on the use of object state transitions as a mean for recognizing manipulation actions. Our method is inspired by the intuition that object states are visually more apparent than actions from a still frame and thus provide information that is complementary to spatio-temporal action recognition. We start by defining a state transition matrix that maps action labels into a pre-state and a post-state. From each keyframe, we learn appearance models of objects and their states. Manipulation actions can then be recognized from the state transition matrix. We report results on the EPIC kitchen action recognition challenge., Accepted for presentation at EPIC@CVPR2019 workshop

Published
2019

2. An objective quality metric for panoramic videos

Author

Nabil, Sandra, Devernay, Frédéric, Crowley, James L., Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments (IMAGINE ), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Laboratoire Jean Kuntzmann (LJK ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Interaction située avec les objets et environnements intelligents (PERVASIVE), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), and Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])

Subjects
[INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]
Abstract

The creation of high quality panoramic videos for immersive VR content is commonly done using a rig with multiple cameras covering the required scene. Unfortunately, this setup introduces both spatial and temporal artifacts due to the difference in optical centers as well as the imperfect synchronization between them. Therefore, designing quality metrics to assess those videos is becoming increasingly important. Using traditional image quality metrics is not directly applicable due to the lack of a reference image. In addition, such metrics do not capture the geometric nature of such deformations. In this paper, we present a quality metric for panoramic video frames which works by computing pair-wise quality maps prior to blending and fusing them to obtain a global map of potential errors. Our metric is based on an existing one designed for novel view synthesized image, which is a similar problem to image stitching. Results show that applying this quality metric offers a practical way to assess panoramic video frames which do not have a reference. It also consolidates the similarity of the artifacts produced from novel view synthesis algorithms and those produced in the process of image and video stitching.

Published
2018

3. Histogram of Oriented Depth Gradients for Action Recognition

Author

ABOU BAKR, Nachwa, Crowley, James L., Interaction située avec les objets et environnements intelligents (PERVASIVE), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), and GREYC

Subjects
FOS: Computer and information sciences, Vision, Computer Vision and Pattern Recognition (cs.CV), Depth, ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, Computer Science - Computer Vision and Pattern Recognition, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Codage MPEG, Reconnaissance d’Actions, Profondeur, ComputingMethodologies_PATTERNRECOGNITION, MPEG encoding, Action Recognition
Abstract

In this paper, we report on experiments with the use of local measures for depth motion for visual action recognition from MPEG encoded RGBD video sequences. We show that such measures can be combined with local space-time video descriptors for appearance to provide a computationally efficient method for recognition of actions. Fisher vectors are used for encoding and concatenating a depth descriptor with existing RGB local descriptors. We then employ a linear SVM for recognizing manipulation actions using such vectors. We evaluate the effectiveness of such measures by comparison to the state-of-the-art using two recent datasets for action recognition in kitchen environments., ORASIS 2017, Jun 2017, Colleville-sur-Mer, France. 2017

Published
2018

4. Multimodal Observation and Interpretation of Subjects Engaged in Problem Solving

Author

Guntz, Thomas, Balzarini, Raffaella, Vaufreydaz, Dominique, Crowley, James L., Interaction située avec les objets et environnements intelligents (PERVASIVE), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), and Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )

Subjects
FOS: Computer and information sciences, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], Statistics - Machine Learning, Computer Vision and Pattern Recognition (cs.CV), Affective Computing, Computer Science - Human-Computer Interaction, Computer Science - Computer Vision and Pattern Recognition, Chess Problem Solving, Eye Tracking, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Machine Learning (stat.ML), Multimodal Perception, Human-Computer Interaction (cs.HC)
Abstract

International audience; In this paper we present the first results of a pilot experiment in the capture and interpretation of multimodal signals of human experts engaged in solving challenging chess problems. Our goal is to investigate the extent to which observations of eye-gaze, posture, emotion and other physiological signals can be used to model the cognitive state of subjects, and to explore the integration of multiple sensor modalities to improve the reliability of detection of human displays of awareness and emotion. We observed chess players engaged in problems of increasing difficulty while recording their behavior. Such recordings can be used to estimate a participant's awareness of the current situation and to predict ability to respond effectively to challenging situations. Results show that a multimodal approach is more accurate than a unimodal one. By combining body posture, visual attention and emotion, the multimodal approach can reach up to 93% of accuracy when determining player's chess expertise while unimodal approach reaches 86%. Finally this experiment validates the use of our equipment as a general and reproducible tool for the study of participants engaged in screen-based interaction and/or problem solving.

Published
2017

5. Error Detection in Panoramic Videos: a Pairwise Assessment within Stitching

Author

Nabil, Sandra, Devernay, Frédéric, Crowley, James L., Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments (IMAGINE ), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Laboratoire Jean Kuntzmann (LJK ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Interaction située avec les objets et environnements intelligents (PERVASIVE), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), and Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])

Subjects
quality metrics, parallax error, panoramic videos, error prediction, [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], image blending, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]
Abstract

One way to provide realistic immersive VR content relies on producing high-quality panoramic videos. These videos are usually produced using multiple cameras with different optical centers and which may not be perfectly synchronized This results in spatial and temporal artifact, even though the blending algorithm strives to reduce them. In this paper, we devise a method that detects potential visual artifacts, based on existing view synthesis quality metrics. The method works by computing pair-wise quality at each blending step and fusing them to produce a global map of potential errors. To get a more accurate prediction, we develop a mask that is then applied to the error map and therefore accentuates the defects on the blending cutting line. Results show that the calculated distortion map succeeds to identify visual artifacts in panoramas which can help design better solutions to this problem in the future.

Published
2017

6. Impact of Head Motion on the Assistive Robot Expressiveness - Evaluation with Elderly Persons

Author

Fabien Badeig, Pierre Wargnier, Maribel Pino, Philippe de Oliveira Lopes, Emeric Grange, Crowley, James L., Anne-Sophie Rigaud, Dominique Vaufreydaz, Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Centre de Recherche en Informatique (CRI), MINES ParisTech - École nationale supérieure des mines de Paris, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL), Université Paris sciences et lettres (PSL), Maladie d'Alzheimer : marqueurs génétiques et vasculaires, neuropsychologies (EA 4468), Université Paris Descartes - Paris 5 (UPD5)-Groupe hospitalier Broca, Gériatrie générale et aigüe [Paris], AP-HP - Hôpital Cochin Broca Hôtel Dieu [Paris], Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP), PERVASIVE INTERACTION (PERVASIVE INTERACTION), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF), Plateforme Robotique d’Assistance et de Maintien A Domicile PRAMAD FUI PRAMAD2, Mines Paris - PSL (École nationale supérieure des mines de Paris), Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Laboratoire d'Informatique de Grenoble ( LIG ), Université Pierre Mendès France - Grenoble 2 ( UPMF ) -Université Joseph Fourier - Grenoble 1 ( UJF ) -Institut National Polytechnique de Grenoble ( INPG ) -Centre National de la Recherche Scientifique ( CNRS ) -Université Grenoble Alpes ( UGA ), Centre de Recherche en Informatique ( CRI ), MINES ParisTech - École nationale supérieure des mines de Paris-PSL Research University ( PSL ), Maladie d'Alzheimer : marqueurs génétiques et vasculaires, neuropsychologie ( EA 4468 ), Université Paris Descartes - Paris 5 ( UPD5 ) -Groupe hospitalier Broca, PERVASIVE INTERACTION, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -Laboratoire d'Informatique de Grenoble ( LIG ), Université Pierre Mendès France - Grenoble 2 ( UPMF ) -Université Joseph Fourier - Grenoble 1 ( UJF ) -Institut National Polytechnique de Grenoble ( INPG ) -Centre National de la Recherche Scientifique ( CNRS ) -Université Grenoble Alpes ( UGA ) -Université Pierre Mendès France - Grenoble 2 ( UPMF ) -Université Joseph Fourier - Grenoble 1 ( UJF ) -Institut National Polytechnique de Grenoble ( INPG ) -Centre National de la Recherche Scientifique ( CNRS ) -Université Grenoble Alpes ( UGA ), ANR : FUI PRAMAD2,PRAMAD,Plateforme Robotique d’Assistance et de Maintien A Domicile, Laboratoire d'Informatique de Grenoble (LIG), Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA), MINES ParisTech - École nationale supérieure des mines de Paris-PSL Research University (PSL), Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA), and ANR: FUI PRAMAD2,PRAMAD,Plateforme Robotique d’Assistance et de Maintien A Domicile

Subjects
Social Robotics, user study, [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], [ INFO.INFO-RB ] Computer Science [cs]/Robotics [cs.RO], [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [INFO.INFO-RB]Computer Science [cs]/Robotics [cs.RO], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [ INFO.INFO-CV ] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], healthcare technologie
Abstract

International audience; In the near future, robots will support human to perform tasks in many domains (industrial, domestic, educational and health tasks).Such robot behaviors need to take into account the social interaction between robot and human.In this context, we focus on the expressiveness of a moving head for an assistive robot for the elderly.We designed a new moving head for the Kompaï companion robot.On one hand, this new head improves its perception capabilities.On the other hand, we expect to jointly increase its social skills and thus its acceptability.This new head is composed of a tablet to animate a virtual face according to 4 facial expressions and a mechanical neck with 4 degrees of freedom to enhance the robot's expression.Before improving face expressions and adding more complex head movements, it is essential to evaluate the combination of simple head movements with virtual face expressions. A study was held jointly with physicians (psychologists, ergonomists) at the Broca Hospital in Paris to assess the impact to combine head movements with virtual face expressions, and the global acceptability of the Kompaï head by the elderly.

Published
2016

7. Rendu basé image avec contraintes sur les gradients

Author

Grégoire Nieto, Frédéric Devernay, Crowley, James L., Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments (IMAGINE ), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Laboratoire Jean Kuntzmann (LJK ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), PERVASIVE INTERACTION (PERVASIVE INTERACTION), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG), Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Interaction située avec les objets et environnements intelligents (PERVASIVE), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), and Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)

Subjects
[INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Computational Photography, Image-Based Rendering, 3D Reconstruction, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR]
Abstract

International audience; Multi-view image-based rendering consists in generating a novel view of a scene from a set of source views. In general, this works by first doing a coarse 3D reconstruction of the scene, and then using this reconstruction to establish correspondences between source and target views, followed by blending the warped views to get the final image. Unfortunately, discontinuities in the blending weights, due to scene geometry or camera placement, result in artifacts in the target view. In this paper, we show how to avoid these artifacts by imposing additional constraints on the image gradients of the novel view. We propose a variational framework in which an energy functional is derived and optimized by iteratively solving a linear system. We demonstrate this method on several structured and unstructured multi-view datasets, and show that it numerically outperforms state-of-the-art methods, and eliminates artifacts that result from visibility discontinuities; Le rendu basé image consiste à générer un nouveau point de vue à partir d'un ensemble de photos d'une scène. On commence en général par effectuer une reconstruction 3D approximative de la scène, utilisée par la suite pour synthétiser l'image cherchée à partir des images sources. Malheureusement, les discontinuités dans les poids des images sources, dues à la géométrie de la scène ou au placement des caméras, causent des artefacts visuels dans la vue résultante. Dans cet article nous montrons qu'une façon d'éviter ces artefacts est d'imposer des contraintes supplémentaires sur le gradient de l'image synthétisée. Nous proposons une approche variationnelle suivant laquelle l'image cherchée est solution d'un système linéaire résolu de façon itérative. Nous testons la méthode sur plusieurs jeux de données multi-vues structurés et non-structurés, et nous montrons que non seulement elle est plus performante que les méthodes de l'état de l'art, mais elle élimine aussi les artefacts créés par les discontinuités de visibilité.

Published
2016

8. Placement optimal de caméras contraintes pour la synthèse de nouvelles vues

Author

Grégoire Nieto, Frédéric Devernay, Crowley, James L., Perception, recognition and integration for observation of activity (PRIMA), Inria Grenoble - Rhône-Alpes, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Reconstruction 3D, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], propagation d'erreur, synthèse de nouvelle vue, rendu basé image
Abstract

International audience; Nous étudions le problème du placement optimal sous contraintes, de plusieurs caméras, pour la synthèse de nouvelles vues. Une telle configuration optimale est définie comme celle qui minimise l'incertitude de projection des pixels des caméras de prise de vue sur la vue à synthétiser. Le rendu de cette vue est souvent précédé d'une phase de reconstruction 3D approximative. Nous dérivons la matrice de covariance associée à l'incertitude sur la géométrie, puis nous propageons l'erreur sur le plan de la nouvelle vue. Nous observons l'influence de l'interoculaire et de la distance focale des caméras sur l'erreur projetée, pour des distributions de points aléatoires à diverses profondeurs.

Published
2015

9. Détection et apprentissage automatique d'objets pour la modélisation de milieux intérieurs

Author

Marion Decrouez, Romain Dupont, François Gaspard, Frédéric Devernay, Crowley, James L., Cordier, Amélie, Perception, recognition and integration for observation of activity (PRIMA), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Laboratoire d'Intégration des Systèmes et des Technologies (LIST), Direction de Recherche Technologique (CEA) (DRT (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA), and Laboratoire d'Intégration des Systèmes et des Technologies (LIST (CEA))

Subjects
[INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], SLAM par vision, [INFO.INFO-CV] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Sac de mots, Détection d'objets, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Reconnaissance de lieu, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract

Session "Posters" - Site conf.: http://liris.cnrs.fr/rfia2012; National audience; Nous présentons dans cet article une nouvelle méthode pour la modélisation des objets et de la scène dans un environnement intérieur inconnu. Les milieux intérieurs sont composés d'une quantité d'objets susceptibles d'être déplacés. Nous souhaitons exploiter les multiples passages d'une caméra dans un même lieu et tirer parti de ces déplacements pour modéliser d'une part la structure de la scène et d'autre part les objets le constituant. Nous proposons une association de méthodes de SLAM métrique et de reconnaissance de lieu pour détecter et représenter les objets de façon automatique et enrichir la connaissance de la scène. Abstract: This paper presents a new solution for modeling the scene and the objects in unknown environments. Many objects in indoor environments are likely to be moved. We want to make the most of several observations of a camera in the same scene to represent the different places and objects. We propose to combine methods of metrical localization and place recognition to detect and model objects and extend the scene model.

Published
2012

10. BetaSAC : Un nouvel échantillonnage conditionnel pour RANSAC

Author

Meler, Antoine, Decrouez, Marion, Crowley, James L., Perception, recognition and integration for observation of activity (PRIMA), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Laboratoire d'Intégration des Systèmes et des Technologies (LIST (CEA)), Direction de Recherche Technologique (CEA) (DRT (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA), Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique de Grenoble (INPG)-Université Joseph Fourier - Grenoble 1 (UJF)-Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire d'Intégration des Systèmes et des Technologies (LIST), and Crowley, James

Subjects
[INFO.INFO-CV] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]
Abstract

Session: Appariement - http://orasis2011.inrialpes.fr/programme; National audience

Published
2011

11. Modélisation explicite des objets et de l'environnement en combinant les approches topologique et métrique pour la localisation

Author

Marion Decrouez, Romain Dupont, François Gaspard, Frédéric Devernay, Crowley, James L., Perception, recognition and integration for observation of activity (PRIMA), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Laboratoire d'Intégration des Systèmes et des Technologies (LIST (CEA)), Direction de Recherche Technologique (CEA) (DRT (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA), INRIA Grenoble Rhône-Alpes, Laboratoire d'Intégration des Systèmes et des Technologies (LIST), and Devernay, Frédéric

Subjects
bag of words, [INFO.INFO-CV] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], ACM: I.: Computing Methodologies/I.4: IMAGE PROCESSING AND COMPUTER VISION/I.4.8: Scene Analysis, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], place recognition, Visual SLAM, objects
Abstract

This paper presents a new formulation of place recognition in unknown environments. Many objects in indoor environments are likely to be moved. We want to make the most of several observations of a camera in the same scene to represent the different places and objects. We propose to combine methods of metrical and topological localization to detect and model objects. We present also a probabilistic approach for place recognition that considers the objects., Nous présentons dans cet article une nouvelle formulation de la modélisation et de la reconnaissance de lieu. Les milieux intérieurs sont composés d'une quantité d'objets susceptibles d'être déplacés. Nous souhaitons exploiter les multiples passages d'une caméra dans un même environnement pour modéliser d'une part la structure de la scène et d'autre part les objets le constituant. Nous proposons une association de méthodes de SLAM métrique et topologique pour détecter et représenter les objets, ainsi qu'un formalisme probabiliste pour la reconnaissance de lieu prenant en compte l'évolution des objets.

Published
2011

12. Situation Models: A Tool for Observing and Understanding Activity

Author

Crowley, James L., Reignier, Patrick, Barraquand, Rémi, Perception, recognition and integration for observation of activity (PRIMA), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Reignier, Patrick, Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire d'Informatique de Grenoble (LIG), Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), and European Project: 26125,CHIL

Subjects
[INFO.INFO-IU]Computer Science [cs]/Ubiquitous Computing, Context Aware System, Situation Modeling, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [INFO.INFO-RB]Computer Science [cs]/Robotics [cs.RO], [INFO.INFO-IU] Computer Science [cs]/Ubiquitous Computing, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], People Tracking, ComputingMilieux_MISCELLANEOUS
Abstract

International audience; In this paper we describe the use of situation models for observing and understanding activity. Observing activity in natural environments can be an extremely complex perceptual problem. Situation models provide a means to both focus attention in such systems and to provide default reasoning to accommodate missing and erroneous observations. We briefly review the use of situations models in Cognitive Science and then describe how such models can be used to provide services based on observation of human activity. We present a layered component-oriented software architecture in which components for perception and action maintain a situation model for use in providing human services.

Published
2009

13. An architecture for ubiquitous applications

Author

Zaidenberg, Sofia, Reignier, Patrick, Crowley, James L., Perception, recognition and integration for observation of activity (PRIMA), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut National Polytechnique de Grenoble (INPG)-Centre National de la Recherche Scientifique (CNRS), Soraya Kouadri Mostéfaoui and Zakaria Maamar and George M. Giaglis, Reignier, Patrick, Puneet, Shweta, Zaidenberg, Sofia, and Crowley, James

Subjects
ACM: D.: Software/D.2: SOFTWARE ENGINEERING/D.2.12: Interoperability, [INFO.INFO-IU]Computer Science [cs]/Ubiquitous Computing, ACM: D.: Software/D.2: SOFTWARE ENGINEERING/D.2.11: Software Architectures, [INFO.INFO-CV] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], middleware, deployment, [INFO.INFO-IU] Computer Science [cs]/Ubiquitous Computing, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], ubiquitous computing, ACM: D.: Software, ComputingMilieux_MISCELLANEOUS, distributed application
Abstract

International audience; This paper proposes a framework intended to help developers to create ubiquitous applications. We argue that context is a key concept in ubiquitous computing and that, by nature, a ubiquitous application is distributed and needs to be easily deployable. Thus we propose an easy way to build applications made of numerous modules spread in the environment and interconnected. This network of modules forms a permanently running system. The control (installation, update, etc.) of such a module is obtained by a simple, possibly remote, command and without requiring to stop the whole system. We ourselves used this architecture to create a ubiquitous application, which we present here as an illustration.

Published
2007

14. Projet ORASIS

Author

Berthod, Marc, Castan, S., Crowley, James L., Faugeras, Olivier, Mohr, Roger, Rives, Patrick, Scene Analysis and Symbolic Image Processing (PASTIS), Inria Sophia Antipolis - Méditerranée (CRISAM), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire d'Informatique Fondamentale et d'Intelligence Artificielle (LIFIA), Institut National Polytechnique de Grenoble (INPG), Centre de Recherche en Informatique de Nancy (CRIN), Université Henri Poincaré - Nancy 1 (UHP)-Centre National de la Recherche Scientifique (CNRS), and Instrumentation, control and architecture of advanced robots (ICARE)

Subjects
[INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]
Abstract

Ce rapport présente les résultats des activités menées en Vision dans le cadre du projet ORASIS rattaché au PRC Communication Homme-Machine. Ces résultats portent sur la stéréovision, la segmentation d'images, la modélisation des incertitudes en perception et l'interprétation des scènes.

Published
1987

15. Designing objective quality metrics for panoramic videos based on human perception

Author

Sandra Nabil, Raffaella Balzarini, Frédéric Devernay, Crowley, James L., Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments (IMAGINE ), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Laboratoire Jean Kuntzmann (LJK ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Interaction située avec les objets et environnements intelligents (PERVASIVE), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Institut National de Recherche en Informatique et en Automatique (Inria), LIVE360TV FUI 19 project, and ANR-11-EQPX-0002,AmiQual4HOME,AmiLab pour Habitats Intelligents(2011)

Subjects
Panoramic Videos, [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], Quality Assessment, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [SCCO.COMP]Cognitive science/Computer science, Parallax Errors, Human Perception
Abstract

International audience; The creation of high quality panoramic videos for immersive VR content is commonly done using a rig with multiple cameras covering the required scene. Unfortunately, this setup introduces both spatial and temporal artifacts due to the difference in optical centers as well as imperfect synchronization of cameras. Traditional image quality metrics are inadequate for describing geometric distortions in panoramic videos. In this paper, we propose an objective quality assessment approach for calculating these distortions based on optical flow coupled with an existing salience detection model. Our approach is validated with a human-centered study using error annotations and eye-tracking. Preliminary results indicate a good correlation between errors detected by the algorithm and human perception of errors.

16. Multimodal perception and sociable interaction

Author

Vaufreydaz, Dominique, Interaction située avec les objets et environnements intelligents (PERVASIVE), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Plateforme Robotique d’Assistance et de Maintien A Domicile PRAMAD FUI PRAMAD2, Université Grenoble Alpes (France), MSTII, Crowley James L., ANR-06-TCOM-0020,CASPER,Communication et Assistance Ambiante par Analyse d'ActivitéS pour les PERsonnes âgées et déficientes cognitives(2006), ANR-15-CE23-0005,CEEGE,Estimation d'expertise en echec a partir de l'observation de fixation et emotion(2015), ANR-13-JS01-0010,VALET,Renormalisation et théorèmes limites en théorie ergodique (VALET=Vershik's automorphisms, limits in ergodic theory)(2013), ANR-17-CE22-0010,Hianic,Navigation autonome dans des foules inspirée par les humains(2017), ANR-11-EQPX-0002,AmiQual4HOME,AmiLab pour Habitats Intelligents(2011), European Project: 26125,CHIL, and European Project: IST-2000-28323,FAME

Subjects
interaction sociable, perception multimodale, traitement du signal, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], computer vision, [INFO.INFO-IU]Computer Science [cs]/Ubiquitous Computing, machine learning, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, multimodal perception, vision par ordinateur, [INFO.INFO-RB]Computer Science [cs]/Robotics [cs.RO], [INFO]Computer Science [cs], apprentissage machine, sociable interaction, signal processing
Abstract

L’une des tâches les plus complexes pour laquelle les ordinateurs ont été programmés concerne le mimétisme des capacités de perception et d’interaction des humains en utilisant tout d’abord des informations monomodales (acoustiques, visuelles, tactiles, de proprioception, …) puis multimodales en combinant plusieurs modalités. À partir de ces capacités de perception, les systèmes interactifs, c’est-à-dire les systèmes interagissant avec des humains, peuvent être sensibles à l’environnement qui les entoure, aux utilisateurs présents, à la situation courante… Cela leur permet de percevoir, comprendre et prédire pour agir en conséquence, voire d’agir d’une manière sociable pour être un partenaire des humains à part entière.La perception multimodale par ordinateur et les interactions sociables sont les problématiques de fond de mes travaux depuis mon recrutement en tant que Maître de conférences en 2005, le traitement du signal (« signal processing ») et l’apprentissage automatique (« machine learning ») en étant les fondements. Ce manuscrit présente mes travaux sur la perception multimodale et les interactions sociables dans plusieurs contextes en les regroupant autour de mes thématiques de recherche principales.Ce manuscrit aborde tout d’abord la perception multimodale ubiquitaire au sein d’espaces perceptifs multimodaux tels les salles de réunions augmentées, les appartements équipés pour le maintien de personnes âgées/fragiles à domicile ou des espaces à plus grande échelle comme les bâtiments d’un campus universitaire. Faisant suite aux progrès en robotique, cette perception s’est naturellement déplacée des environnements perceptifs vers les robots mobiles, permettant des interactions sociables entre les humains et des robots compagnons (Human Robot Interaction - HRI) mais aussi avec des robots particuliers que sont les véhicules autonomes. Les travaux de recherche concernant la perception des humains et de leurs affects sont ensuite présentés via mes recherches sur la perception en champ proche (< 1 m) et sur la détection des humains et de leurs comportements autour de nos systèmes interactifs, base nécessaire à leur fonctionnement. Nos travaux préliminaires sur la détection de personnes en utilisant de l’apprentissage profond (« Deep Learning ») sont décrits. Ce manuscrit se clôt en présentant les directions et les perspectives de mon projet de recherche intitulé « Perception multimodale et interaction sociable ».

Published
2018

17. Multimodal perception and sociable interaction

Author

Vaufreydaz, Dominique, Interaction située avec les objets et environnements intelligents (PERVASIVE), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire d'Informatique de Grenoble (LIG ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Plateforme Robotique d’Assistance et de Maintien A Domicile PRAMAD FUI PRAMAD2, Université Grenoble Alpes (France), MSTII, Crowley James L., ANR-06-TCOM-0020,CASPER,Communication et Assistance Ambiante par Analyse d'ActivitéS pour les PERsonnes âgées et déficientes cognitives(2006), ANR-15-CE23-0005,CEEGE,Estimation d'expertise en echec a partir de l'observation de fixation et emotion(2015), ANR-13-JS01-0010,VALET,Renormalisation et théorèmes limites en théorie ergodique (VALET=Vershik's automorphisms, limits in ergodic theory)(2013), ANR-17-CE22-0010,Hianic,Navigation autonome dans des foules inspirée par les humains(2017), ANR-11-EQPX-0002,AmiQual4HOME,AmiLab pour Habitats Intelligents(2011), European Project: 26125,CHIL, and European Project: IST-2000-28323,FAME

Subjects
interaction sociable, perception multimodale, traitement du signal, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], computer vision, [INFO.INFO-IU]Computer Science [cs]/Ubiquitous Computing, machine learning, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, multimodal perception, vision par ordinateur, [INFO.INFO-RB]Computer Science [cs]/Robotics [cs.RO], [INFO]Computer Science [cs], apprentissage machine, sociable interaction, signal processing
Abstract

L’une des tâches les plus complexes pour laquelle les ordinateurs ont été programmés concerne le mimétisme des capacités de perception et d’interaction des humains en utilisant tout d’abord des informations monomodales (acoustiques, visuelles, tactiles, de proprioception, …) puis multimodales en combinant plusieurs modalités. À partir de ces capacités de perception, les systèmes interactifs, c’est-à-dire les systèmes interagissant avec des humains, peuvent être sensibles à l’environnement qui les entoure, aux utilisateurs présents, à la situation courante… Cela leur permet de percevoir, comprendre et prédire pour agir en conséquence, voire d’agir d’une manière sociable pour être un partenaire des humains à part entière.La perception multimodale par ordinateur et les interactions sociables sont les problématiques de fond de mes travaux depuis mon recrutement en tant que Maître de conférences en 2005, le traitement du signal (« signal processing ») et l’apprentissage automatique (« machine learning ») en étant les fondements. Ce manuscrit présente mes travaux sur la perception multimodale et les interactions sociables dans plusieurs contextes en les regroupant autour de mes thématiques de recherche principales.Ce manuscrit aborde tout d’abord la perception multimodale ubiquitaire au sein d’espaces perceptifs multimodaux tels les salles de réunions augmentées, les appartements équipés pour le maintien de personnes âgées/fragiles à domicile ou des espaces à plus grande échelle comme les bâtiments d’un campus universitaire. Faisant suite aux progrès en robotique, cette perception s’est naturellement déplacée des environnements perceptifs vers les robots mobiles, permettant des interactions sociables entre les humains et des robots compagnons (Human Robot Interaction - HRI) mais aussi avec des robots particuliers que sont les véhicules autonomes. Les travaux de recherche concernant la perception des humains et de leurs affects sont ensuite présentés via mes recherches sur la perception en champ proche (< 1 m) et sur la détection des humains et de leurs comportements autour de nos systèmes interactifs, base nécessaire à leur fonctionnement. Nos travaux préliminaires sur la détection de personnes en utilisant de l’apprentissage profond (« Deep Learning ») sont décrits. Ce manuscrit se clôt en présentant les directions et les perspectives de mon projet de recherche intitulé « Perception multimodale et interaction sociable ».

Published
2018

Catalog

Books, media, physical & digital resources
See catalog results