Search

Manipulation actions transform objects from an initial state into a final state. In this paper, we report on the use of object state transitions as a mean for recognizing manipulation actions. Our method is inspired by the intuition that object states are visually more apparent than actions from a still frame and thus provide information that is complementary to spatio-temporal action recognition. We start by defining a state transition matrix that maps action labels into a pre-state and a post-state. From each keyframe, we learn appearance models of objects and their states. Manipulation actions can then be recognized from the state transition matrix. We report results on the EPIC kitchen action recognition challenge., Accepted for presentation at EPIC@CVPR2019 workshop

International audience; Most previous research in sustainable HCI has focused on electricity consumption in domestic environments or private office spaces. Here, we address use of lighting in public areas of office buildings with the goal of understanding and measuring how calm technologies can inspire positive engagement by promoting awareness and competition. We have conducted a 15-month study with the design, deployment, and assessment of two complementary ambient apparatus (one centralized, one distributed) in an office building occupied by ICT start-up companies. Our results show that calm technology can be effective under specific conditions, resulting in a significant reduction of average electricity consumption. We also discovered that in the absence of automatic controls, approximately 25% of lighting consumption occurred during off-work hours.

International audience; Humans interact with the world using five major senses: sight, hearing, touch, smell, and taste. Almost all interaction with the environment is naturally multimodal, as audio, tactile or paralinguistic cues provide confirmation for physical actions and spoken language interaction. Multimodal interaction seeks to fully exploit these parallel channels for perception and action to provide robust, natural interaction. Richard Bolt's "Put That There" (1980) provided an early paradigm that demonstrated the power of multimodality and helped attract researchers from a variety of disciplines to study a new approach for post-WIMP computing that moves beyond desktop graphical user interfaces (GUI). In this talk, I will look back to the origins of the scientific community of multimodal interaction, and review some of the more salient results that have emerged over the last 20 years, including results in machine perception, system architectures, visualization, and computer to human communications. Recently, a number of game-changing technologies such as deep learning, cloud computing, and planetary scale data collection have emerged to provide robust solutions to historically hard problems. As a result, scientific understanding of multimodal interaction has taken on new relevance as construction of practical systems has become feasible. I will discuss the impact of these new technologies and the opportunities and challenges that they raise. I will conclude with a discussion of the importance of convergence with cognitive science and cognitive systems to provide foundations for intelligent, human-centered interactive systems that learn and fully understand humans and human-to-human social interaction, in order to provide services that surpass the abilities of the most intelligent human servants. Over the last 35 years, professor Crowley has made a number of fundamental contributions to computer vision, robotics and multi-modal interaction. These include early innovations in scale invariant computer vision, localization and mapping for mobile robots, appearance-based techniques for computer vision, and visual perception for human-computer interaction. Current research concerns context aware observation of human activity, Ambient Intelligence, and new forms of Human-Computer Interaction based on machine perception.

The creation of high quality panoramic videos for immersive VR content is commonly done using a rig with multiple cameras covering the required scene. Unfortunately, this setup introduces both spatial and temporal artifacts due to the difference in optical centers as well as the imperfect synchronization between them. Therefore, designing quality metrics to assess those videos is becoming increasingly important. Using traditional image quality metrics is not directly applicable due to the lack of a reference image. In addition, such metrics do not capture the geometric nature of such deformations. In this paper, we present a quality metric for panoramic video frames which works by computing pair-wise quality maps prior to blending and fusing them to obtain a global map of potential errors. Our metric is based on an existing one designed for novel view synthesized image, which is a similar problem to image stitching. Results show that applying this quality metric offers a practical way to assess panoramic video frames which do not have a reference. It also consolidates the similarity of the artifacts produced from novel view synthesis algorithms and those produced in the process of image and video stitching.

National audience; The effects of teaching on learning are mostly uncertain, hidden, and not immediate. Research investigating how teaching can have an impact on learning has recently been given a significant boost with signal processing devices and data mining analyses.We devised a framework for the study of teaching and learning processes which posits that lessons are composed of episodes of joint attention and access to the taught content, and that the interplay of behaviors like joint attention, actional contingency, and feedback loops compose different levels of teaching. Teaching by social tolerance, which occurs when learners (Ls) have no attentional problems but their access to the taught knowledge depends on the teacher (T). Teaching by opportunity provisioning, when Ls can be aware on the taught content but lack access to it (e.g., lack of understanding), and T builds ad hoc situations in which Ls are provided with easier content. Teaching by stimulus or local enhancement, when Ls have fully access to the content but lack attention toward it. T explicitly shows content to Ls, slows down her behaviors, tells and acts in an adapted way (e.g., motherese).A variety of devices installed in a classroom will capture and automatically characterize these events. T’s and Ls’ utterances and gazes will be recorded through low-cost cameras installed on 3D printed glasses, and T will wear a mobile eye tracker and a mobile microphone. Instructional material is equipped with qrcodes so that Ls’ and T’s video streams are processed to determine where people are looking at, and to infer the corresponding teaching levels.This novel framework will be used to analyze instructional events in ecological situations, and will be a first step to build a ”pervasive classroom”, where eye-tracking and sensor-based devices analyze a wide range of events in a multimodal and interdisciplinary way.

International audience; In this paper we present the first results of a pilot experiment in the capture and interpretation of multimodal signals of human experts engaged in solving challenging chess problems. Our goal is to investigate the extent to which observations of eye-gaze, posture, emotion and other physiological signals can be used to model the cognitive state of subjects, and to explore the integration of multiple sensor modalities to improve the reliability of detection of human displays of awareness and emotion. We observed chess players engaged in problems of increasing difficulty while recording their behavior. Such recordings can be used to estimate a participant's awareness of the current situation and to predict ability to respond effectively to challenging situations. Results show that a multimodal approach is more accurate than a unimodal one. By combining body posture, visual attention and emotion, the multimodal approach can reach up to 93% of accuracy when determining player's chess expertise while unimodal approach reaches 86%. Finally this experiment validates the use of our equipment as a general and reproducible tool for the study of participants engaged in screen-based interaction and/or problem solving.

International audience; We present an experience with the development and evaluation of AppsGate, an ecosystem for the home that can be programmed by end-users. We show the benefits from using the homes of the project team members as real-life living-labs. In particular, we discuss the first person perspective experience as an effective way to conduct longitudinal experiments in real world settings. We conclude that a programmable habitat is desirable provided that attention cost is minimized.; Cet article présente une expérience avec la mise en œuvre et l’évaluation d’AppsGate, un écosystème domestique programmable par l’habitant. Nous montrons l’apport de l’utilisation des domiciles de membres du projet tout au long du processus de développement, et notamment l’intérêt de « vivre avec » comme technique d’expérimentation longitudinale.

One way to provide realistic immersive VR content relies on producing high-quality panoramic videos. These videos are usually produced using multiple cameras with different optical centers and which may not be perfectly synchronized This results in spatial and temporal artifact, even though the blending algorithm strives to reduce them. In this paper, we devise a method that detects potential visual artifacts, based on existing view synthesis quality metrics. The method works by computing pair-wise quality at each blending step and fusing them to produce a global map of potential errors. To get a more accurate prediction, we develop a mask that is then applied to the error map and therefore accentuates the defects on the blending cutting line. Results show that the calculated distortion map succeeds to identify visual artifacts in panoramas which can help design better solutions to this problem in the future.

International audience; In the near future, robots will support human to perform tasks in many domains (industrial, domestic, educational and health tasks).Such robot behaviors need to take into account the social interaction between robot and human.In this context, we focus on the expressiveness of a moving head for an assistive robot for the elderly.We designed a new moving head for the Kompaï companion robot.On one hand, this new head improves its perception capabilities.On the other hand, we expect to jointly increase its social skills and thus its acceptability.This new head is composed of a tablet to animate a virtual face according to 4 facial expressions and a mechanical neck with 4 degrees of freedom to enhance the robot's expression.Before improving face expressions and adding more complex head movements, it is essential to evaluate the combination of simple head movements with virtual face expressions. A study was held jointly with physicians (psychologists, ergonomists) at the Broca Hospital in Paris to assess the impact to combine head movements with virtual face expressions, and the global acceptability of the Kompaï head by the elderly.

International audience; Multi-view image-based rendering consists in generating a novel view of a scene from a set of source views. In general, this works by first doing a coarse 3D reconstruction of the scene, and then using this reconstruction to establish correspondences between source and target views, followed by blending the warped views to get the final image. Unfortunately, discontinuities in the blending weights, due to scene geometry or camera placement, result in artifacts in the target view. In this paper, we show how to avoid these artifacts by imposing additional constraints on the image gradients of the novel view. We propose a variational framework in which an energy functional is derived and optimized by iteratively solving a linear system. We demonstrate this method on several structured and unstructured multi-view datasets, and show that it numerically outperforms state-of-the-art methods, and eliminates artifacts that result from visibility discontinuities; Le rendu basé image consiste à générer un nouveau point de vue à partir d'un ensemble de photos d'une scène. On commence en général par effectuer une reconstruction 3D approximative de la scène, utilisée par la suite pour synthétiser l'image cherchée à partir des images sources. Malheureusement, les discontinuités dans les poids des images sources, dues à la géométrie de la scène ou au placement des caméras, causent des artefacts visuels dans la vue résultante. Dans cet article nous montrons qu'une façon d'éviter ces artefacts est d'imposer des contraintes supplémentaires sur le gradient de l'image synthétisée. Nous proposons une approche variationnelle suivant laquelle l'image cherchée est solution d'un système linéaire résolu de façon itérative. Nous testons la méthode sur plusieurs jeux de données multi-vues structurés et non-structurés, et nous montrons que non seulement elle est plus performante que les méthodes de l'état de l'art, mais elle élimine aussi les artefacts créés par les discontinuités de visibilité.

International audience; In this position paper, we explore qualities for describing the autonomy, suitability and composability of smart objects. The specific set of qualities proposed below is tentative and incomplete. Our intention is to trigger discussion and debate within the scientific community in order to arrive at a consensus. If successful, a longer, more complete paper will then be prepared to communicate the results.

International audience; Nous étudions le problème du placement optimal sous contraintes, de plusieurs caméras, pour la synthèse de nouvelles vues. Une telle configuration optimale est définie comme celle qui minimise l'incertitude de projection des pixels des caméras de prise de vue sur la vue à synthétiser. Le rendu de cette vue est souvent précédé d'une phase de reconstruction 3D approximative. Nous dérivons la matrice de covariance associée à l'incertitude sur la géométrie, puis nous propageons l'erreur sur le plan de la nouvelle vue. Nous observons l'influence de l'interoculaire et de la distance focale des caméras sur l'erreur projetée, pour des distributions de points aléatoires à diverses profondeurs.

International audience; SPOK is an End-User Development Environment that permits people to monitor, control, and configure smart home services and devices. SPOK has been deployed for more than 4 months in the homes of 5 project team members for testing and refinement, prior to longitudinal experiments in the homes of families not involved in the project. This article reports on the lessons learned in this initial deployment.

International audience; In this paper we present a technique for facial expression analysis and representing the underlying emotions in the PAD (Pleasure-Arousal-Dominance) space. We develop a purely appearance based approach using Multi-scale Gaussian derivatives and Support Vector Machines. The system can generalize well and is shown to outperform the baseline method.

International audience; In this paper we show that Multi-scale Gaussian Derivatives combined with Support Vector Machines provide an effective approach to facial expression analysis.The approach was tested on the GENKI and Cohn-Kanade dataset for detecting smiles. Our approach outperformed the current benchmark approach of using Gabor Energy Filters with Support Vector Machines.

Session "Posters" - Site conf.: http://liris.cnrs.fr/rfia2012; National audience; Nous présentons dans cet article une nouvelle méthode pour la modélisation des objets et de la scène dans un environnement intérieur inconnu. Les milieux intérieurs sont composés d'une quantité d'objets susceptibles d'être déplacés. Nous souhaitons exploiter les multiples passages d'une caméra dans un même lieu et tirer parti de ces déplacements pour modéliser d'une part la structure de la scène et d'autre part les objets le constituant. Nous proposons une association de méthodes de SLAM métrique et de reconnaissance de lieu pour détecter et représenter les objets de façon automatique et enrichir la connaissance de la scène. Abstract: This paper presents a new solution for modeling the scene and the objects in unknown environments. Many objects in indoor environments are likely to be moved. We want to make the most of several observations of a camera in the same scene to represent the different places and objects. We propose to combine methods of metrical localization and place recognition to detect and model objects and extend the scene model.

Session: Appariement - http://orasis2011.inrialpes.fr/programme; National audience

This paper presents a new formulation of place recognition in unknown environments. Many objects in indoor environments are likely to be moved. We want to make the most of several observations of a camera in the same scene to represent the different places and objects. We propose to combine methods of metrical and topological localization to detect and model objects. We present also a probabilistic approach for place recognition that considers the objects., Nous présentons dans cet article une nouvelle formulation de la modélisation et de la reconnaissance de lieu. Les milieux intérieurs sont composés d'une quantité d'objets susceptibles d'être déplacés. Nous souhaitons exploiter les multiples passages d'une caméra dans un même environnement pour modéliser d'une part la structure de la scène et d'autre part les objets le constituant. Nous proposons une association de méthodes de SLAM métrique et topologique pour détecter et représenter les objets, ainsi qu'un formalisme probabiliste pour la reconnaissance de lieu prenant en compte l'évolution des objets.

83 pages; This document presents the LIG in two parts. The first part (Volume 1) presents three aspects of the LIG: (1) organisation, (2) results obtained in the first four-year period, and (3) the scientific projects for the next five years. The second part (Volume 2) presents the 23 teams of the laboratory.

International audience; no abstract

no abstract

International audience; In this paper we describe the use of situation models for observing and understanding activity. Observing activity in natural environments can be an extremely complex perceptual problem. Situation models provide a means to both focus attention in such systems and to provide default reasoning to accommodate missing and erroneous observations. We briefly review the use of situations models in Cognitive Science and then describe how such models can be used to provide services based on observation of human activity. We present a layered component-oriented software architecture in which components for perception and action maintain a situation model for use in providing human services.

International audience; Ubiquitous environments may become a reality in a foreseeable future and research is aimed on making them more and more adapted and comfortable for users. Our work consists on applying reinforcement learning techniques in order to adapt services provided by a ubiquitous assistant to the user. The learning produces a context model, associating actions to perceived situations of the user. Associations are based on feedback given by the user as a reaction to the behavior of the assistant. Our method brings a solution to some of the problems encountered when applying reinforcement learning to systems where the user is in the loop. For instance, the behavior of the system is completely incoherent at the beginning and needs time to converge. The user does not accept to wait that long to train the system. The user's habits may change over time and the assistant needs to integrate these changes quickly. We study methods to accelerate the reinforced learning process.

International audience; This paper proposes a framework intended to help developers to create ubiquitous applications. We argue that context is a key concept in ubiquitous computing and that, by nature, a ubiquitous application is distributed and needs to be easily deployable. Thus we propose an easy way to build applications made of numerous modules spread in the environment and interconnected. This network of modules forms a permanently running system. The control (installation, update, etc.) of such a module is obtained by a simple, possibly remote, command and without requiring to stop the whole system. We ourselves used this architecture to create a ubiquitous application, which we present here as an illustration.

This paper describes experiments with techniques for tracking hands and recognizing gestures. Complementary techniques are presented for detecting and tracking hands and tools. These techniques are integrated within a system which uses multiple image processing techniques to estimate the position and orientation of a hand. Images of the tracked hand are normalized in orientation and position and then projected into a principal components space. Hand configurations are represented using a probabilistic classification. Gestures are recognized in this space as sequences of hand configurations using finite state machines. 1 Direct Manipulation of Objects as an Interaction Modality Human gesture serves three functional roles [4]: semiotic, ergotic, and epistemic. The semiotic function of gesture is to communicate meaningful information. The structure of a semiotic gesture is conventional and commonly results from shared cultural experience. The good-bye gesture, the American sign language... (http://www-prima.imag.fr/Prima/Homepages/jlc/papers/PUI97.Crowley.pdf)

Ce rapport présente les résultats des activités menées en Vision dans le cadre du projet ORASIS rattaché au PRC Communication Homme-Machine. Ces résultats portent sur la stéréovision, la segmentation d'images, la modélisation des incertitudes en perception et l'interprétation des scènes.

L’une des tâches les plus complexes pour laquelle les ordinateurs ont été programmés concerne le mimétisme des capacités de perception et d’interaction des humains en utilisant tout d’abord des informations monomodales (acoustiques, visuelles, tactiles, de proprioception, …) puis multimodales en combinant plusieurs modalités. À partir de ces capacités de perception, les systèmes interactifs, c’est-à-dire les systèmes interagissant avec des humains, peuvent être sensibles à l’environnement qui les entoure, aux utilisateurs présents, à la situation courante… Cela leur permet de percevoir, comprendre et prédire pour agir en conséquence, voire d’agir d’une manière sociable pour être un partenaire des humains à part entière.La perception multimodale par ordinateur et les interactions sociables sont les problématiques de fond de mes travaux depuis mon recrutement en tant que Maître de conférences en 2005, le traitement du signal (« signal processing ») et l’apprentissage automatique (« machine learning ») en étant les fondements. Ce manuscrit présente mes travaux sur la perception multimodale et les interactions sociables dans plusieurs contextes en les regroupant autour de mes thématiques de recherche principales.Ce manuscrit aborde tout d’abord la perception multimodale ubiquitaire au sein d’espaces perceptifs multimodaux tels les salles de réunions augmentées, les appartements équipés pour le maintien de personnes âgées/fragiles à domicile ou des espaces à plus grande échelle comme les bâtiments d’un campus universitaire. Faisant suite aux progrès en robotique, cette perception s’est naturellement déplacée des environnements perceptifs vers les robots mobiles, permettant des interactions sociables entre les humains et des robots compagnons (Human Robot Interaction - HRI) mais aussi avec des robots particuliers que sont les véhicules autonomes. Les travaux de recherche concernant la perception des humains et de leurs affects sont ensuite présentés via mes recherches sur la perception en champ proche (< 1 m) et sur la détection des humains et de leurs comportements autour de nos systèmes interactifs, base nécessaire à leur fonctionnement. Nos travaux préliminaires sur la détection de personnes en utilisant de l’apprentissage profond (« Deep Learning ») sont décrits. Ce manuscrit se clôt en présentant les directions et les perspectives de mon projet de recherche intitulé « Perception multimodale et interaction sociable ».

L’une des tâches les plus complexes pour laquelle les ordinateurs ont été programmés concerne le mimétisme des capacités de perception et d’interaction des humains en utilisant tout d’abord des informations monomodales (acoustiques, visuelles, tactiles, de proprioception, …) puis multimodales en combinant plusieurs modalités. À partir de ces capacités de perception, les systèmes interactifs, c’est-à-dire les systèmes interagissant avec des humains, peuvent être sensibles à l’environnement qui les entoure, aux utilisateurs présents, à la situation courante… Cela leur permet de percevoir, comprendre et prédire pour agir en conséquence, voire d’agir d’une manière sociable pour être un partenaire des humains à part entière.La perception multimodale par ordinateur et les interactions sociables sont les problématiques de fond de mes travaux depuis mon recrutement en tant que Maître de conférences en 2005, le traitement du signal (« signal processing ») et l’apprentissage automatique (« machine learning ») en étant les fondements. Ce manuscrit présente mes travaux sur la perception multimodale et les interactions sociables dans plusieurs contextes en les regroupant autour de mes thématiques de recherche principales.Ce manuscrit aborde tout d’abord la perception multimodale ubiquitaire au sein d’espaces perceptifs multimodaux tels les salles de réunions augmentées, les appartements équipés pour le maintien de personnes âgées/fragiles à domicile ou des espaces à plus grande échelle comme les bâtiments d’un campus universitaire. Faisant suite aux progrès en robotique, cette perception s’est naturellement déplacée des environnements perceptifs vers les robots mobiles, permettant des interactions sociables entre les humains et des robots compagnons (Human Robot Interaction - HRI) mais aussi avec des robots particuliers que sont les véhicules autonomes. Les travaux de recherche concernant la perception des humains et de leurs affects sont ensuite présentés via mes recherches sur la perception en champ proche (< 1 m) et sur la détection des humains et de leurs comportements autour de nos systèmes interactifs, base nécessaire à leur fonctionnement. Nos travaux préliminaires sur la détection de personnes en utilisant de l’apprentissage profond (« Deep Learning ») sont décrits. Ce manuscrit se clôt en présentant les directions et les perspectives de mon projet de recherche intitulé « Perception multimodale et interaction sociable ».

This thesis describes a new technique for the compression of digital video data, called Orthonormal Basis Coding (OBC). Algorithms from computer vision, data compression, and pattern recognition are combined to form its three-step encoding scheme. OBC gathers information about image content without using models. Instead, it is based on appearance. Appearance-based techniques use orthonormal basis space representations of objects, usually in eigenspace, and exploit geometrical properties of these object representations. From a sequence of images of an object, each image contributes a point in the orthonormal basis space used. Focusing on one object from a sequence means that we need to normalize our video input data to one principal object. Given the application areas for video compression, a talking head as principal object is a natural choice. We show that OBC is a valid alternative to conventional video compression techniques. If the input video stream is well normalized to the principal object, OBC outperforms conventional compression techniques., Cette thèse présente une nouvelle technique pour la compression de données vidéo numériques, appelée le Codage de Bases Orthonormales (CBO). Des algorithmes de vision par ordinateur, de compression de données, et d'identification de configuration sont combinés pour donner une méthode de codage en trois étapes. CBO recueille des informations sur le contenu d'une image sans utiliser de modèles. Au lieu de cela, il est basé sur l'apparence d'objets. Les techniques basées sur l'apparence utilisent des représentations orthonormales de l'espace de base des objets, habituellement dans l'espace propre, et exploitent les propriétés géométriques de ces représentations d'objet. Dans une séquence d'images d'un objet, chaque image est un point dans l'espace engendré par la base orthonormale utilisée. Une concentration sur un objet représente une normalisation des données visuelles d'entrée d'un objet principal. Étant donné les domaines d'application pour la compression vidéo, le visage d'un locuteur comme objet principal est un choix normal. Nous démontrons que CBO est une alternative valide aux techniques de compression vidéo conventionnelles. En fonction de la précision de la normalisation sur l'objet principal, le CBO montre une performance bien supérieure a celle des techniques conventionnelles.

This thesis lies in the field of gesture recognition in the context of Human Computer Interaction (HCI). The goal was the design of recognition and understanding systems dedicated to the gestual channel, and their integration into new forms of interaction between users and computerized systems. A review of gestual communication and the domain of HCI allows a reflection of their use for new, natural interaction and the definition of gestures from a designer's point of view. We define a gesture by the concept of its trajectory, which is a parametrized curve over time in characteristics space. Characteristics of a hand are, e.g., its location and its posture. We propose to decompose the recognition problem into three stages: analysis, recognition and interpretation. During the analysis stage we compute the characteristics of a hand for each image of a sequence and create the gesture's trajectory. Spatio-temporal analysis during the recognition step then classifies the gesture between a set of known gestures specific to the application. The interpretation stage finally finds the correspondence between the recognized gesture and the action to be taken by the system. This stage is application dependent. In this thesis we focus on gestures in an intelligent environment, considering gestures for the manipulation of computerized objects and for drawing. We also present an application for human activities recognition based on the movement of individuals in that environment., Cette thèse se place dans le domaine de la reconnaissance de gestes dans le cadre d'interactions homme-machine. L'objectif est la conception de systèmes de reconnaissance et de compréhension adaptés au canal gestuel et son intégration dans de nouvelles interactions entre un utilisateur et un système informatique. Une revue de la communication gestuelle et de l'interaction homme-machine nous permet de nous interroger sur leurs applications pour une nouvelle interaction naturelle et la définition d'un geste du point de vue d'un concepteur d'interaction gestuelle. Nous définissons un geste par une trajectoire, c'est-à-dire une courbe paramètrée par le temps dans un espace de caractéristiques. Ces caractéristiques sont la position spatiale de la main et sa configuration. Nous proposons de décomposer la reconnaissance en trois étapes : analyse, reconnaissance et interprétation. L'étape d'analyse calcule les caractéristiques de la main dans chaque image de la séquence, créant ainsi la trajectoire du geste. Son analyse spatio-temporelle lors de l'étape de reconnaissance permet de la classifier parmi l'ensemble des gestes connus, spécifiques à l'application. Enfin, l'étape d'interprétation effectue la correspondance entre le geste reconnu et l'action à réaliser. Cette étape est dépendante de l'application visée. Dans cette thèse, nous nous intéressons aux gestes réalisés dans le cadre d'un environnement intelligent. Nous considérons ainsi des gestes de manipulations d'objets en réalité augmentée et des gestes de dessins. Nous présentons enfin une application de reconnaissance d'activités humaines se basant sur le mouvement d'un individu dans cet environnement.

This thesis belong to the field of modelisation and recognition of objects using their appearance. Each object is modeled by a collection of images and recognition is obtained by the matching between a new image and a model image. Images are modeled by measures on local features. Several local descriptor bases are theoretically and experimentally evaluated and a Gaussian derivative basis is selected for its properties which include~: high discriminability for a concise description, scalability and steerability. Invariance to orientation is obtained by setting derivative directions according to the local gradient. Invariance to scale is obtained by a new technique which locally selects a characteristic scale for describing a neighborhood. This scale correspond to a maximum over scale of a Laplacian operator. These invariances are experimentally validated. In our system, an image is decomposed in a grid of overlapping windows which is represented by a corresponding grid of local features computed on these windows. This highly redundant representation enables us to design two robust recognition techniques~: the first one is based on a simple vote and the second one based on the prediction--verification method consists in splitting the recognition process in an hypothesis generation step for a single window followed by a verification step which checks the generated hypothesis on the neighboring windows with inclusion of geometric coherence constraints., Cette thèse se place dans le domaine de la modélisation et de la reconnaissance d'objets par leur apparence. Chaque objet est modélisé par une collection d'images et la reconnaissance est obtenue par l'appariement d'une nouvelle image avec une image modèle. Les images sont modélisées par des mesures sur des caractéristiques locales. Plusieurs bases de descripteurs locaux sont évaluées théoriquement et expérimentalement et la base des dérivées de Gaussiennes est sélectionnée pour ses propriétés de discriminabilité avec une description très concise et son paramétrage en orientation et en échelle. Une invariance à l'orientation de la caméra par rapport à l'objet est obtenue par un calage des dérivées sur la direction du gradient et une invariance à l'échelle est obtenue par une technique novatrice qui consiste à sélectionner en chaque point une échelle caractéristique pour décrire son voisinage. Cette échelle caractéristique correspond au maximum en échelle d'un opérateur Laplacien. Ces invariances sont validées par des expérimentations systématiques. Dans notre système, une image est décomposée en une grille de fenêtres recouvrantes puis représentée par une grille de descripteurs locaux calculés sur ces fenêtres. Cette représentation très redondante nous a permis de définir deux stratégies de reconnaissance robustes~: l'une fondée sur un vote et l'autre fondée sur une stratégie par prédiction--vérification qui consiste à découper la reconnaissance en une phase de génération d'hypothèses d'appariement pour une fenêtre suivi d'une phase de vérification de ces hypothèses sur les fenêtres voisines en incluant des contraintes de cohérence spatiale à cette vérification.

During the last few years, there has been a growing interest in object recognition schemes directly based on images, each correspondingg to a particular appearance of the object. Representations of objects, which only use information of images are called (\it appearance based) models. The interest in such representation schemes is due to their robustness, speed and success in recognizing objects. The thesis proposes a framework for the statistical representation of appearances of 3D objects. The representation consists of a probability density function over a set of robust local shape descriptors which can be extracted reliable from images. The object representation is therefore learned automatically from sample images. Multidimensional receptive field histograms are introduced for the approximation of the probability density function. A main result of the thesis is that such a representation scheme based on local object descriptors provides a reliable means for object representation and recognition. Different recognition algorithms are proposed and experimentally evaluated. The first recognition algorithm by histogram matching can be seen as the generalization of the color indexing scheme of Swain and Ballard. The second recognition algorithm calculates probabilities for the presence of objects only based on multidimensional receptive field histograms. The most remarkable property of the algorithm is that he does not rely neither on correspondence nor on figure ground segmentation. Experiments show the capability of the algorithm to recognize 100 objects in cluttered scenes. The third recognition algorithm incorporates several viewpoints in an active recognition framework in order to solve ambiguities inherent in single view recognition schemes. The thesis also proposes visual classes as a general framework for appearance based object classification. Classification has been proven difficult for arbitrary objects due to instabilities of invariant representations. The proposed concepts for extraction, representation and recognition of visual classes provide a general framework for object classification. The thesis aims, from an abstract point of view, to push the limits of the appearance based paradigm without using neither figure ground segmentation nor correspondence. The active object recognition allows the consistent recognition of objects in 3D and therefore overcomes the limits of single view recognition. The appearance based classification framework based on the concept of visual classes will serve for future research., Au cours des dernières années, l'intérêt pour des algorithmes de reconnaissance fondés sur l'apparence à considérablement augmenté. Ces algorithmes utilisent directement des informations d'images. A partir des images d'objets ces approches construisent des "modèles fondés sur l'apparence", car chaque image représentée correspond à une apparence particulière d'un objet. La fiabilité, la vitesse et le taux de reconnaissance élevé de ces techniques en constituent les intérêts majeurs. Le succès de ces méthodes est considérable pour la reconnaissance de visages, dans le contexte de l'interface homme-machine et pour l'accès à des bases d'images par leurs contenus. Cette thèse propose une technique ou les objets sont représentés par des statistiques sur des opérateurs locaux et robustes. On veut montrer qu'une telle représentation fondée sur l'apparence est fiable et extrêmement discriminante pour la reconnaissance d'objets. La motivation initiale de cette étude était la reconnaissance rapide d'objets par la méthode des histogrammes de couleurs. Cette méthode utilise les statistiques de couleurs comme modèle d'objets. La première partie de la thèse généralise cette approche en modélisant des objets par les statistiques de leurs caractéristiques locales. La technique généralisée - que l'on appelle "histogrammes multidimensionnels de champs" réceptifs - permet de discriminer un grand nombre d'objets. Les faiblesses de cette approche sont liées aux "défis des modèles fondés sur l'apparence". Ces défis concernent la reconnaissance en présence d'occultation partielle, la reconnaissance d'objets 3D à partir des images 2D et la classification d'objets comme généralisation en dehors de la base d'objets. La deuxième partie de la thèse examine chacun de ces défis et propose une extension appropriée de notre technique. L'intérêt principal de cette thèse est le développement d'un modèle de représentation d'objets qui utilise les statistiques de vecteurs de champs réceptifs. Plusieurs algorithmes de l'identification et aussi de la classification d'objets sont proposés. En particulier, un algorithme probabiliste est defini : il ne dépend pas de la correspondance entre les images de test et les objets de la base de données. Des expériences obtiennent des taux de reconnaissance élevés en utilisant le modèle de représentation proposé. dans un état de l'art on décrit brièvement des techniques qui ont étés sources d'inspiration : des techniques de histogrammes de couleurs, des algorithmes de reconnaissance fondée sur des descripteurs locaux et des approches de la représentation et reconnaissance statistique d'objet. Afin de généraliser la technique de la comparaison d'histogrammes de couleurs, des descripteurs locaux sont discutés. Différentes techniques de comparaison d'histogrammes sont proposées et leur robustesse par rapport au bruit et au changement de l'intensité d'éclairage est analysée. Dans des expérimentations de l'identification d'une centaine d'objets les différents degrés de liberté de la reconnaissance d'objets sont considérés : changements d'échelle et de la rotation d'image, variations du point de vue et occultation partielle. Un algorithme probabiliste est proposé, qui ne dépend pas de la correspondance entre les images de test et les objets de la base de données. Des expériences obtiennent des taux de reconnaissance élevés en utilisant seulement une petite partie visible d'objet. Enfin une extension de cet algorithme fondée sur une table de hachage dynamique est proposée pour la reconnaissance de plusieurs objets dans les scènes complexes. Deux algorithmes actifs de reconnaissance d'objets sont proposés. Un algorithme calcule des régions d'intérêt pour le contrôle de fixation d'une caméra en 2D. Le deuxième algorithme propose la planification de points de vue pour la reconnaissance des objets 3D à partir des apparence d'objets en 2D. Un dernier chapître propose le concept des classes visuelles définis par des similarites d'objets comme cadre général pour la classification d'objets. Une technique selon le maximum de vraisemblance est proposé pour la reconnaissance des classes visuelles et appliquée pour obtenir des images visuellement similaire d'une base d'images.

The objective of this work is to compare the main existing techniques to synthesize perception to action mappings for reactive control of a mobile robot towards a goal in an unknown environment. This work is motivated by the limitations of the navigation system created for the European Research Project Mithra Eureka EU:110 which is based on the execution of a planned path from a parametric model of the observed environment. The first mapping we consider is based on force fields derived from potential fields. We propose an heuristic approach generating continuously translation movement to try to reduce the number of local minima. As all the problems are not solved, we have then considered a second family of transformation generators~: fuzzy logic. The experiments we have made leads to the conclusion that problems are of the same nature as force fields problems. The second part of the manuscript deals with learning control techniques in mobile robotics. We have more precisely considered two main families of approaches : supervised and reinforcement learning. We first remind the robotic particular constraints that a selected learning algorithm must be able to deal with. We then propose for supervised learning a (\em Grow and Learn) type network coupled with a principal components analysis of sensory data. We then propose a new learning algorithm for fuzzy rules which can be used in an Adaptive Heuristic Critic approach on reinforcement learning., L'objectif de ce memoire est de presenter une etude des principales approches existantes pour la synthese de transformations perception-action permettant le pilotage reactif d'un robot mobile vers un but situe dans un univers inconnu. Cette etude est motivee par les limitations du systeme de navigation mis en place dans le cadre du projet Europeen Mithra Eureka EU:110 et qui est base sur l'execution d'un chemin extrait d'un modele parametrique de l'environnement percu. La premiere transformation consideree est basee sur les methodes dites de champs de forces, derivees des methodes a base de potentiels. Nous proposons en particulier une approche heuristique favorisant les mouvements de translation afin de limiter les phenomenes de blocage du robot. La totalite des problemes n'etant pas resolus, nous nous sommes alors interesses a une deuxieme categorie d'outils de synthese de transformations: la logique floue. Les experiences realisees nous ont permis de constater que les problemes rencontres sont similaires a ceux des champs de forces. La seconde partie du manuscrit est dediee a l'utilisation en robotique de techniques issues de l'apprentissage automatique en controle. Nous nous sommes plus particulierement interesses a deux grandes categories d'approches : le supervise et le renforce. Apre`s avoir rappele les contraintes propres a la robotique qu'un algorithme d'apprentissage choisi doit etre en mesure de gerer, nous avons propose dans le cadre de l'apprentissage supervise l'utilisation d'un reseau de neurones de type Grow and Learn couple a une analyse en composantes principales des donnees capteurs. Nous avons ensuite propose un nouvel algorithme d'apprentissage de regles floues pouvant etre utilise dans le cadre d'une approche de type Adaptive Heuristic Critic en apprentissage renforce.

La these concerne l'etude du controle dans un systeme integre de vision par ordinateur. La structure d'un tel systeme permet l'ajout et le retrait dynamique de traitements et de representations selon les types de scenes envisagees. Nous decomposons le probleme du controle en quatre sous-problemes definissant l'objectif a satisfaire (decision), les criteres de selection qui en decoulent (adaptation), l'action a executer en appliquant ces criteres de selection (commande) et les observations necessaires pour la resolution des sous-problemes precedents (observation). Afin d'offrir une architecture d'integration ouverte et flexible, nous utilisons une approche Multi-agents, repercutant ainsi les problemes de controle selon deux dimensions : controle individuel (interne a un agent) et controle social (gestion des interactions et de la resolution des agents). La structure de controle de chaque agent est organisee selon trois couches dediees respectivement a la resolution des problemes de decision, d'adaptation et de commande. Le controle social restreind les interactions possibles et les resolutions entreprises par chacun des agents. Des protocoles definissent l'enchainement des interactions. Ces deux notions s'inscrivent dans un modele de societe dans lequel sont aussi explicitees les trois couches resolvant les sous-problemes de controle. L'architecture proposee permet d'etudier le controle necessaire pour l'expression de modes de fonctionnement deliberatifs et reactifs au sein de chacun des agents et, d'autre part, d'integrer dynamiquement les modes de reconstruction et de reconnaissance au travers de la gestion des interactions. L'interet de cette approche est illustree au travers de realisations issues du systeme Vision As Process (VAP) developpe dans le cadre du projet Europeen BRA3038.