Search

International audience; Automatic human Activity Recognition (AR) is an important process for the provision of context-aware services in smart spaces such as voice-controlled smart homes. In this paper, we present an on-line Activities of Daily Living (ADL) recognition method for automatic identification within homes in which multiple sensors, actuators and automation equipment coexist, including audio sensors. Three sequence-based models are presented and compared: a Hidden Markov Model (HMM), Conditional Random Fields (CRF) and a sequential Markov Logic Network (MLN). These methods have been tested in two real Smart Homes thanks to experiments involving more than 30 participants. Their results were compared to those of three non-sequential models: a Support Vector Machine (SVM), a Random Forest (RF) and a non-sequential MLN. This comparative study shows that CRF gave the best results for on-line activity recognition from non-visual, audio and home automation sensors.

International audience; La commande vocale a été identifiée comme un mode d’interaction très intéressant dans l’habitat intelligent, qu’elle soit adressée directement à l’habitat ou à une interface robotique, aussi bien en ce qui concerne le confort que dans le domaine de l’assistance aux personnes âgées. Cependant, même lorsque le sujet peut contrôler sa production pour respecter strictement une référence imposée, dans le contexte naturel de l’usage quotidien « naturel » les productions vocales sont inévitablement souvent expressives. Dans cet article, à partir d’un corpus de parole émue actée/neutre collecté par élicitation,nous observons une chute significative de performance d’un système de RAP générique pour la parole émue par rapport à la voix neutre et nous évaluons le gain intéressant apporté par une adaptation du système. Nous concluons sur la nécessité de prendre en compte cette adaptationdans le développement d’un système vocal destiné à l’assistance aux personnes.

International audience; In smart homes, prediction and decision are often defined a priori and require tuning from the user, which can be tedious, and complex. However, these smart home can demonstrate the ability to analyse the user behavior and so as to modify its decisions automatically. We present a preliminary study that tests a decision system from voice command and context which is modified by reinforcement learning. The system was run on a realistic corpus which shows the interest of such an adaptation.; Dans les habitats intelligents, les prédictions et décisions qui sont souvent faites a priori nécessitent de la part de l'utilisateur une configuration qui peut être complexe et fastidieuse. Ces habitats ont pourtant des capacités de perception requises pour analyser le comportement de l'utilisateur et modifier ses décisions automatiquement. Nous présentons une étude préliminaire qui teste un système de décision à partir d'une commande vocale et de son contexte modifié par renforcement. Le système expérimenté sur un corpus réaliste montre le potentiel d'une telle adaptation.

International audience; In Smart Home, the vocal home automation orders, for comfort purposes, or assistive devoted, have been pointed as the more relevant interaction for ambient assisted living. Even if the orders are very strictly formulated, when they are daily used (directed to the smart home, or to a robot mediator), they become often pronounced with various affects. In this paper we have evaluated how some state of the art ASR systems shut down with expressive orders, acted or spontaneous, and how the ASR training with neutral and/or acted and/or spontaneous expressive commands corpus can greatly modify the ASR performances.

International audience; Evolution of ICT led to the emergence of smart home. A Smart Home consists in a home equipped with data-processing technology which anticipates the needs of its inhabitant while trying to maintain their comfort and their safety by action on the house and by implementing connections with the outside world. Therefore, smart homes equipped with ambient intelligence technology constitute a promising direction to enable the growing number of elderly to continue to live in their own homes as long as possible. However, the technological solutions requested by this part of the population have to suit their specific needs and capabilities. It is obvious that these Smart Houses tend to be equipped with devices whose interfaces are increasingly complex and become difficult to control by the user. The people the most likely to benefit from these new technologies are the people in loss of autonomy such as the disabled people or the elderly which cognitive deficiencies (Alzheimer). Moreover, these people are the less capable of using the complex interfaces due to their handicap or their lack ICT understanding. Thus, it becomes essential to facilitate the daily life and the access to the whole home automation system through the smart home. The usual tactile interfaces should be supplemented by accessible interfaces, in particular, thanks to a system reactive to the voice ; these interfaces are also useful when the person cannot move easily. Vocal orders will allow the following functionality: - To ensure an assistance by a traditional or vocal order. - To set up a indirect order regulation for a better energy management. - To reinforce the link with the relatives by the integration of interfaces dedicated and adapted to the person in loss of autonomy. - To ensure more safety by detection of distress situations and when someone is breaking in the house. This chapter will describe the different steps which are needed for the conception of an audio ambient system. The first step is related to the acceptability and the objection aspects by the end users and we will report a user evaluation assessing the acceptance and the fear of this new technology. The experience aimed at testing three important aspects of speech interaction: voice command, communication with the outside world, home automation system interrupting a person's activity. The experiment was conducted in a smart home with a voice command using a Wizard of OZ technique and gave information of great interest. The second step is related to a general presentation of the audio sensing technology for ambient assisted living. Different aspect of sound and speech processing will be developed. The applications and challenges will be presented. The third step is related to speech recognition in the home environment. Automatic Speech Recognition systems (ASR) have reached good performances with close talking microphones (e.g., head-set), but the performances decrease significantly as soon as the microphone is moved away from the mouth of the speaker (e.g., when the microphone is set in the ceiling). This deterioration is due to a broad variety of effects including reverberation and presence of undetermined background noise such as TV radio and, devices. This part will present a system of vocal order recognition in distant speech context. This system was evaluated in a dedicated flat thanks to some experiments. This chapter will then conclude with a discussion on the interest of the speech modality concerning the Ambient Assisted Living.

International audience; In this paper, we present a multisource ASR system to detect home automation orders in various everyday listening conditions in a realistic home. The system is based on a state of the art echo cancellation stage that feeds recently introduced ASR techniques. The evaluation was conducted on a realistic noisy data set acquired in a smart home where a microphone was placed near the noise source and several other microphones were placed in different rooms. This distant speech corpus was recorded with 23 speakers uttering colloquial or distress sentences as well as home automation orders. Techniques acting at the decoding stage and using a priori knowledge gave the best results in noisy condition compared to the baseline (recall= 93.2% vs 59.2%) reaching good enough performance for a real usage although improvement still need to be made when music is used as background noise.

National audience; L'utilisation de la reconnaissance vocale pour l'assistance à la vie autonome se heurte à la difficulté d'utilisation des systèmes de RAP qui ne sont pas prévus à la base pour la voix âgée. Pour caractériser les différences de comportement d'un système de reconnaissance entre les personnes âgées et non-âgées, nous avons étudié quels sont les phonèmes les moins bien reconnus en nous basant sur le corpus AD80 que nous avons enregistré. Les résultats montrent que certains phonèmes tels que les plosives sont plus spécifiquement affectés par l'âge. De plus nous avons recueilli le corpus spécifique ERES38 afin d'adapter les modèles acoustiques, avec pour résultat une diminution du taux d'erreur de mot de 15%. Malgré la grande variabilité des performances, nous avons caractérisé comment la baisse des performances du système de reconnaissance automatique de la parole peut être corrélée avec la baisse d'autonomie des personnes âgées.

The average age of the population in industrialized countries is steadily increasing. Seniors living alone are more numerous, either because they prefer to live independently, or because of a lack of space in the specialized institutions. We must find solutions allowing them to continue to stay at home comfortably and safely. Smart housings can constitute one of these solutions. One of the biggest challenges in Ambient Assisted Living (AAL) is to develop smart homes that anticipate the health needs of their inhabitants while maintaining their safety and comfort. It is therefore essential to facilitate interaction with the smart home through systems that respond naturally to voice commands, using microphones but no tactile interfaces. This thesis defines the concept of smart home and describes some interesting projects. It then explains how home assistance can take advantage of this concept thanks to sound analysis. The acceptability of a voice interface as part of the intelligent home has been studied through an experiment that showed what are the wishes, expectations and fears of older users, their families, and social workers. Audio analysis in smart homes is a still unexplored research area, the interest and the methods to analyze sound in- formation in a smart home have been studied here in an experiment which helped to highlight the challenges and technological obstacles to be removed in order to use sound information in addition to other modalities and, in the case of speech, distant speech recognition (ASR in remote recording conditions). A practical solution using several microphones is then presented. The intended purpose is to achieve a voice control system which will allow the user to control their environment not only by conventional switches and remote control devices, but also by voice. The advantage of the audio information combined with that of home automation sensors is then revealed through a multimodal analysis making it possible to locate a person in a smart home or to determine their activity. Localization is necessary, for example to determine the context in which a home automation command has been issued. The activity can be used to observe changes in the habits of a person to assist in diagnosis. Finally, the thesis presents the perspectives of research and future projects of the author. It is accompanied by the reproduction of four scientific papers published in refereed selective conferences.; La moyenne d'âge de la population des pays industriels augmente régulièrement. Les personnes âgées vivant seules sont de plus en plus nombreuses, soit parce qu'elles préfèrent vivre de manière autonome, soit par manque de place dans les institutions spécialisées. Il faut donc trouver des solutions leur permettant de continuer à rester chez elles de manière confortable et sûre. Les habitats intelligents peuvent constituer une de ces solutions. Un des plus grands défis dans l'Assistance à la Vie Autonome (AVA) est de concevoir des habitats intelligents pour la santé qui anticipent les besoins de leurs habitants tout en maintenant leur sécurité et leur confort. Il est donc essentiel de faciliter l'interaction avec l'habitat intelligent grâce à des systèmes qui réagissent naturellement aux commandes vocales, en utilisant des microphones et pas des interfaces tactiles. Ce mémoire définit le concept de maison intelligente et présente quelques projets intéressants. Il précise ensuite de quelle manière l'assistance à domicile peut tirer parti de ce concept en s'appuyant sur l'analyse sonore. L'acceptabilité d'une interface vocale dans le cadre de l'habitat intelligent a été étudiée grâce à une expérience qui a montré quels étaient les souhaits, les attentes et les craintes des utilisateurs âgés, de leurs familles, et des travailleurs sociaux. L'analyse audio dans la maison intelligente étant un domaine de recherche encore peu exploré, l'intérêt et la manière d'analyser les informations sonores dans un habitat intelligent sont ensuite abordés par une expérience qui a permis de mettre en évidence les défis et les verrous technologiques qui devront être levés pour pouvoir utiliser les informations sonores en complément des autres modalités, et, dans le cas de la parole, la reconnaissance en conditions d'enregistre- ment distant. Une solution pratique mettant en œuvre plusieurs microphones est ensuite présentée. Le but envisagé est la réalisation d'un système de commande vocale mettant l'utilisateur en mesure de piloter son environnement non seulement par les interrupteurs et télécommandes classiques, mais aussi par la voix. L'intérêt de l'information audio combinée à celle des capteurs domotiques est ensuite mis en évidence au travers d'une analyse multimodale permettant de localiser une personne dans un habitat intelligent ou de déterminer son activité. La localisation est nécessaire, par exemple pour avoir connaissance du contexte dans lequel un ordre domotique a été donné. L'activité peut être utilisée pour observer une évolution des habitudes de la personne pour aider à un diagnostic. Pour finir, le mémoire présente les perspectives de recherche et les projets à venir de l'auteur. Il est accompagné de la reproduction de 4 communications scientifiques publiées dans des congrès sélectifs à comité de lecture.

The average age of the population in industrialized countries is steadily increasing. Seniors living alone are more numerous, either because they prefer to live independently, or because of a lack of space in the specialized institutions. We must find solutions allowing them to continue to stay at home comfortably and safely. Smart housings can constitute one of these solutions. One of the biggest challenges in Ambient Assisted Living (AAL) is to develop smart homes that anticipate the health needs of their inhabitants while maintaining their safety and comfort. It is therefore essential to facilitate interaction with the smart home through systems that respond naturally to voice commands, using microphones but no tactile interfaces. This thesis defines the concept of smart home and describes some interesting projects. It then explains how home assistance can take advantage of this concept thanks to sound analysis. The acceptability of a voice interface as part of the intelligent home has been studied through an experiment that showed what are the wishes, expectations and fears of older users, their families, and social workers. Audio analysis in smart homes is a still unexplored research area, the interest and the methods to analyze sound in- formation in a smart home have been studied here in an experiment which helped to highlight the challenges and technological obstacles to be removed in order to use sound information in addition to other modalities and, in the case of speech, distant speech recognition (ASR in remote recording conditions). A practical solution using several microphones is then presented. The intended purpose is to achieve a voice control system which will allow the user to control their environment not only by conventional switches and remote control devices, but also by voice. The advantage of the audio information combined with that of home automation sensors is then revealed through a multimodal analysis making it possible to locate a person in a smart home or to determine their activity. Localization is necessary, for example to determine the context in which a home automation command has been issued. The activity can be used to observe changes in the habits of a person to assist in diagnosis. Finally, the thesis presents the perspectives of research and future projects of the author. It is accompanied by the reproduction of four scientific papers published in refereed selective conferences.; La moyenne d'âge de la population des pays industriels augmente régulièrement. Les personnes âgées vivant seules sont de plus en plus nombreuses, soit parce qu'elles préfèrent vivre de manière autonome, soit par manque de place dans les institutions spécialisées. Il faut donc trouver des solutions leur permettant de continuer à rester chez elles de manière confortable et sûre. Les habitats intelligents peuvent constituer une de ces solutions. Un des plus grands défis dans l'Assistance à la Vie Autonome (AVA) est de concevoir des habitats intelligents pour la santé qui anticipent les besoins de leurs habitants tout en maintenant leur sécurité et leur confort. Il est donc essentiel de faciliter l'interaction avec l'habitat intelligent grâce à des systèmes qui réagissent naturellement aux commandes vocales, en utilisant des microphones et pas des interfaces tactiles. Ce mémoire définit le concept de maison intelligente et présente quelques projets intéressants. Il précise ensuite de quelle manière l'assistance à domicile peut tirer parti de ce concept en s'appuyant sur l'analyse sonore. L'acceptabilité d'une interface vocale dans le cadre de l'habitat intelligent a été étudiée grâce à une expérience qui a montré quels étaient les souhaits, les attentes et les craintes des utilisateurs âgés, de leurs familles, et des travailleurs sociaux. L'analyse audio dans la maison intelligente étant un domaine de recherche encore peu exploré, l'intérêt et la manière d'analyser les informations sonores dans un habitat intelligent sont ensuite abordés par une expérience qui a permis de mettre en évidence les défis et les verrous technologiques qui devront être levés pour pouvoir utiliser les informations sonores en complément des autres modalités, et, dans le cas de la parole, la reconnaissance en conditions d'enregistre- ment distant. Une solution pratique mettant en œuvre plusieurs microphones est ensuite présentée. Le but envisagé est la réalisation d'un système de commande vocale mettant l'utilisateur en mesure de piloter son environnement non seulement par les interrupteurs et télécommandes classiques, mais aussi par la voix. L'intérêt de l'information audio combinée à celle des capteurs domotiques est ensuite mis en évidence au travers d'une analyse multimodale permettant de localiser une personne dans un habitat intelligent ou de déterminer son activité. La localisation est nécessaire, par exemple pour avoir connaissance du contexte dans lequel un ordre domotique a été donné. L'activité peut être utilisée pour observer une évolution des habitudes de la personne pour aider à un diagnostic. Pour finir, le mémoire présente les perspectives de recherche et les projets à venir de l'auteur. Il est accompagné de la reproduction de 4 communications scientifiques publiées dans des congrès sélectifs à comité de lecture.

International audience

83 pages; This document presents the LIG in two parts. The first part (Volume 1) presents three aspects of the LIG: (1) organisation, (2) results obtained in the first four-year period, and (3) the scientific projects for the next five years. The second part (Volume 2) presents the 23 teams of the laboratory.

Complete Sound and Speech Recognition System for Health Smart Homes: Application to the Recognition of Activities of Daily Living

International audience; Le faible prix des capteurs cinématique ainsi que leur faible consommation et facilité d'intégration ont permis de développer ces dernières années leur utilisation dans le cadre d'application biomédicales et notamment pour la surveillance des activités de la personne porteuse. Les travaux de recherche portent principalement sur la détection de certains moments de la vie quotidienne par reconnaissance de formes. Cet article décrit une méthode de détection des transferts posturaux utilisant la transformée en ondelettes afin de limiter le nombre de paramètres et de seuils à fixer pour des utilisations avec différentes populations. Cette méthode a ensuite été validée sur un scénario court donnant un taux de bonne classification global de 70%.

International audience; Le vieillissement accéléré de la population ces dernières années met en exergue les problèmes liés à la perte d'autonomie des personnes âgées. Les Sciences de l'Information et de la Communication permettent d'entrevoir la possibilité d'une surveillance personnalisée à domicile pour les personnes âgées. Cet article présente le choix et la disposition d'un ensemble de capteurs dans un appartement, les paramètres extraits pour la classification et l'utilisation des SVM avec la méthode un-contre- tous pour classifier un ensemble de sept activités de la vie quotidienne. Des expérimentations ont été menées sur treize personnes afin de constituer une base d'apprentissage et de validation.