Search

Your search keyword '"Popular interaction with 3d content (Potioc)"' showing total 93 results
Start Over Author "Popular interaction with 3d content (Potioc)" Topic human-computer interaction
93 results on '"Popular interaction with 3d content (Potioc)"'

1. Dišimo: Anchoring Our Breath

Author

Jérémy Frey, Jelena Mladenović, Jessica R. Cauchard, Interdisciplinary Center [Israël] (IDC), Interdisciplinary Center, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Interdisciplinary Center [Israël] ( IDC ), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, and Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria )

Subjects
Ambient display, Computer science, medicine.medical_treatment, Diaphragmatic breathing, Anchoring, Biofeedback, 02 engineering and technology, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.7: Interaction styles (e.g., commands, menus, forms, direct manipulation), ACM : H.: Information Systems/H.1: MODELS AND PRINCIPLES/H.1.2: User/Machine Systems/H.1.2.1: Human information processing, [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], Human–computer interaction, ACM : H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.7: Interaction styles (e.g., commands, menus, forms, direct manipulation), 0202 electrical engineering, electronic engineering, information engineering, medicine, Heart rate variability, 0501 psychology and cognitive sciences, Cardiac coherence, Session (computer science), [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Pace, Focus (computing), Relaxation (psychology), 05 social sciences, ACM: H.: Information Systems/H.1: MODELS AND PRINCIPLES/H.1.2: User/Machine Systems/H.1.2.1: Human information processing, 020207 software engineering
Abstract

International audience; We present a system that raises awareness about users' inner state. Dišimo is a multimodal ambient display that provides feedback about one's stress level, which is assessed through heart rate monitoring. Upon detecting a low heart rate variability for a prolonged period of time, Dišimo plays an audio track, setting the pace of a regular and deep breathing. Users can then choose to take a moment to focus on their breath. By doing so, they will activate the Dišimo devices belonging to their close ones, who can then join for a shared relaxation session.

Published
2018
Full Text
View/download PDF

2. Towards VE that are More Closely Related to the Real World

Author

Guillaume Moreau, Géry Casiez, Martin Hachet, Xavier Granier, Vincent Lepetit, Olivier Nannipieri, Technology and knowledge for interaction (LOKI), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Laboratoire Photonique, Numérique et Nanosciences (LP2N), Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS), Melting the frontiers between Light, Shape and Matter (MANAO), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Photonique, Numérique et Nanosciences (LP2N), Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), École Centrale de Nantes (ECN), Ambiances, Architectures, Urbanités (AAU ), École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Institut mediterranéen des sciences de l'information et de la communication (IMSIC), Aix Marseille Université (AMU)-Université de Toulon (UTLN), Bruno Arnaldi, Pascal Guitton, Guillaume Moreau, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Toulon (UTLN)-Aix Marseille Université (AMU), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189 (CRIStAL), Ecole Centrale de Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Ecole Centrale de Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189 (CRIStAL), Ecole Centrale de Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS), Ambiances, Architectures, Urbanités (AAU), École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Grenoble (ENSAG)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Centre National de la Recherche Scientifique (CNRS)-Ministère de la Culture et de la Communication (MCC), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Université de Toulon (UTLN), Technology and knowledge for interaction ( LOKI ), Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189 ( CRIStAL ), Ecole Centrale de Lille-Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut Mines-Télécom [Paris]-Université de Lille-Centre National de la Recherche Scientifique ( CNRS ), Institut d'Optique Graduate School ( IOGS ), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Université de Bordeaux ( UB ), École Centrale de Nantes ( ECN ), Ambiances, Architectures, Urbanités ( AAU ), École Centrale de Nantes ( ECN ) -École nationale supérieure d'architecture de Nantes ( ENSA Nantes ) -École nationale supérieure d'architecture de Grenoble ( ENSAG ) -Ministère de la Culture et de la Communication ( MCC ) -Centre National de la Recherche Scientifique ( CNRS ), 3D interaction with virtual environments using body and mind ( Hybrid ), Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -MEDIA ET INTERACTIONS ( IRISA_D6 ), Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ), and Université de Toulon ( UTLN )

Subjects
3D interaction, Computer science, Computation, 05 social sciences, Digital data, 020207 software engineering, 02 engineering and technology, Interaction Styles, [ INFO.INFO-GR ] Computer Science [cs]/Graphics [cs.GR], Field (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Natural (music), 0501 psychology and cognitive sciences, Augmented reality, State (computer science), [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, ComputingMilieux_MISCELLANEOUS
Abstract

International audience; This chapter provides an overview of the current state of augmented reality (AR). It examines the questions of pose computation, which could be used to locate a user in an immersive room or to model the real world, interactions in AR, and the concept of presence in environments that combine real and virtual elements. The chapter describes important innovations in the field of 3D interaction over the last decade. While 3D interaction is less central to AR, its importance is rising nonetheless. From simple applications to visualize digital data that is superimposed on the natural view, RA systems today are offering users increasingly more refined interaction systems in order to enhance usage. The chapter overviews recent developments allowing users to easily and efficiently interact with 3D content displayed on tactile surfaces. In the current interfaces, a trend towards an integration of the interaction styles can be observed.

Published
2018
Full Text
View/download PDF

3. Accessible Interactive Maps for Visually Impaired Users

Author

Julie Ducasse, Christophe Jouffrais, Anke Brock, Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), Université Toulouse III - Paul Sabatier (UT3), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Centre National de la Recherche Scientifique (CNRS), Edwige Pissaloux, Ramiro Velazquez, Université Paul Sabatier - Toulouse 3 ( UPS ), Institut de recherche en informatique de Toulouse ( IRIT ), Institut National Polytechnique [Toulouse] ( INP ) -Université Toulouse 1 Capitole ( UT1 ) -Université Toulouse - Jean Jaurès ( UT2J ) -Université Paul Sabatier - Toulouse 3 ( UPS ) -Centre National de la Recherche Scientifique ( CNRS ), Centre National de la Recherche Scientifique ( CNRS ), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2, Université Fédérale Toulouse Midi-Pyrénées, Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)

Subjects
Computer science, Emerging technologies, Visual impairment, 02 engineering and technology, computer.software_genre, Blind, Interactive graphics, Educational tools, Interactivity, Tangible interaction, [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, medicine, Non-visual interaction, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Graphics, Representation (mathematics), 050107 human factors, Multimedia, Interactive maps, 05 social sciences, 020207 software engineering, Spatial cognition, Blind person, Braille, Comprehension, Assistive technology, medicine.symptom, computer
Abstract

International audience; Tactile maps are commonly used to give visually impaired users access to geographical representations. Although those relief maps are efficient tools for acquisition of spatial knowledge, they present several limitations and issues such as the need to read braille. Several research projects have been led during the past three decades in order to improve access to maps using interactive technologies. In this chapter, we present an exhaustive review of interactive map prototypes. We classified existing interactive maps into two categories: Digital Interactive Maps (DIMs) that are displayed on a flat surface such as a screen; and Hybrid Interactive Maps (HIMs) that include both a digital and a physical representation. In each family, we identified several subcategories depending on the technology being used. We compared the categories and subcategories according to cost, availability and technological limitations, but also in terms of content, comprehension and interactivity. Then we reviewed a number of studies showing that those maps can support spatial learning for visually impaired users. Finally, we identified new technologies and methods that could improve the accessibility of graphics for visually impaired users in the future.

Published
2017
Full Text
View/download PDF

4. Pano: Design and Evaluation of a 360° Through-the-Lens Technique

Author

Pascal Guitton, Damien Clergeaud, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest

Subjects
0301 basic medicine, Multimedia, Computer science, Window (computing), K7m [The Computing Profession]: Miscellaneous—Ethics, 020207 software engineering, Body movement, 02 engineering and technology, [ INFO.INFO-GR ] Computer Science [cs]/Graphics [cs.GR], Virtual reality, computer.software_genre, Object (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Through-the-lens metering, Task (project management), 03 medical and health sciences, K61 [Management of Computing and Information Systems]: Project and People Management—Life Cycle, 030104 developmental biology, Human–computer interaction, Virtual image, Virtual machine, 0202 electrical engineering, electronic engineering, information engineering, computer
Abstract

International audience; Virtual Reality experiments have enabled immersed users to perform virtual tasks in a Virtual Environment (VE). Before beginning a task, however, users must locate and select the different objects they will need in the VE. This first step is important and affects global performance in the virtual task. If a user takes too long to locate and select an object, the duration of the task is increased. Moreover, both the comfort and global efficiency of users deteriorate as search and selection time increase. We have developed Pano, a technique which reduces this time by increasing the users natural field of view. More precisely, we provide a 360 panoramic virtual image which is displayed on a specific window, called the PanoWindow. Thanks to the PanoWindow, users can perceive and interact with the part of the Virtual Environment (VE) that is behind them without any additional head or body movement. In this paper, we present two user studies with 30 and 21 participants in different VEs. For the first study, participants were invited to perform object-finding tasks with and without Pano. The second study involved position-estimating tasks in order to know if the PanoWindow image enables users to build an accurate representation of the environment. First, the results show that Pano both reduces task duration and improves user comfort. Second, they demonstrate that good object-localization accuracy can be achieved using Pano.

Published
2017
Full Text
View/download PDF

5. Exploring Capturing Approaches in Shared Fabrication Workshops: Current Practice and Opportunities

Author

Clara Rigaud, Gilles Bailly, Ignacio Avellino, Yvonne Jansen, Interactions Multi-échelles, Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Assistance aux Gestes et Applications THErapeutiques (AGATHE), Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut des Systèmes Intelligents et de Robotique (ISIR), and ANR-17-CE33-0001,AfFABLe,Augmentation des fab labs en intégrant des visualisations de données(2017)

Subjects
knowledge resources, Human-Computer Interaction, Computer Networks and Communications, makerspace, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], capture, fabrication workshop, Social Sciences (miscellaneous)
Abstract

International audience; Capturing content of fabrication activities is the first step for producing knowledge resources and an integral part of maker culture. As a secondary task, it conflicts though with the fabrication activity, and thus it is often forgotten and knowledge resources end up incomplete. In this article, we investigate different dimensions of content capture for knowledge resources in fabrication workshops. Based on past work in this area, we first propose a framework through which we identify two research directions to investigate. From these, we derive three dimensions to explore in more depth: The number of capturing devices, their feature variety and the degree of automation of each feature. We then explore the design space resulting from these three dimensions with the help of a design concept and an online survey study (N=66). Results show (1) a variety of needs and preferences justifying feature variety and multiplicity, (2) challenges in defining the right degree of manual and automatic control, and (3) the socio-technical impact of cameras in a shared space regarding privacy and ethics. We conclude with discussions on the benefits and vulnerabilities of equipping fabrication workshop with distributed camera-based capturing devices and offer opportunities for design.

Published
2022
Full Text
View/download PDF

6. Long-term kinesthetic motor imagery practice with a BCI: Impacts on user experience, motor cortex oscillations and BCI performances

Author

Sébastien Rimbert, Stéphanie Fleck, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), and ANR-19-CE33-0007,GRASP-IT,Conception et évaluation d'une BCI Tangible-Haptique pour la rééducation du membre supérieur de patients post-AVC(2019)

Subjects
Brain-Computer Interface, User experience, [SCCO.NEUR]Cognitive science/Neuroscience, Motor Cortex, [SHS.PSY]Humanities and Social Sciences/Psychology, Electroencephalography, Kinesthetic Motor Imagery, Human-Computer Interaction, Long-Term Practice, Arts and Humanities (miscellaneous), [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], Pilot Study, Motor Imagery training, General Psychology, Intrapersonal factors
Abstract

International audience; Kinesthetic motor imagery (KMI) generates specific brain patterns in sensorimotor rhythm over the motor cortex (called event-related (de)-synchronization, ERD/ERS), allowing KMI to be detected by a Brain-Computer Interface (BCI) through electroencephalographic (EEG) signal. Because performing a KMI task stimulates synaptic plasticity, KMI-based BCIs hold promise for many applications requiring long-term KMI practice (e.g., sports training or post-stroke rehabilitation). However, there is a lack of studies on the long-term KMI-based BCI interactions, especially regarding the relationship between intrapersonal factors and motor pattern variations. This pilot study aims to understand better (i) how brain motor patterns change over time for a given individual, (ii) whether intrapersonal factors might influence BCI practice, and (iii) how the brain motor patterns underlying the KMI task (i.e., ERDs and ERSs) are modulated over time by the BCI user's experience. To this end, we recruited an expert in this mental task who performed over 2080 KMIs in 26 different sessions over a period of five months. The originality of this study lies in the detailed examination of cross-referenced data from EEG signals, BCI data performance, and 13 different surveys. The results show that this repetitive and prolonged practice did not diminish his well-being and, in particular, generated a sense of automatization of the task. We observed a progressive attenuation of the ERD amplitude and a concentration in the motor areas as the sessions accumulated. All these elements point to a phenomenon of neural efficiency. If confirmed by other studies, this phenomenon could call into question the quality of the BCI in providing continuous stimulation to the user. In addition, the results of this pilot study provide insights into what might influence the response of the motor cortex (e.g. emotions, task control, diet, etc.) and promising opportunities for improving the instructional design of BCIs intended for long-term use.

Published
2023
Full Text
View/download PDF

7. Être un Avatar Virtuel dans un Environnement Réel : Conception et Étude de l’Incarnation d’Avatars en Réalité Augmentée

Author

Genay, Adélaïde, Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux, Martin Hachet, and Anatole Lécuyer

Subjects
Human-Computer Interaction, Augmented Reality, Cognition, Mixed Reality, Sentiment d'incarnation, Réalité Mixte, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Avatar, Sense of embodiment, Interaction Humain-Machine, Réalité Augmentée
Abstract

Once reserved for virtual environments, avatars are now increasingly present in Augmented Reality (AR). This technology allows interacting with virtual content directly integrated into our physical surroundings. Combined with body tracking, it makes it possible to experience being inside a virtual body of any desired appearance and to extend one’s action capabilities. Despite the numerous opportunities for applications that this new possibility provides, little research has explored how to implement and exploit it. The way users perceive such experiences within real environments is additionally not well understood yet. In this thesis, we explore the embodiment of avatars in AR through several axes. First, we introduce a taxonomy through a body avatarization continuum to better describe embodiment experiences. Next, using an optical see-through AR display, we study the user’s sense of embodiment towards virtual hands and how mixing the virtual with the real impacts this sense. We then look at the use cases for avatar embodiment in AR and investigate interaction techniques allowing to control avatars in the third person and to explore the real world. We propose an implementation of this concept and evaluate the approach of using such a system to improve our perception of real-world affordances through a user study. Finally, we explore strategies to enhance embodiment illusions by designing transitions to become one's avatar and methods to prepare the user for their “avatarization”.; Autrefois réservés aux environnements virtuels, les avatars sont désormais de plus en plus présents en Réalité Augmentée (RA). Cette technologie permet d’interagir avec du contenu virtuel directement intégré à notre environnement physique. Associée aux techniques de suivi corporel, elle permet de se voir à l’intérieur d’un corps virtuel de n’importe quelle apparence et d’étendre nos capacités d’action. Malgré les nombreuses possibilités d’applications, peu de recherches ont exploré comment la mettre en oeuvre et l’exploiter. De plus, la façon dont les utilisateurs perçoivent de telles expériences dans des environnements réels n’est pas encore bien comprise. Dans cette thèse, nous explorons l’incarnation des avatars en RA au travers de plusieurs axes. Tout d’abord, nous introduisons une taxonomie pour mieux décrire les expériences d’incarnation de par un continuum d’avatarisation corporelle. Ensuite, à l’aide d’un affichage optique de RA, nous étudions le sentiment d’incarnation de l’utilisateur vis-à-vis de mains virtuelles et l’impact du mélange du virtuel et du réel sur ce sentiment. En troisième lieu, nous examinons les cas d’utilisation de l’incarnation d’avatars en RA et étudions les techniques d’interaction permettant de les contrôler à la troisième personne pour explorer le monde réel. Nous proposons une mise en oeuvre de ce concept et évaluons l’approche d’utiliser un tel système pour améliorer notre perception des affordances du monde réel au travers d’une étude utilisateurs. Pour terminer, nous explorons des stratégies pour améliorer les illusions d’incarnation à l’aide de transitions graphiques et des méthodes pour préparer l’utilisateur à son “avatarisation”.

Published
2022

8. Effects of Display Layout on Spatial Memory for Immersive Environments

Author

Jiazhou Liu, Arnaud Prouzeau, Barrett Ens, Tim Dwyer, Monash university, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
Human-Computer Interaction, Spatial memory, Spatial layout, Immersive Analytics, Computer Networks and Communications, Virtual Reality, Interface Design, [INFO]Computer Science [cs], Social Sciences (miscellaneous)
Abstract

In immersive environments, positioning data visualisations around the user in a wraparound layout has been advocated as advantageous over flat arrangements more typical of traditional screens. However, other than limiting the distance users must walk, there is no clear design rationale behind this common practice, and little research on the impact of wraparound layouts on visualisation tasks. The ability to remember the spatial location of elements of visualisations within the display space is crucial to support visual analytical tasks, especially those that require users to shift their focus or perform comparisons. This ability is influenced by the user's spatial memory but how spatial memory is affected by different display layouts remains unclear. In this paper, we perform two user studies to evaluate the effects of three layouts with varying degrees of curvature around the user (flat-wall, semicircular-wraparound, and circular-wraparound) on a visuo-spatial memory task in a virtual environment. The results show that participants are able to recall spatial patterns with greater accuracy and report more positive subjective ratings using flat than circular-wraparound layouts. While we didn't find any significant performance differences between the flat and semicircular-wraparound layouts, participants overwhelmingly preferred the semicircular-wraparound layout suggesting it is a good compromise between the two extremes of display curvature.; spatial memory, spatial layout, immersive analytics, virtual reality, interfacedesign

Published
2022
Full Text
View/download PDF

9. X-Road

Author

Lauren Thévin, Carine Briant, Anke Brock, Ludwig Maximilian University [Munich] (LMU), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institution Régionale des Sourds et des Aveugles (IRSA), ENAC - Equipe Informatique Interactive (LII), Ecole Nationale de l'Aviation Civile (ENAC), This project was conducted with the support of the Erasmus+ Program of the European Union Pr. no 2016-1-EL01-KA201-023731., and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Computer science, Visual impairment, Augmented reality, 02 engineering and technology, Space (commercial competition), Virtual reality, Training (civil), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, medicine, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Bespoke, 05 social sciences, Orientation and Mobility, 020207 software engineering, Accessibility, Computer Science Applications, Human-Computer Interaction, Mobility training, Audio feedback, medicine.symptom
Abstract

International audience; Orientation and Mobility (O&M) classes teach people with visual impairments how to navigate the world, for instance how to cross a road. Yet, this training can be difficult and dangerous due to conditions such as traffic and weather. Virtual Reality (VR) can overcome these challenges by providing interactive controlled environments. However, most existing VR tools rely on visual feedback, which limits their use with students with visual impairment. In a collaborative design approach with O&M instructors, we designed an affordable and accessible VR system for O&M classes, called X-Road. Using a smartphone and a bespoke headmount, X-Road provides both visual and audio feedback and allows users to move in space, as in the real world. In a study with 13 students with visual impairments, X-Road proved to be an effective alternative to teaching and learning classical O&M tasks, and both students and instructors were enthusiastic about this technology. We conclude with design recommendations for inclusive VR systems.

Published
2020
Full Text
View/download PDF

10. Visualisation d'information pour l'altruisme efficace

Author

Dragicevic, Pierre, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
FOS: Computer and information sciences, Information visualization, human-computer interaction, Effective altruism, Computer Science - Human-Computer Interaction, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Human-Computer Interaction (cs.HC)
Abstract

Effective altruism is a movement whose goal it to use evidence and reason to figure out how to benefit others as much as possible. This movement is becoming influential, but effective altruists still lack tools to help them understand complex humanitarian trade-offs and make good decisions based on data. Visualization-the study of computer-supported, visual representations of data meant to support understanding, communication, and decision makingcan help alleviate this issue. Conversely, effective altruism provides a powerful thinking framework for visualization research that focuses on humanitarian applications.

Published
2022
Full Text
View/download PDF

11. Non-isomorphic Interaction Techniques for Controlling Avatar Facial Expressions in VR

Author

Thomas Pietrzak, Martin Hachet, Géry Casiez, Marc Baloup, Technology and knowledge for interaction (LOKI), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Université de Lille, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institut Universitaire de France (IUF), Ministère de l'Education nationale, de l’Enseignement supérieur et de la Recherche (M.E.N.E.S.R.), Inria challenge Avatar, ACM, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
VR, Facial expression, Computer science, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Input device, 02 engineering and technology, Virtual reality, Emoji, Control theory, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, [INFO]Computer Science [cs], 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Set (psychology), 050107 human factors, Avatar, Emotion, Emoticons, 05 social sciences, 020207 software engineering, Interaction technique, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems/H.5.1.1: Artificial, augmented, and virtual realities, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Expression (mathematics)
Abstract

International audience; The control of an avatar’s facial expressions in virtual reality is mainly based on the automated recognition and transposition of the user’s facial expressions. These isomorphic techniques are limited to what users can convey with their own face and have recognition issues. To overcome these limitations, non-isomorphic techniques rely on interaction techniques using input devices to control the avatar’s facial expressions. Such techniques need to be designed to quickly and easily select and control an expression, and not disrupt a main task such as talking. We present the design of a set of new non- isomorphic interaction techniques for controlling an avatar facial expression in VR using a standard VR controller. These techniques have been evaluated through two controlled experiments to help designing an interaction technique combining the strengths of each approach. This technique was evaluated in a final ecological study showing it can be used in contexts such as social applications.

Published
2021
Full Text
View/download PDF

12. Embodied gesture interaction for immersive maps

Author

Arnaud Prouzeau, Maxime Cordeil, Jiazhou Liu, Kadek Ananta Satriadi, Jesse Bolton, Bernhard Jenny, Rhys Newbury, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Newbury, Rhys, Satriadi, Kadek Ananta, Bolton, Jesse, Liu, Jiazhou, Cordeil, Maxime, Prouzeau, Arnaud, and Jenny, Bernhard

Subjects
Computer science, Geography, Planning and Development, 02 engineering and technology, Virtual reality, immersive map, immersive analytics, Human–computer interaction, Management of Technology and Innovation, Immersive analytics, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], embodied interaction, 050107 human factors, Civil and Structural Engineering, embodiment, 05 social sciences, 020207 software engineering, augmented reality, Embodied cognition, Key (cryptography), virtual reality, Augmented reality, origin-destination flow map, Gesture
Abstract

International audience; With the increasing availability of head-mounted displays for virtual reality and augmented reality, we can create immersive maps in which the user is closer to the data. Embodiment is a key concept, allowing the user to act upon virtual objects in an immersive environment. Our work explores the use of embodied interaction for immersive maps. We propose four design considerations for embodied maps and embodied gesture interaction with immersive maps: object presence, consistent physics, human body skills, and direct manipulation. We present an example of an immersive flow map with a series of novel embodied gesture interactions, which adhere to the proposed design considerations. The embodied interactions allow users to directly manipulate immersive flow maps and explore origin-destination flow data in novel ways. Authors of immersive maps can use the four proposed design considerations for creating embodied gesture interactions. The discussed example interactions apply to diverse types of immersive maps and will hopefully incite others to invent more embodied interactions for immersive maps.

Published
2021
Full Text
View/download PDF

13. Multi-Session Influence of Two Modalities of Feedback and Their Order of Presentation on MI-BCI User Training

Author

Fabien Lotte, Bertrand Glize, Bernard N'Kaoua, Romain Sabau, Léa Pillette, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), École Centrale de Nantes (ECN), Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), Bordeaux population health (BPH), Université de Bordeaux (UB)-Institut de Santé Publique, d'Épidémiologie et de Développement (ISPED)-Institut National de la Santé et de la Recherche Médicale (INSERM), CHU de Bordeaux Pellegrin [Bordeaux], This research was funded by the French National Research Agency (project REBEL, grant ANR-15-CE23-0013-01) and the European Research Council with the Brain-Conquest project (grant ERC-2016-STG-714567)., ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Lotte, Fabien, Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance - Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle - - REBEL2015 - ANR-15-CE23-0013 - AAPG2015 - VALID, Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest

Subjects
Neuroprosthetics, Computer Networks and Communications, Computer science, Brain activity and meditation, InformationSystems_INFORMATIONINTERFACESANDPRESENTATION(e.g.,HCI), media_common.quotation_subject, Control (management), Neuroscience (miscellaneous), lcsh:Technology, 050105 experimental psychology, Session (web analytics), realistic visual feedback, 03 medical and health sciences, Presentation, [SCCO]Cognitive science, 0302 clinical medicine, Human–computer interaction, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], lcsh:Science, user training, Brain–computer interface, media_common, Modalities, Modality (human–computer interaction), lcsh:T, 05 social sciences, [SCCO] Cognitive science, multimodal feedback, Computer Science Applications, Human-Computer Interaction, vibrotactile feedback, motor imagery based brain-computer interfaces, lcsh:Q, Brain-computer interfaces, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 030217 neurology & neurosurgery
Abstract

International audience; By performing motor-imagery tasks, for example, imagining hand movements, Motor-Imagery based Brain-Computer Interfaces (MI-BCIs) users can control digital technologies, for example, neuroprosthesis, using their brain activity only. MI-BCI users need to train, usually using a unimodal visual feedback, to produce brain activity patterns that are recognizable by the system. The literature indicates that multimodal vibrotactile and visual feedback is more effective than unimodal visual feedback, at least for short term training. However, the multi-session influence of such multimodal feedback on MI-BCI user training remained unknown, so did the influence of the order of presentation of the feedback modalities. In our experiment, 16 participants trained to control a MI-BCI during five sessions with a realistic visual feedback and five others with both a realistic visual feedback and a vibrotactile one. training benefits from a multimodal feedback, in terms of performances and self-reported mindfulness. There is also a significant influence of the order presentation of the modality. Participants who started training with a visual feedback had higher performances than those who started training with a multimodal feedback. We recommend taking into account the order of presentation for future experiments assessing the influence of several modalities of feedback.

Published
2021
Full Text
View/download PDF

14. Experimenters Influence on Mental-Imagery based Brain-Computer Interface User Training

Author

Léa Pillette, Fabien Lotte, Aline Roc, Bernard N'Kaoua, Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Pillette, Léa, Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance - Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle - - REBEL2015 - ANR-15-CE23-0013 - AAPG2015 - VALID, and Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID

Subjects
Social psychology (sociology), Experimenter influence, Brain activity and meditation, Control (management), Human Factors and Ergonomics, Context (language use), Mental imagery, 050105 experimental psychology, Session (web analytics), Education, 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, Motor imagery, [INFO.EIAH] Computer Science [cs]/Technology for Human Learning, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Brain–computer interface, User training, 05 social sciences, General Engineering, Gender, [SCCO] Cognitive science, Human-Computer Interaction, Hardware and Architecture, Brain-Computer Interfaces, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Psychology, 030217 neurology & neurosurgery, Software, Cognitive psychology, Mental image
Abstract

International audience; Context Motor Imagery based Brain-Computer Interfaces (MI-BCIs) enable their users to interact with digital technologies, e.g., neuroprosthesis, by performing motor imagery tasks only, e.g., imagining hand movements, while their brain activity is recorded. To control MI-BCIs, users must train to control their brain activity. During such training, experimenters have a fundamental role, e.g., they motivate participants. However, their influence had never been formally assessed for MI-BCI user training. In other fields, e.g., social psychology, experimenters’ gender was found to influence experimental outcomes, e.g., behavioural or neurophysiological measures.ObjectiveOur aim was to evaluate if the experimenters’ gender influenced MI-BCI user training outcomes, i.e., performances and user-experience.MethodsWe performed an experiment involving 6 experimenters (3 women) each training 5 women and 5 men (60 participants) to perform right versus left hand MI-BCI tasks over one session. We then studied the training outcomes, i.e., MI-BCI performances and user-experience, according to the experimenters' and subjects' gender.ResultsA significant interaction between experimenters’ and participants' gender was found on the evolution of trial-wise performances. Another interaction was found between participants’ tension and experimenters’ gender on the average performances.ConclusionExperimenters’ gender could influence MI-BCI performances depending on participants’ gender and tension.SignificanceExperimenters’ influence on MI-BCI user training outcomes should be better controlled, assessed and reported to further benefit from it while preventing any bias.

Published
2021
Full Text
View/download PDF

15. Inclusive Adaptation of Existing Board Games for Gamers with and without Visual Impairments using a Spatial Augmented Reality Framework for Touch Detection and Audio Feedback

Author

Lauren Thévin, Christophe Jouffrais, Bernard Oriola, Anke Brock, Nicolas Rodier, Martin Hachet, Université Catholique de l'Ouest (UCO), Institut für Informatik [München/Munich] (LMU), Ludwig-Maximilians-Universität München (LMU), Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Image & Pervasive Access Lab (IPAL), National University of Singapore (NUS)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore], ENAC - Equipe Informatique Interactive (LII), Ecole Nationale de l'Aviation Civile (ENAC), Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and National University of Singapore (NUS)-MATHEMATIQUES, SCIENCES ET TECHNOLOGIES DE L'INFORMATION ET DE LA COMMUNICATION (UJF)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore]

Subjects
Attractiveness, Computer Networks and Communications, Computer science, 05 social sciences, ComputingMilieux_PERSONALCOMPUTING, 020207 software engineering, Special needs, 02 engineering and technology, Braille, Human-Computer Interaction, Entertainment, Interactivity, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Augmented reality, Audio feedback, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Adaptation (computer science), 050107 human factors, Social Sciences (miscellaneous), ComputingMilieux_MISCELLANEOUS
Abstract

International audience; Board games allow us to share collective entertainment experiences. They entertain because of the interactions between players, physical manipulation of tokens and decision making. Unfortunately, most board games exclude people with visual impairments as they were not initially designed for players with special needs. Through a user-centered design process with an accessible game library and visually impaired players, we observed challenges and solutions in making existing board games accessible through handcrafted solutions (tactile stickers, braille labels, etc.). In a second step, we used Spatial Augmented Reality (SAR), to make existing board games inclusive by adding interactivity (GameARt). In a case study with an existing board game considered as not accessible (Jamaica), we designed an interactive SAR version with touch detection (JamaicAR). We evaluated this prototype in a user study with 5 groups of 3 players each, including sighted, low vision and blind players. All players, independent of visual status, were able to play the Augmented Reality game. Moreover, the game was rated positively by all players regarding attractiveness, play engrossment, enjoyment and social connectivity. Our work shows that Spatial Augmented Reality has the potential to make board games accessible to people with visual impairments when handcrafted adaptations fall short.

Published
2021
Full Text
View/download PDF

16. Being an Avatar 'for Real': a Survey on Virtual Embodiment in Augmented Reality

Author

Anatole Lécuyer, Adélaïde Genay, Martin Hachet, Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-RÉALITÉ VIRTUELLE, HUMAINS VIRTUELS, INTERACTIONS ET ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1)

Subjects
Computer science, media_common.quotation_subject, Context (language use), 02 engineering and technology, Virtual reality, Social and Behavioral Sciences, Field (computer science), Entertainment, User-Computer Interface, Human–computer interaction, Taxonomy (general), Perception, Surveys and Questionnaires, 0202 electrical engineering, electronic engineering, information engineering, Computer Graphics, Psychology, Sense of Embodiment, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Avatar, media_common, Augmented Reality, Virtual Reality, 020207 software engineering, Computer Graphics and Computer-Aided Design, Signal Processing, Augmented reality, Computer Vision and Pattern Recognition, Software
Abstract

International audience; Virtual self-avatars have been increasingly used in Augmented Reality (AR) where one can see virtual content embedded into physical space. However, little is known about the perception of self-avatars in such a context. The possibility that their embodiment could be achieved in a similar way as in Virtual Reality opens the door to numerous applications in education, communication, entertainment, or the medical field. This article aims to review the literature covering the embodiment of virtual self-avatars in AR. Our goal is (i) to guide readers through the different options and challenges linked to the implementation of AR embodiment systems, (ii) to provide a better understanding of AR embodiment perception by classifying the existing knowledge, and (iii) to offer insight on future research topics and trends for AR and avatar research. To do so, we introduce a taxonomy of virtual embodiment experiences by defining a "body avatarization" continuum. The presented knowledge suggests that the sense of embodiment evolves in the same way in AR as in other settings, but this possibility has yet to be fully investigated. We suggest that, whilst it is yet to be well understood, the embodiment of avatars has a promising future in AR and conclude by discussing possible directions for research.

Published
2021
Full Text
View/download PDF

17. Towards Truly Accessible MOOCs for Persons with Cognitive Impairments: a Field Study

Author

Pierre-Antoine Cinquin, Pascal Guitton, Hélène Sauzéon, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Flowing Epigenetic Robots and Systems (Flowers), Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Unité d'Informatique et d'Ingénierie des Systèmes (U2IS), École Nationale Supérieure de Techniques Avancées (ENSTA Paris)-École Nationale Supérieure de Techniques Avancées (ENSTA Paris), Bordeaux population health (BPH), Université de Bordeaux (UB)-Institut de Santé Publique, d'Épidémiologie et de Développement (ISPED)-Institut National de la Santé et de la Recherche Médicale (INSERM), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Sauzeon, Hélène, Inria learning lab, and Université de Bordeaux

Subjects
Human-Computer Interaction, [SCCO]Cognitive science, Massive Open Online Courses, [SCCO.PSYC] Cognitive science/Psychology, Human-computer interface, [SCCO.PSYC]Cognitive science/Psychology, Special needs education, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Distance education and online learning, Applied Psychology, Cognitive impairments
Abstract

International audience; Massive Online Open Courses (MOOCs) should offer lifelong education opportunities for persons with disabilities. However, most of the current MOOCs are not fully accessible, especially for persons with cognitive impairments and limited learning capacities. To bridge this gap, we have developed an accessible MOOC player following a participatory design process and used it to deliver a course on a mainstream MOOC platform. In this article we describe a field study to evaluate the impact of the player’s accessibility features on the learning experience of persons with disabilities. Following a mixed method approach, we first present the results of a quantitative assessment done with Learning Analytics methods to study the impact of the player on the retention of students with disabilities. Then we present the results of a questionnaire assessment to study the global experience of students in terms of learning performance, usability of the MOOC player, perceived cognitive load and self-determination. Both Learning Analytics and questionnaire -related results confirm our contribution to designing a more inclusive e-learning environment and providing a solid base to improve the accessibility assessment methodology for MOOCs.

Published
2021
Full Text
View/download PDF

18. Grand Challenges in Neurotechnology and System Neuroergonomics

Author

Stephen H. Fairclough, Fabien Lotte, Liverpool John Moore University (ljmu), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), FL was partly supported by funding from the European Research Council with project BrainConquest (grant ERC-2016-STG-714567)., and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Computer science, [SHS.INFO]Humanities and Social Sciences/Library and information sciences, BF, ComputerApplications_COMPUTERSINOTHERSYSTEMS, fNIRS, Neurotechnologies, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, InformationSystems_GENERAL, [SCCO]Cognitive science, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Neurotechnology, Neuroergonomics, ComputingMilieux_COMPUTERSANDEDUCATION, 0501 psychology and cognitive sciences, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 050107 human factors, ComputingMilieux_MISCELLANEOUS, Brain–computer interface, Grand Challenges, Cognitive science, ComputingMilieux_THECOMPUTINGPROFESSION, [SCCO.NEUR]Cognitive science/Neuroscience, 05 social sciences, Human-computer interaction, ComputingMilieux_GENERAL, [SCCO.PSYC]Cognitive science/Psychology, RC0321, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Brain-computer interfaces, 030217 neurology & neurosurgery
Abstract

SPECIALTY GRAND CHALLENGE ARTICLE

Published
2020
Full Text
View/download PDF

19. Physio-Stacks: Supporting Communication with Ourselves and Others via Tangible, Modular Physiological Devices

Author

Joan Sol Roo, Martin Hachet, Jérémy Frey, Renaud Gervais, Thibault Lainé, Pierre-Antoine Cinquin, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Chercheur indépendant, Ullo, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
050101 languages & linguistics, Focus (computing), business.industry, Computer science, Modular Programming, media_common.quotation_subject, 05 social sciences, Positive Computing, 02 engineering and technology, Modular design, Tangible User Interfaces, Human–computer interaction, Adaptive system, Agency (sociology), Modular programming, 0202 electrical engineering, electronic engineering, information engineering, Introspection, 020201 artificial intelligence & image processing, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Dialog box, business, Set (psychology), Physiological Computing, media_common
Abstract

International audience; Our physiological activity reflects our inner workings. However, we are not always aware of it in full detail. Physiological devices allow us to monitor and create adaptive systems and support introspection. Given that these devices have access to sensitive data, it is vital that users have a clear understanding of the internal mechanisms (extrospection), yet the underlying processes are hard to understand and control, resulting in a loss of agency. In this work, we focus on bringing the agency back to the user, by using design guidelines based on principles of honest communication and driven by positive activities. To this end, we conceived a tangible, modular approach for the construction of physiological interfaces that can be used as a prototyping toolkit by designers and researchers, or as didactic tools by educators and pupils. We show the potential of such an approach with a set of examples, supporting introspection, dialog, music creation, and play.

Published
2020
Full Text
View/download PDF

20. Standardization of protocol design for user training in EEG-based brain-computer interface

Author

Jelena Mladenović, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Mladenovic, Jelena, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Standardization, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, InformationSystems_INFORMATIONINTERFACESANDPRESENTATION(e.g.,HCI), Computer science, Interface (computing), media_common.quotation_subject, Biomedical Engineering, [SCCO.COMP]Cognitive science/Computer science, Context (language use), 050105 experimental psychology, 03 medical and health sciences, Cellular and Molecular Neuroscience, User-Computer Interface, InformationSystems_MODELSANDPRINCIPLES, 0302 clinical medicine, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SCCO.COMP] Cognitive science/Computer science, Perceptual affordance, Human–computer interaction, Perception, Human-computer interaction (HCI), Standadization, Humans, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Electroencephalography (EEG), Affordance, User training, Brain–computer interface, media_common, Haptic technology, Brain-computer interfaces (BCI), SIMPLE (military communications protocol), 05 social sciences, Electroencephalography, Reference Standards, Protocal design, [INFO.INFO-MO]Computer Science [cs]/Modeling and Simulation, Brain-Computer Interfaces, [SCCO.PSYC] Cognitive science/Psychology, [SCCO.PSYC]Cognitive science/Psychology, [INFO.INFO-MO] Computer Science [cs]/Modeling and Simulation, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 030217 neurology & neurosurgery
Abstract

Brain-computer interfaces (BCIs) are systems that enable a person to interact with a machine using only neural activity. Such interaction can be non-intuitive for the user hence user trainings are developed to increase one's understanding, confidence and motivation, which would in parallel increase system performance. To clearly address the current issues in the BCI user training protocol design, here it is divided into introductory period and BCI interaction period. First, the introductory period (before BCI interaction) must be considered as equally important as the BCI interaction for user training. To support this claim, a review of papers show that BCI performance can depend on the methodologies presented in such introductory period. To standardize its design, the literature from human-computer interaction (HCI) is adjusted to the BCI context. Second, during the user-BCI interaction, the interface can take a large spectrum of forms (2D, 3D, size, color etc.) and modalities (visual, auditory or haptic etc.) without following any design standard or guidelines. Namely, studies that explore perceptual affordance on neural activity, show that motor neurons can be triggered from a simple observation of certain objects, and depending on objects' properties (size, location etc.) neural reactions can vary greatly. Surprisingly, the effects of perceptual affordance were not investigated in the BCI context. Both inconsistent introductions to BCI as well as variable interface designs make it difficult to reproduce experiments, predict their outcomes and compare results between them. To address these issues, a protocol design standardization for user training is proposed.

Published
2020

21. Designing accessible MOOCs to expand educational opportunities for persons with cognitive impairments

Author

Pierre-Antoine Cinquin, Hélène Sauzéon, Pascal Guitton, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Flowing Epigenetic Robots and Systems (Flowers), Inria Bordeaux - Sud-Ouest, Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), This work was supported by Université de Bordeaux [Doctoral Contract n∘2016-KB-01], Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Unité d'Informatique et d'Ingénierie des Systèmes (U2IS), and École Nationale Supérieure de Techniques Avancées (ENSTA Paris)-École Nationale Supérieure de Techniques Avancées (ENSTA Paris)

Subjects
Higher education, media_common.quotation_subject, E-learning (theory), MOOC, 02 engineering and technology, E-learning, [SCCO]Cognitive science, Promotion (rank), Arts and Humanities (miscellaneous), 020204 information systems, Participatory design, 0502 economics and business, 0202 electrical engineering, electronic engineering, information engineering, Developmental and Educational Psychology, Massive open online courses, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 10. No inequality, media_common, Medical education, business.industry, 4. Education, 05 social sciences, General Social Sciences, Cognition, Accessibility, Human-Computer Interaction, 050211 marketing, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, business, Psychology, Cognitive impairments
Abstract

https://www.tandfonline.com/doi/full/10.1080/0144929X.2020.1742381; International audience; Despite the promotion of equal access to education, the proportion of persons with disabilities decreases drastically from primary school to higher education, resulting in a lower level of education. This lack of qualification represents an additional obstacle to employment opportunities, reinforcing their exclusion from the social sphere. In recent years, computer-based approaches to education have undergone a real revolution, as reflected by the massive growth of MOOCs platforms. As they are flexible enough, they could provide a real opportunity to create learning environments that are beneficial to persons with disabilities. Unfortunately, most MOOCs are not ‘sufficiently’ accessible, especially for persons with cognitive impairments and limited learning capacities. In this article, we describe the results of a participatory design process that involved students with cognitive impairments and specialists from various fields of expertise and led to the co-design of new functionalities to enhance the accessibility of a MOOC player. We also present the results of a multiple-cases study evaluation of a first prototype, whose results support the positive impact of our design decisions. Finally, we propose an integrative framework for the design of accessible e-learning systems derived from the different needs and guidelines that emerged during the process.

Published
2020
Full Text
View/download PDF

22. Modern machine learning algorithms to classify cognitive and affective states from electroencephalography signals

Author

Fabien Lotte, Aurélien Appriou, Andrzej Cichocki, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Nicolaus Copernicus University [Toruń], Hangzhou Dianzi University (HDU), This work was supported by the European Research Council (grant ERC-2016-STG-714567) and the Japanese Society for the Promotion of Science, European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Computer Networks and Communications, Computer science, Interface (computing), 0206 medical engineering, Emotions, [SCCO.COMP]Cognitive science/Computer science, Human Factors and Ergonomics, 02 engineering and technology, Electroencephalography, Machine learning, computer.software_genre, Affect (psychology), Convolutional neural network, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, Motor imagery, Deep Learning, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], medicine, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Riemannian geometry, Mental Workload, medicine.diagnostic_test, business.industry, Deep learning, Cognition, Brain-Computer Interfaces (BCI), 020601 biomedical engineering, Computer Science Applications, Human-Computer Interaction, Control and Systems Engineering, [SCCO.PSYC]Cognitive science/Psychology, Key (cryptography), Artificial intelligence, business, computer, Algorithm, 030217 neurology & neurosurgery
Abstract

International audience; Estimating cognitive or affective states from brain signals is a key but challenging step in the creation of passive brain-computer interface (BCI) applications. So far, estimating mental workload or emotions from EEG signals is only feasible with modest classification accuracies, thus leading to unreliable neuroadaptive applications. However, recent machine learning algorithms, notably Riemannian geometry based classifiers (RGC) and convolutional neural networks (CNN), have shown to be promising for other BCI systems, e.g., motor imagery-BCIs. However, they have not been formally studied and compared together for cognitive or affective states classification. This paper thus explores such machine learning algorithms, proposes new variants of them, and benchmarks them with classical methods to estimate both mental workload and affective states (Valence/Arousal) from EEG signals. We study these approaches with both subject-specific and subject-independent calibration, to go towards calibration-free systems. Our results suggested that a CNN obtained the highest mean accuracy, although not significantly so, in both conditions for the mental workload study, followed by RGCs. However, this same CNN underperformed in both conditions for the emotion data set, a data set with small training data. On the contrary, RGCs proved to have the highest mean accuracy with the Filter Bank Tangent Space classifier (FBTSC) we introduced in this paper. Our results thus contributed to improve the reliability of cognitive and affective states classification from EEG. They also provide guidelines about when to use which machine learning algorithm.

Published
2020
Full Text
View/download PDF

23. EEG-based neuroergonomics for 3d user interfaces: opportunities and challenges

Author

Fabien Lotte, Jérémy Frey, Martin Hachet, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Lotte, Fabien

Subjects
media_common.quotation_subject, Human Factors and Ergonomics, 02 engineering and technology, [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Human–computer interaction, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], 0202 electrical engineering, electronic engineering, information engineering, Neuroergonomics, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 050107 human factors, General Psychology, Applied Psychology, media_common, [INFO.INFO-MM] Computer Science [cs]/Multimedia [cs.MM], 05 social sciences, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, Art, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, Industrial relations, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Humanities
Abstract

Les interfaces utilisateurs 3D sont utilisees dans un nombre croissant d’applications, qui vont du divertissement au design industriel. Cependant, les tâches d’interaction 3D sont en general plus complexes pour les utilisateurs etant-donne qu’il est plus demandeur au niveau cognitif d’interagir avec un environnement en 3D que de percevoir et d’interagir avec un environnement en 2D. Ainsi, il est essentiel que nous puissions finement evaluer l’experience utilisateur, afin de proposer des interfaces faciles d’utilisation. Pour ce faire, une direction de recherche prometteuse est de mesurer l’etat interne des utilisateurs via l’acquisition de signaux cerebraux pendant l’interaction, en suivant une approche neuro­ergonomique. Combine a des methodes existantes, un tel outil peut etre utilise pour ameliorer la comprehension de l’experience utilisateur. Dans cet article, nous passons en revue le travail qui est mene dans ce domaine ; ce qui a deja ete accompli et les challenges qui se font jour. Nous decrivons comment une technique d’imagerie cerebrale mobile telle que l’electroencephalographie (EEG) permet des mesures continues qui ne perturbent pas l’interaction. Une evaluation des utilisateurs centree sur l’EEG peut donner un apercu de multiples dimensions de l’experience utilisateur, avec des taches d’interaction realistes ou des interfaces novatrices. Nous etudions quatre construits : la charge mentale, l’attention, la reconnaissance d’erreur et le confort visuel. A terme, ces metriques pourraient aider a soulager les utilisateurs lorsqu’ils interagissent avec des ordinateurs.

Published
2017
Full Text
View/download PDF

24. A physical learning companion for Mental-Imagery BCI User Training

Author

Bernard N'Kaoua, Roger Nkambou, Léa Pillette, Boris Mansencal, Camille Jeunet, Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Cognition, Langues, Langage, Ergonomie (CLLE), Centre National de la Recherche Scientifique (CNRS)-École pratique des hautes études (EPHE), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Université Toulouse - Jean Jaurès (UT2J), Laboratoire de recherche en Gestion, Diffusion et Acquisition des Connaissances (Laboratoire GDAC), Université du Québec à Montréal = University of Québec in Montréal (UQAM), Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), This work was supported by the French National Research Agency (project REBEL, grant ANR-15-CE23-0013-01), the European Research Council with the Brain-Conquest project (grant ERC-2016-STG-714567) and the Initiative of Excellence (IdEx) from the University of Bordeaux, France, ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), École Pratique des Hautes Études (EPHE), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), and Université de Toulouse (UT)

Subjects
Social feedback, Computer science, Learning Companion, Psychological intervention, Human Factors and Ergonomics, Context (language use), Memorization, Education, Task (project management), [SCCO]Cognitive science, 03 medical and health sciences, 0302 clinical medicine, User experience design, Human–computer interaction, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Mental-Imagery based Brain-Computer Interface, 030304 developmental biology, 0303 health sciences, Facial expression, User experience, business.industry, Emotional feedback, General Engineering, Human-Computer Interaction, Hardware and Architecture, business, 030217 neurology & neurosurgery, Software, Mental image
Abstract

International audience; Mental-Imagery based Brain-Computer Interfaces (MI-BCI) present new opportunities to interact with digital technologies, such as wheelchairs or neuroprostheses, only by performing mental imagery tasks (e.g., imagining an object rotating or imagining hand movements). MI-BCIs can also be used for several applications such as communication or post-stroke rehabilitation. Though, their lack of reliability remains a barrier to a larger scale development of the technology. For example, one task between two is recognized on average 75% of the time. It has been shown that users are more likely to struggle using MI-BCIs if they are non-autonomous or tensed. This might, at least in part, result from a lack of social presence and emotional support, which have yet very little been tested in MI-BCI, despite recommendations from the educational literature. One way to provide such social and emotional context is by using a learning companion. Therefore, we designed, implemented and evaluated the first learning companion dedicated to the improvement of MI-BCI user training. We called this companion PEANUT for Personalized Emotional Agent for Neurotechnology User Training. PEANUT provided social presence and emotional support, depending on the performance and progress of the user, through interventions combining both pronounced sentences and facial expressions. It was designed based on the literature, data analyses and user-studies. We notably conducted various online user surveys to identify the desired characteristics of our learning companion in terms of appearance and supporting speech content. From the results of these surveys we notably deduced which should be the characteristics (personal/non-personal, exclamatory/declarative) of the sentences to be used depending on the performance and progression of a learner. We also found that eyebrows could increase expressiveness of cartoon-like faces. Then, once this companion was implemented, we evaluated it during real online MI-BCI use. We found that non-autonomous people, i.e., who are more inclined to work in a group, that are usually disadvantaged when using MI-BCI were advantaged compared to autonomous people when PEANUT was present with an increase of 3.9% of peak performances. Furthermore, in terms of user experience, PEANUT seems to have improved how people felt about their ability to learn and memorize how to use an MI-BCI by 7.4%, which is a dimension of the user experience we assessed.

Published
2020
Full Text
View/download PDF

25. CARDS : Un système de réalité mixte pour l'apprentissage collaboratif à l'école

Author

David Bertolo, Joan Sol Roo, Philippe Giraudeau, Robin Vivian, Martin Hachet, Stéphanie Fleck, Alexis Olry, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Laboratoire de Conception, Optimisation et Modélisation des Systèmes (LCOMS), This work is part of the e-TAC project financially supported by the Caisse des Dépôts et Consignations as part of the e- FRAN projects., Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Iterative design, Computer science, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, Workspace, Education, CCS Concepts•Human-centered computing → Field studies, Human–computer interaction, Children-Computer Interaction, 0202 electrical engineering, electronic engineering, information engineering, Tangible Interaction, 0501 psychology and cognitive sciences, Web navigation, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Augmented Reality, 4. Education, Iterative Design, 05 social sciences, [SDV.NEU.SC]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences, Window (computing), 020207 software engineering, Collaborative learning, Spatial Augmented Reality, Mixed reality, Pointer (computer programming), Augmented reality, CCS Concepts •Human-Centered Computing → HCI design and evaluation methods
Abstract

International audience; Traditional computer systems based on the WIMP paradigm (Window, Icon, Menu, Pointer) have shown potential benefits at school (e.g. for web browsing). On the other hand, they are not well suited as soon as hands-on and collaborative activities are targeted. We present CARDS, a Mixed-Reality system that combines together physical and digital objects in a seamless workspace to foster active and collaborative learning. We describe the design process based on a participatory approach with researchers, teachers, and pupils. We then present and discuss the results of a user study that tends to show that CARDS has a good educational potential for the targeted activities.

Published
2019
Full Text
View/download PDF

26. Creating Accessible Interactive Audio-Tactile Drawings Using Spatial Augmented Reality

Author

Nicolas Rodier, Martin Hachet, Nicolas Palard, Anke Brock, Lauren Thévin, Christophe Jouffrais, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ludwig Maximilian University [Munich] (LMU), Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées, Centre National de la Recherche Scientifique (CNRS), Image & Pervasive Access Lab (IPAL), National University of Singapore (NUS)-MATHEMATIQUES, SCIENCES ET TECHNOLOGIES DE L'INFORMATION ET DE LA COMMUNICATION (UJF)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore], RealityTech, Ecole Nationale de l'Aviation Civile (ENAC), ENAC - Equipe Informatique Interactive (LII), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), and National University of Singapore (NUS)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore]

Subjects
Computer science, Visual impairment, 02 engineering and technology, Special education, Content creation, Software, Accessible graphics, Human–computer interaction, Participatory design, 0202 electrical engineering, electronic engineering, information engineering, medicine, Audio-tactile drawings, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Graphics, 050107 human factors, Social work, business.industry, Accessible maps, 05 social sciences, Spatial augmented reality, 020207 software engineering, Accessibility, Augmented reality, medicine.symptom, business
Abstract

International audience; Interactive tactile graphics have shown a true potential for people with visual impairments, for instance for acquiring spatial knowledge. Until today, however, they are not well adopted in real-life settings (e.g. special education schools). One obstacle consists in the creation of these media, which requires specific skills, such as the use of vector-graphic software for drawing and inserting interactive zones, which is challenging for stakeholders (social workers, teachers, families of people with visual impairments, etc.). We explored how a Spatial Augmented Reality approach can enhance the creation of interactive tactile graphics by sighted users. We developed the system using a participatory design method. A user study showed that the augmented reality device allowed stakeholders (N=28) to create interactive tactile graphics more efficiently than with a regular vector-drawing software (baseline), independently of their technical background.

Published
2019
Full Text
View/download PDF

27. Comparing Interaction Techniques to Help Blind People Explore Maps on Small Tactile Devices

Author

Anke Brock, Mathieu Simonnet, Bernard Oriola, Antonio Serpa, Christophe Jouffrais, Laboratoire d'Economie et de Gestion de l'Ouest (LEGO), Université de Bretagne Sud (UBS)-Université de Brest (UBO)-Institut Mines-Télécom [Paris] (IMT)-Institut Brestois des Sciences de l'Homme et de la Société (IBSHS), Université de Brest (UBO)-Université Bretagne Loire (UBL)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT), Département Logique des Usages, Sciences sociales et Sciences de l'Information (IMT Atlantique - LUSSI), IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Ecole Nationale de l'Aviation Civile (ENAC), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), Centre National de la Recherche Scientifique (CNRS), Image & Pervasive Access Lab (IPAL), National University of Singapore (NUS)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore], ANR-14-CE17-0018,AccessiMap,Les cartographies (Open Data) interactives, collaboratives et accessibles pour les déficients visuels(2014), Université de Brest (UBO)-Université Bretagne Loire (UBL)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées, and National University of Singapore (NUS)-MATHEMATIQUES, SCIENCES ET TECHNOLOGIES DE L'INFORMATION ET DE LA COMMUNICATION (UJF)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore]

Subjects
Touchscreen, Interaction, Computer Networks and Communications, Computer science, Visual impairment, Neuroscience (miscellaneous), Tactile device, lcsh:Technology, 050105 experimental psychology, Memorization, Task (project management), law.invention, Human–computer interaction, law, medicine, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], lcsh:Science, Sensory cue, 050107 human factors, Screen reader, lcsh:T, 05 social sciences, Spatial cognition, Accessibility, Computer Science Applications, Human-Computer Interaction, lcsh:Q, medicine.symptom
Abstract

International audience; Exploring geographic maps on touchscreens is a difficult task in the absence of vision as those devices miss tactile cues. Prior research has therefore introduced non-visual interaction techniques designed to allow visually impaired people to explore spatial configurations on tactile devices. In this paper, we present a study in which six blind and six blindfolded sighted participants evaluated three of those interaction techniques compared to a screen reader condition. We observed that techniques providing guidance result in a higher user satisfaction and more efficient exploration. Adding a grid-like structure improved the estimation of distances. None of the interaction techniques improved the reconstruction of the spatial configurations. The results of this study allow improving the design of non-visual interaction techniques that support a better exploration and memorization of maps in the absence of vision.

Published
2019
Full Text
View/download PDF

28. A review of user training methods in brain computer interfaces based on mental tasks

Author

Léa Pillette, Fabien Lotte, Jelena Mladenović, Camille Benaroch, Camille Jeunet, Bernard N'Kaoua, Aline Roc, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), Cognition, Langues, Langage, Ergonomie (CLLE), Centre National de la Recherche Scientifique (CNRS)-École pratique des hautes études (EPHE), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Université Toulouse - Jean Jaurès (UT2J), This work was supported by the European ResearchCouncil with project BrainConquest (grant ERC-2016-STG-714567)., Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, École Pratique des Hautes Études (EPHE), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), and Université de Toulouse (UT)

Subjects
Computer science, Process (engineering), Reliability (computer networking), 0206 medical engineering, Control (management), Biomedical Engineering, [SCCO.COMP]Cognitive science/Computer science, Mental imagery, 02 engineering and technology, Instructions, Training tasks, Training (civil), User, Feedback, [SCCO]Cognitive science, 03 medical and health sciences, Cellular and Molecular Neuroscience, 0302 clinical medicine, Human–computer interaction, Taxonomy (general), Humans, Learning, Mental task, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Electroencephalography (EEG), Brain–computer interface, [SCCO.NEUR]Cognitive science/Neuroscience, Brain, Reproducibility of Results, Electroencephalography, Brain-Computer Interfaces (BCI), 020601 biomedical engineering, Categorization, Brain-Computer Interfaces, [SCCO.PSYC]Cognitive science/Psychology, 030217 neurology & neurosurgery, Mental image
Abstract

Mental-tasks based brain–computer interfaces (MT-BCIs) allow their users to interact with an external device solely by using brain signals produced through mental tasks. While MT-BCIs are promising for many applications, they are still barely used outside laboratories due to their lack of reliability. MT-BCIs require their users to develop the ability to self-regulate specific brain signals. However, the human learning process to control a BCI is still relatively poorly understood and how to optimally train this ability is currently under investigation. Despite their promises and achievements, traditional training programs have been shown to be sub-optimal and could be further improved. In order to optimize user training and improve BCI performance, human factors should be taken into account. An interdisciplinary approach should be adopted to provide learners with appropriate and/or adaptive training. In this article, we provide an overview of existing methods for MT-BCI user training—notably in terms of environment, instructions, feedback and exercises. We present a categorization and taxonomy of these training approaches, provide guidelines on how to choose the best methods and identify open challenges and perspectives to further improve MT-BCI user training.

Published
2021
Full Text
View/download PDF

29. Spatial Interfaces and Interactive 3D Environments for Immersive Musical Performances

Author

Florent Berthaut, Martin Hachet, Méthodes et outils pour l'Interaction à gestes (MINT2), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Computer science, media_common.quotation_subject, Emotions, Interactive 3d, Entertainment industry, Musical, Virtual reality, computer.software_genre, 050105 experimental psychology, 060404 music, Creativity, Computer graphics, Imaging, Three-Dimensional, Human–computer interaction, Immersion (virtual reality), Humans, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Graphics, Set (psychology), media_common, Multimedia, 05 social sciences, 06 humanities and the arts, Computer Graphics and Computer-Aided Design, computer, Music, 0604 arts, Software
Abstract

International audience; The power of interactive 3D graphics, immersive displays, and spatial interfaces is still under-explored in domains where the main target is to enhance creativity and emotional experiences. This article presents a set of work the attempts to extent the frontiers of music creation as well as the experience of audiences attending to digital performances. The goal is to connect sounds to interactive 3D graphics that musicians can interact with and the audience can observe.

Published
2016
Full Text
View/download PDF

30. Neurophysiological Markers for Passive Brain–Computer Interfaces

Author

Jérémy Frey, Raphaëlle N. Roy, Commissariat à l'énergie atomique et aux énergies alternatives - Laboratoire d'Electronique et de Technologie de l'Information (CEA-LETI), Direction de Recherche Technologique (CEA) (DRT (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA), GIPSA - Signal et Automatique pour la surveillance, le diagnostic et la biomécanique (GIPSA-SAIGA), Département Automatique (GIPSA-DA), Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Département Images et Signal (GIPSA-DIS), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Maureen Clerc, Laurent Bougrain, Fabien Lotte, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest

Subjects
[SDV.IB.IMA]Life Sciences [q-bio]/Bioengineering/Imaging, Brain activity and meditation, Process (engineering), Entertainment industry, Electroencephalography, 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Neuroimaging, Human–computer interaction, medicine, 0501 psychology and cognitive sciences, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Brain–computer interface, passive BCI, medicine.diagnostic_test, business.industry, 05 social sciences, Workload, Neurophysiology, Artificial intelligence, neurophysiology, Psychology, business, 030217 neurology & neurosurgery
Abstract

International audience; "Passive" BCIs use brain signals involuntarily generated by individuals. Those signals can be used for mental state monitoring in divers work situations such as hazardous ones (e.g. driving, plant monitoring, etc.), or more generally in order to improve human-computer interaction, notably in the entertainment industry. Through several neuroimaging techniques, the present chapter will detail what the common cerebral markers used by passive BCIs are, and which associated mental states are currently assessed. Thanks to their ease-of-use outside the laboratory, electroencephalography (EEG) and functional near-infrared spectroscopy (fNIRS) are the two techniques that are mainly used to build passive BCI systems. EEG is a direct measure of brain activity that allows us to record onto the scalp the fluctuations of neuronal electrical activity. On the other hand, fNIRS is an indirect brain activity recording method that measures neuronal metabolic activity as it probes blood oxygenation. Passive BCIs aim to monitor various mental states, such as attention, mental fatigue, workload, error detection and emotions to name a few. For that purpose, BCIs make use of signal characteristics of different kinds. For example, there are spectral makers (e.g. power in a frequency band), or temporal ones (e.g. potentials triggered by certain events), and even spatial ones (e.g. relative activation of specific brain areas). There are different ways to put passive BCIs into practice depending on the assessed mental state. For instance, the recording of drivers' lapses of attention can help to prevent accidents, while measuring workload - which increases with the amount of data to process will allow to adjust the difficulty of a task. Error-related potentials, generated when we realize that a mistake was made, could be used by machines to get to know when they acted wrong. Using passive BCIs, it is also possible to characterize the emotions that are produced by media, and their intensity. Whether it be to prevent hazard or facilitate communication, the growing use of passive BCIs promises significant technological progress.

Published
2016
Full Text
View/download PDF

31. Brain–Computer Interface Contributions to Neuroergonomics

Author

Fabien Lotte, Raphaëlle N. Roy, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institut Supérieur de l'Aéronautique et de l'Espace (ISAE-SUPAERO), Lotte, Fabien, Centre National de la Recherche Scientifique - CNRS (FRANCE), Ecole Nationale Supérieure d’Electronique, Informatique et Radiocommunications de Bordeaux - ENSEIRB (FRANCE), Institut National de la Recherche en Informatique et en Automatique - INRIA (FRANCE), Institut Supérieur de l'Aéronautique et de l'Espace - ISAE-SUPAERO (FRANCE), Université de Bordeaux 1 (FRANCE), Université de Bordeaux 2 - Victor Segalen (FRANCE), Département Conception et conduite des véhicules Aéronautiques et Spatiaux - DCAS (Toulouse, France), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
[INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], Brain-Computer Interface, Computer science, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, 0206 medical engineering, Feature extraction, Stereoscopy, 02 engineering and technology, law.invention, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, [STAT.AP] Statistics [stat]/Applications [stat.AP], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, law, Human–computer interaction, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], Neuroergonomics, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Adaptation (computer science), Video game, Brain–computer interface, Signal processing, [STAT.AP]Statistics [stat]/Applications [stat.AP], Neurosciences, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, 020601 biomedical engineering, Cockpit, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 030217 neurology & neurosurgery
Abstract

International audience; Brain-Computer Interfaces (BCIs) are systems that can translate brain activity patterns into messages or commands for an interactive application. As such the technology used to design them, and in particular to design passive BCIs which are a new means to perform mental state monitoring, can greatly benefit the neuroergonomics field. Therefore, this chapter describes the classical structure of the brain signal processing chain employed in BCIs, notably presenting the typically used preprocessing (spatial and spectral filtering, artefact removal), feature extraction and classification algorithms. It also gives examples of the use of BCI technology for neuroergonomics applications, either offline for evaluation purposes (e.g. cockpit design or stereoscopic displays’ assessment), or online for adaptation purposes (e.g. video game difficulty level or air traffic controller display adaptation).

Published
2019

32. 'Teegi's so cute!'

Author

Stéphanie Fleck, Martin Hachet, Thibault Lainé, Charlotte Baraudon, Jérémy Frey, Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Canopé académie de Metz, Ullo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Service Expérimentation et Développement [Bordeaux] (SED), Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest

Subjects
Process (engineering), Computer science, Interface (Java), [SHS.EDU]Humanities and Social Sciences/Education, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Context (language use), Child- Computer Interaction, Education, Child computer interaction, Usability testing, Educational support, Human–computer interaction, Evaluation methods, Pedagogical potential assessment, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, School context, business.industry, 4. Education, 05 social sciences, 050301 education, Usability, Collaboration, Brain functions, ACM: K.: Computing Milieux/K.3: COMPUTERS AND EDUCATION/K.3.1: Computer Uses in Education, Cerebral activity, Tangible User Interface (TUI), business, 0503 education
Abstract

International audience; Cerebral activity is an intangible physiological process that is difficult to apprehend, especially for children. To overcome this difficulty, Teegi was designed as a new type of educational support. This tangible interface enables children to discover the relationship between brain activity and the functions of the human body. We developed a multi-methods research approach to estimate the pedagogical potential of Teegi used in a real-life educational context. Using this interdisciplinary methodology, we conducted a user study (N=29) that highlighted the strengths of this interface, both in terms of its usability and its impact on learning. Moreover, results revealed possible improvements to further increase pedagogical effectiveness. This type of interface, as well as the evaluation method that we propose, contribute to extending our knowledge concerning the pedagogical use of new interactive tools at school.

Published
2018
Full Text
View/download PDF

33. FlyMap: Interacting with Maps Projected from a Drone

Author

Michelle Park, Martin Hachet, Julia Chatain, Tommy Fang, James A. Landay, Anke Brock, Jessica R. Cauchard, ENAC - Equipe Informatique Interactive (LII), Ecole Nationale de l'Aviation Civile (ENAC), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Computer Science Department [Stanford], Stanford University, Interdisciplinary Center [Israël] (IDC), Interdisciplinary Center, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)

Subjects
Computer science, UAV, sUAV, 02 engineering and technology, Task (project management), Interactive Maps, Interactivity, User experience design, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.6: Input devices and strategies (e.g., mouse, touchscreen), Human–computer interaction, ACM: I.: Computing Methodologies/I.3: COMPUTER GRAPHICS/I.3.6: Methodology and Techniques, Tour Guide, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Projection, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Human-Drone Interaction, business.industry, 05 social sciences, 020207 software engineering, Drone, Robot, Mobile Interaction, business, Mobile interaction, Mobile device, Strengths and weaknesses
Abstract

International audience; Interactive maps have become ubiquitous in our daily lives, helping us reach destinations and discovering our surroundings. Yet, designing map interactions is not straightforward and depends on the device being used. As mobile devices evolve and become independent from users, such as with robots and drones, how will we interact with the maps they provide? We propose FlyMap as a novel user experience for drone-based interactive maps. We designed and developed three interaction techniques for FlyMap's usage scenarios. In a comprehensive indoor study (N = 16), we show the strengths and weaknesses of two techniques on users' cognition, task load, and satisfaction. FlyMap was then pilot tested with the third technique outdoors in real world conditions with four groups of participants (N = 13). We show that FlyMap's interactivity is exciting to users and opens the space for more direct interactions with drones.

Published
2018
Full Text
View/download PDF

34. Understanding Users’ Capability to Transfer Information between Mixed and Virtual Reality: Position Estimation across Modalities and Perspectives

Author

Jean Basset, Martin Hachet, Joan Sol Roo, Pierre-Antoine Cinquin, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ecole Nationale Supérieure de Cognitique (ENSC), Institut Polytechnique de Bordeaux, Université de Bordeaux (UB), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Modalities, Computer science, 05 social sciences, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Virtual Reality, 020207 software engineering, 02 engineering and technology, Virtual reality, Spatial Augmented Reality, Viewpoints, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Mixed reality, Human–computer interaction, Mixed Reality, 0202 electrical engineering, electronic engineering, information engineering, Immersion (virtual reality), Virtuality (gaming), 0501 psychology and cognitive sciences, Augmented reality, Quantitative Methods, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Evaluation, 050107 human factors
Abstract

International audience; Mixed Reality systems combine physical and digital worlds, with great potential for the future of HCI. It is possible to design systems that support flexible degrees of virtuality by combining complementary technologies. In order for such systems to succeed, users must be able to create unified mental models out of heterogeneous representations. In this paper, we present two studies focusing on the users' accuracy on heterogeneous systems using Spatial Augmented Reality (SAR) and immersive Virtual Reality (VR) displays, and combining viewpoints (egocentric and exocentric). The results show robust estimation capabilities across conditions and viewpoints.

Published
2018
Full Text
View/download PDF

35. Nectar

Author

Anke Brock, Jeremy Laviole, Lauren Thévin, Jérémy Albouys-Perrois, RealityTech, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ecole Nationale de l'Aviation Civile (ENAC), 2016-1-EL01-KA201-023731, Erasmus MC Vriendenfonds, RealityTech is supported by Region Aquitaine, Pole Aquinetic and Unitec. The Interactive Map Application for Visually Impaired People is conducted with the support of the Erasmus+ Program of the European Union Pr. no 2016-1-EL01-KA201-023731., and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
tabletop, Computer science, visual impairment, 02 engineering and technology, Multi-user, tangible interaction, Exhibition, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], mapping, object tracking, open-source, scientific visualization, 050107 human factors, multi-user, education, Subtractive color, business.industry, 05 social sciences, Scientific visualization, Software development, Spatial Augmented Reality, Braille, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], machine learning, child-computer interaction, [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], Video tracking, 020201 artificial intelligence & image processing, Augmented reality, business
Abstract

International audience; In this demonstration we showcase a new spatial augmented reality device (interactive projection) with three applications: education and experimentation of color models, map exploration for visually impaired people and scientific vulgarization of machine learning. The first exhibition is an interactive exploration about the nature of light. Visitors can experiment with additive subtractive color models. We engage them with questions, and they have to reply using cards to find out answers. This exhibit is suitable for children. The second exhibition is about map exploration and creation for Visually Impaired Persons (VIP). VIP generally use tactile maps with braille to learn about an unknown environment. However, these maps are not accessible to the 80% of VIP who don't read braille. Our prototype augments raised-line maps with audio output. The third exhibition is destined to be used for scientific outreach. It enables the creation of artificial neural networks (ANN) using tangible interfaces. Neurons are represented by laser-cut diamond shaped tokens, and the data to learn is printed on cards. The ANN learns to differentiate shapes, and the whole learning process is made visible and interactive. These three applications demonstrate the capabilities of our hardware and software development kit in different scenarios. At ReVo, each demonstration will have its own setup and interactive space.

Published
2018
Full Text
View/download PDF

36. Scientific and Technical Prospects

Author

Jean-Marie Normand, Caroline Baillard, Gaël Seydoux, Fabien Lotte, Philippe Guillotel, Anatole Lécuyer, Nicolas Mollet, Visual Geometry Group (VGG), University of Oxford [Oxford], Technicolor R & I [Cesson Sévigné], Technicolor, 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), École Centrale de Nantes (ECN), Centre de recherche nantais Architectures Urbanités (CRENAU), Ambiances, Architectures, Urbanités (AAU ), École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN), University of Oxford, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Computer science, media_common.quotation_subject, User perception, Illusion, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, 02 engineering and technology, Virtual reality, Field (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Entertainment, 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Human–computer interaction, Perception, 0202 electrical engineering, electronic engineering, information engineering, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 030217 neurology & neurosurgery, media_common
Abstract

International audience; This chapter offers a view of future technical and scientific prospects, related to major evolutions in use. It explains the impact of technological advances on applications in the entertainment field and, more generally, on the use of VR‐AR by the general public. The chapter then discusses the potential of brain‐computer interactions (BCI). It explains the working principle of BCIs and analyzes the possibilities opened up by alternative perception mechanisms for interactions in virtual reality (VR). The chapter looks at how user perceptions can be altered in VR using pseudo‐sensory feedback. Finally, it shows that it is possible to generate illusions of movement for an immobile user by altering their movement in VR, and thus overcoming the current limitations of VR technology related to movement in the VE.

Published
2018
Full Text
View/download PDF

37. Towards a multisensory augmented reality map for blind and low vision people: A participatory design approach

Author

Anke Brock, Jeremy Laviole, Jérémy Albouys-Perrois, Carine Briant, Porte, Laurence, Visualization in Technology Education - VisTE - 2002-06-01 - 2007-11-30 - 0137811 - VALID, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RealityTech, Institution Régionale des Sourds et des Aveugles (IRSA), Ecole Nationale de l'Aviation Civile (ENAC), ENAC - Equipe Informatique Interactive (LII), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), European Project: 0137811,VisTE(2002), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)

Subjects
Computer science, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Visual impairment, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, Augmented reality, [INFO] Computer Science [cs], ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Special education, [INFO.EIAH] Computer Science [cs]/Technology for Human Learning, Human–computer interaction, [SCCO.COMP] Cognitive science/Computer science, Participatory design, 0202 electrical engineering, electronic engineering, information engineering, medicine, [INFO]Computer Science [cs], 0501 psychology and cognitive sciences, Vsual impairment, Projection (set theory), 050107 human factors, Orientation (computer vision), 05 social sciences, User satisfaction, 020207 software engineering, Geographic maps, ACM: K.: Computing Milieux/K.4: COMPUTERS AND SOCIETY/K.4.2: Social Issues, Accessibility, Low vision, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, medicine.symptom
Abstract

International audience; Current low-tech Orientation & Mobility (O&M) tools for visually impaired people, e.g. tactile maps, possess limitations. Interactive accessible maps have been developed to overcome these. However, most of them are limited to exploration of existing maps, and have remained in laboratories. Using a participatory design approach, we have worked closely with 15 visually impaired students and 3 O&M instructors over 6 months. We iteratively designed and developed an augmented reality map destined at use in O&M classes in special education centers. This prototype combines projection, audio output and use of tactile tokens, and thus allows both map exploration and construction by low vision and blind people. Our user study demonstrated that all students were able to successfully use the prototype, and showed a high user satisfaction. A second phase with 22 international special education teachers allowed us to gain more qualitative insights. This work shows that augmented reality has potential for improving the access to education for visually impaired people.

Published
2018

38. Une réalité : augmenter l'expérience humaine à travers la convergence des mondes physiques et numériques

Author

Roo, Joan Sol, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux, Martin Hachet, STAR, ABES, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Augmented Reality, Interaction tangible, [INFO.INFO-OH]Computer Science [cs]/Other [cs.OH], Virtual Reality, Informatique physiologique, Interaction Homme-Machine, [INFO.INFO-OH] Computer Science [cs]/Other [cs.OH], Human-Computer Interaction, Réalité virtuelle, Mixed Reality, Tangible Interaction, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Réalité mixte, Physiological Computing, Réalité augmentée
Abstract

In recent history, computational devices evolved from simple calculators to now pervasive artefacts, with which we share most aspects of our lives, and it is hard to imagine otherwise. Yet, this change of the role of computers was not accompanied by an equivalent redefinition of the interaction paradigm: we still mostly depend on screens, keyboards and mice. Even when these legacy interfaces have been proven efficient for traditional tasks, we agree with those who argue that these interfaces are not necessarily fitting for their new roles. Even more so, traditional interfaces preserve the separation between digital and physical realms, now counterparts of our reality.During this PhD, we focused the dissolution of the separation between physical and digital, first by extending the reach of digital tools into the physical environment, followed by the creation of hybrid artefacts (physical-digital emulsions), to finally support the transition between different mixed realities, increasing immersion only when needed. The final objective of this work is to augment the experience of reality. This comprises not only the support of the interaction with the external world, but also with the internal one. This thesis provides the reader contextual information along with required technical knowledge to be able to understand and build mixed reality systems. Once the theoretical and practical knowledge is provided, our contributions towards the overarching goal of merging physical and digital realms are presented. We hope this document will inspire and help others to work towards a world where the physical and digital, and humans and their environment are not opposites, but instead all counterparts of a unified reality., Alors que le numérique a longtemps été réservé à des usages experts, il fait aujourd’hui partie intégrante de notre quotidien, au point, qu’il devient difficile de considérer le monde physique dans lequel nous vivons indépendamment du monde numérique. Pourtant, malgré cette évolution, notre manière d’interagir avec le monde numérique a très peu évolué, et reste toujours principalement basé sur l’utilisation d’écrans, de claviers et de souris. Dans les nouveaux usages rendus possible par le numérique, ces interfaces peuvent se montrer inadaptées, et continuent à préserver la séparation entre le monde physique et le monde numérique. Au cours de cette thèse, nous nous sommes concentrés à rendre cette frontière entre mondes physique et numérique plus subtil au point de la faire disparaître. Cela est rendu possible en étendant la portée des outils numériques dans le monde physique, puis en concevant des artefacts hybrides (des objets aux propriétés physique et numérique), et enfin en permettant les transitions dans une réalité mixte (physique-numérique), laissant le choix du niveau d’immersion à l’utilisateur en fonction de ses besoins. L’objectif final de ce travail est d’augmenter l’expérience de la réalité. Cela comprend non seulement le support de l’interaction avec le monde extérieur, mais aussi avec notre monde intérieur. Cette thèse fournit aux lecteurs les informations contextuelles et les connaissances techniques requises pour pouvoir comprendre et concevoir des systèmes de réalité mixte. A partir de ces fondements, nos contributions, ayant pour but de fusionner le monde physique et le monde virtuel, sont présentées. Nous espérons que ce document inspirera et facilitera des travaux futurs ayant pour vision d’unifier le physique et le virtuel.

Published
2017

39. Towards Seamless Interaction between Physical and Virtual Locations for Asymmetric Collaboration

Author

Pascal Guitton, Joan Sol Roo, Damien Clergeaud, Martin Hachet, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Rapid prototyping, Process (engineering), Computer science, Asymmetric Collaboration, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Optical head-mounted display, 02 engineering and technology, Virtual reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Aerospace, 050107 human factors, business.industry, Technician, 05 social sciences, Virtual Reality, 020207 software engineering, Spatial Augmented Reality, Head Mounted Display, Mixed reality, Tangible User Interfaces, Mixed Reality, business, Engineering design process
Abstract

International audience; Virtual Reality allows rapid prototyping and simulation of physical artefacts, which would be difficult and expensive to perform otherwise. On the other hand, when the design process is complex and involves multiple stakeholders, decisions are taken in meetings hosted in the physical world. In the case of aerospace industrial designs, the process is accelerated by having asymmetric collaboration between the two locations: experts discuss the possibilities in a meeting room while a technician immersed in VR tests the selected alternatives. According to experts, the current approach is not without limitations, and in this work, we present prototypes designed to tackle them. The described artefacts were created to address the main issues: awareness of the remote location, remote interaction and manipulation, and navigation between locations. First feedback from experts regarding the prototypes is also presented. The resulting design considerations can be used in other asymmetric collaborative scenarios.

Published
2017
Full Text
View/download PDF

40. One Reality: Augmenting How the Physical World is Experienced by combining Multiple Mixed Reality Modalities

Author

Martin Hachet, Joan Sol Roo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), ACM, ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)

Subjects
Computer science, Reality–virtuality continuum, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, 02 engineering and technology, Virtual reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Through-the-lens Technique, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Modalities, Augmented Reality, 05 social sciences, Virtual Reality, Contrast (statistics), 020207 software engineering, Computer-mediated reality, Spatial Augmented Reality, Mixed reality, Organic User Interfaces, Tangible User Interfaces, Conceptual framework, Mixed Reality, Augmented reality
Abstract

International audience; Most of our daily activities take place in the physical world, which inherently imposes physical constraints. In contrast, the digital world is very flexible, but usually isolated from its physical counterpart. To combine these two realms, many Mixed Reality (MR) techniques have been explored, at different levels in the continuum. In this work we present an integrated Mixed Reality ecosystem that allows users to incrementally transition from pure physical to pure virtual experiences in a unique reality. This system stands on a conceptual framework composed of 6 levels. This paper presents these levels as well as the related interaction techniques.

Published
2017
Full Text
View/download PDF

41. Towards a Mixed-Reality Interface for Mind-Mapping

Author

Martin Hachet, Philippe Giraudeau, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Computer science, Interface (Java), H5m [Information interfaces and presentation (eg, Digital content, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, computer.software_genre, Mind-Mapping, HCI)]: Miscellaneous, WIMP, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Learning, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Mixed-Reality interface, Multimedia, 05 social sciences, ACM Classification Keywords, [SDV.NEU.SC]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences, 020207 software engineering, Cognition, Mixed reality, Author Keywords, computer
Abstract

International audience; In this work, we have explored an approach based on the hybridisation of physical and digital content for mind-mapping activities at schools. Based on the literature in the fields of cognitive science and HCI, we have designed a mixed-reality (MR) interface called Reality-Map. We conducted a pilot study with 11 participants suggesting that learning and manipulating information about the brain and their cognitive functions could be improved by the use of such a MR interface compared to a traditional WIMP interface.

Published
2017
Full Text
View/download PDF

42. Interactions Homme-Drones pour un jonglage sans gravité

Author

Damien Clergeaud, Maxime Agor, Antoine Clée, Martin Hachet, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Le cirque inachevé, AFIHM, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)

Subjects
Gravity (chemistry), Human-Drone Interaction, Computer science, 05 social sciences, Juggling, 020207 software engineering, 02 engineering and technology, 3D gestures, Drone, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Art, Gesture
Abstract

TEC - Travaux en Cours; International audience; In this work, we explore a new form of juggling. The juggler interacts with balls carried with nano-drones using 3D gestures. In this paper, we discuss technological as well as interaction issues.

Published
2017
Full Text
View/download PDF

43. « Teegi, il est trop beau »: Exemple d'évaluation du potentiel pédagogique d'une interface tangible interactive pour enfants en contexte scolaire

Author

Thibault Lainé, Charlotte Baraudon, Stéphanie Fleck, Jérémy Frey, Martin Hachet, Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Canopé académie de Metz, Ullo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), AFIHM, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Relation (database), Process (engineering), Interface (Java), Computer science, Context (language use), Contexte scolaire, 02 engineering and technology, Evaluation de l’utilisabilité, Education, Child-Computer Interaction, Usability testing, Educational support, Human–computer interaction, Evaluation methods, ComputingMilieux_COMPUTERSANDEDUCATION, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Interaction enfant-machine, Tangible interface, School context, business.industry, 4. Education, 05 social sciences, 020207 software engineering, Usability, Educative potential, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI), Cerebral activity, Interface tangible, business, Potentiel pédagogique
Abstract

International audience; The cerebral activity is an intangible physiological process difficult to apprehend, especially for children. With the aim of providing a new type of educational support, we studied the pedagogical potential of an interactive tangible interface (Teegi) designed to be used in educational context. This interface aims at enabling children to discover the relation between the brain activity and the human body functions. We propose in this study a methodology to evaluate its pedagogical potential in real context of use, considering the specificities of the children. This study, carried out with 29 pupils, highlights the strengths of this system, both in terms of its usability and its impact on learning. Moreover, the results provided by this methodology revealed possible improvements for a greater pedagogical effectiveness. This type of interactive interface, as well as the evaluation method proposed, paves the way for the pedagogical use of new interactive and tangible devices at school.; L’activité cérébrale est un processus physiologique intangible qui peut être difficile à appréhender, notamment pour des enfants. Pour répondre aux besoins en supports pédagogiques et favoriser les apprentissages liés à ce type de concepts, nous étudions le potentiel d’une interface tangible interactive dédiée à la visualisation d’activités cérébrales (Teegi) en contexte éducatif. Nous proposons une méthodologie d’évaluation du potentiel pédagogique en contexte réel d’utilisation par des enfants. Cette étude réalisée avec 29 enfants, met en évidence les forces de ce système, tant au niveau de son utilisabilité que de ses impacts sur les apprentissages visés. Les résultats obtenus mettent en lumière des axes d’améliorations possibles pour une plus grande efficacité pédagogique. Ce type d’interface, ainsi que la méthode d’évaluation que nous proposons, ouvrent la voie de l’utilisation pédagogique de nouveaux dispositifs interactifs et tangibles en milieu scolaire.

Published
2017
Full Text
View/download PDF

44. A generic framework for adaptive EEG-based BCI training and operation

Author

Jelena Mladenović, Jérémie Mattout, Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Centre de recherche en neurosciences de Lyon (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Chang S. Nam, Anton Nijholt, Fabien Lotte, Mladenovic, Jelena, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Centre de recherche en neurosciences de Lyon - Lyon Neuroscience Research Center (CRNL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)

Subjects
FOS: Computer and information sciences, 0209 industrial biotechnology, Computer science, Computer Science - Human-Computer Interaction, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, Electroencephalography, Quantitative Biology - Quantitative Methods, Field (computer science), Human-Computer Interaction (cs.HC), 03 medical and health sciences, [SCCO]Cognitive science, 020901 industrial engineering & automation, 0302 clinical medicine, [SCCO.COMP] Cognitive science/Computer science, Human–computer interaction, Taxonomy (general), medicine, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Adaptation (computer science), Quantitative Methods (q-bio.QM), [INFO.INFO-BI] Computer Science [cs]/Bioinformatics [q-bio.QM], Brain–computer interface, medicine.diagnostic_test, business.industry, Instructional design, [SCCO.NEUR]Cognitive science/Neuroscience, [SCCO.NEUR] Cognitive science/Neuroscience, [SCCO] Cognitive science, Conceptual framework, FOS: Biological sciences, Artificial intelligence, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BI]Computer Science [cs]/Bioinformatics [q-bio.QM], business, 030217 neurology & neurosurgery
Abstract

International audience; There are numerous possibilities and motivations for an adaptive BCI, which may not be easy to clarify and organize for a newcomer to the field. To our knowledge, there has not been any work done in classifying the literature on adaptive BCI in a comprehensive and structured way. We propose a conceptual framework, a taxonomy of adaptive BCI methods which encompasses most important approaches to fit them in such a way that a reader can clearly visualize which elements are being adapted and for what reason. In the interest of having a clear review of existing adaptive BCIs, this framework considers adaptation approaches for both the user and the machine, i.e., using instructional design observations as well as the usual machine learning techniques. This framework not only provides a coherent review of such extensive literature but also enables the reader to perceive gaps and flaws in the current BCI systems, which would hopefully bring novel solutions for an overall improvement.

Published
2017

45. Design of an annotation system for taking notes in virtual reality

Author

Pascal Guitton, Damien Clergeaud, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Clergeaud, Damien, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest

Subjects
Annotation System, Design, Computer science, [INFO.INFO-GR] Computer Science [cs]/Graphics [cs.GR], 02 engineering and technology, Virtual reality, computer.software_genre, Tangible User Interface, Interaction Technique, Annotation, Human–computer interaction, 020204 information systems, 0202 electrical engineering, electronic engineering, information engineering, Tangible user interface, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Multimedia, Virtual Reality, Interaction technique, Computer-mediated reality, Mixed reality, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Virtual machine, 020201 artificial intelligence & image processing, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], computer, Instructional simulation
Abstract

International audience; The industry uses immersive virtual environments for testing engineering solutions. Annotation systems allow capturing the insights that arise during those virtual reality sessions. However, those annotations remain in the virtual environment. Users are required to return to virtual reality to access it. We propose a new annotation system for VR. The design of this system contains two important aspects. First, the digital representation of the annotations enables to access the annotation in both virtual and physical world. Secondly, the interaction technique for taking notes in VR is designed to enhance the feeling of bringing the annotations from the physical world to the virtual and vice versa. We also propose the first implementation of this design.

Published
2017

46. Inner Garden

Author

Joan Sol Roo, Martin Hachet, Renaud Gervais, Jérémy Frey, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), ACM, ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Mindfulness, media_common.quotation_subject, 02 engineering and technology, Virtual reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Calm Technologies, GeneralLiterature_MISCELLANEOUS, Session (web analytics), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Tangible Interaction, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Meditation, 050107 human factors, media_common, 05 social sciences, Virtual Reality, 020207 software engineering, Spatial Augmented Reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems/H.5.1.1: Artificial, augmented, and virtual realities, Mixed reality, Mixed Reality, Happiness, Curiosity, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Sandbox (software development), Psychology
Abstract

International audience; Digital technology has been completely integrated into our daily lives, yet the potential of technology to improve its users’ life satisfaction is still largely untapped. Mindfulness, the act of paying a deliberate and non-judgmental attention to the present moment, has been shown to have a positive impact on a person’s health and subjective well-being – commonly called “happiness”. Based on an iterative process with meditation teachers and practitioners, we designed a new tool to support mindfulness practices. This tool takes the shape of an augmented sandbox, designed to inspire the user’s self-motivation and curiosity. By shaping the sand, the user creates a living miniature world that is projected back onto the sand. The natural elements of the garden are connected to real-time physiological measurements, such as breathing, helping the user to stay focused on the body. Moreover, using a Virtual Reality headset, they can travel inside their garden for a dedicated meditation session. Preliminary results seem to indicate that the system is well suited for mindfulness and induces a calm and mindful state on the user. The meditation teachers envisioned the use of Inner Garden in their practice.

Published
2017
Full Text
View/download PDF

47. Scientific Outreach with Teegi, a Tangible EEG Interface to Talk about Neurotechnologies

Author

Jérémy Frey, Stéphanie Fleck, Hugo Germain, Thibault Lainé, Martin Hachet, Fabien Lotte, Renaud Gervais, Maxime Duluc, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)

Subjects
FOS: Computer and information sciences, Brain activity and meditation, Computer science, Interface (computing), Computer Science - Human-Computer Interaction, ACM: I.: Computing Methodologies/I.2: ARTIFICIAL INTELLIGENCE/I.2.6: Learning/I.2.6.4: Knowledge acquisition, 02 engineering and technology, Electroencephalography, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.7: Interaction styles (e.g., commands, menus, forms, direct manipulation), Human-Computer Interaction (cs.HC), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, medicine, [INFO.INFO-IM]Computer Science [cs]/Medical Imaging, Tangible Interaction, 0501 psychology and cognitive sciences, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], BCI, 050107 human factors, Brain–computer interface, Avatar, medicine.diagnostic_test, [SCCO.NEUR]Cognitive science/Neuroscience, 05 social sciences, ACM: H.: Information Systems/H.1: MODELS AND PRINCIPLES/H.1.2: User/Machine Systems/H.1.2.1: Human information processing, 020207 software engineering, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems/H.5.1.1: Artificial, augmented, and virtual realities, Outreach, Scientific Outreach
Abstract

International audience; Teegi is an anthropomorphic and tangible avatar exposing a users' brain activity in real time. It is connected to a device sensing the brain by means of electroencephalog-raphy (EEG). Teegi moves its hands and feet and closes its eyes along with the person being monitored. It also displays on its scalp the associated EEG signals, thanks to a semi-spherical display made of LEDs. Attendees can interact directly with Teegi – e.g. move its limbs – to discover by themselves the underlying brain processes. Teegi can be used for scientific outreach to introduce neurotechnologies in general and brain-computer interfaces (BCI) in particular.

Published
2017
Full Text
View/download PDF

48. Towards a Hybrid Space Combining Spatial Augmented Reality and Virtual Reality

Author

Martin Hachet, Joan Sol Roo, Roo, Joan Sol, Appel à projets générique - Interaction en Réalité Augmentée Spatiale - - ISAR2014 - ANR-14-CE24-0013 - Appel à projets générique - VALID, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), IEEE, ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)

Subjects
3D interaction, Dependency (UML), Augmented Reality, Computer science, 05 social sciences, 020207 software engineering, 02 engineering and technology, Virtual reality, Space (commercial competition), Computer-mediated reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Mixed reality, HMD, Human–computer interaction, 3D Interaction, Computer graphics (images), Mixed Reality, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Augmented reality, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Set (psychology), 050107 human factors
Abstract

International audience; Spatial Augmented Reality (SAR) allows a user, or a group of users, to benefit from digital augmentations embedded directly into the physical world. This enables co-located information and unobstructed interaction. On the other hand, SAR suffers from limitations that are inherently linked to its physical dependency, which is not the case for see-through or immersive displays. In this work, we explore how to facilitate the transition from SAR to VR, and vice versa, integrating both into a unified experience. We developed a set of interaction techniques and obtained first feedback from informal interviews.

Published
2017

49. Making Tangible the Intangible: Hybridization of the Real and the Virtual to Enhance Learning of Abstract Phenomena

Author

Stéphanie Fleck, Martin Hachet, Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest

Subjects
Computer Networks and Communications, Computer science, [SHS.EDU]Humanities and Social Sciences/Education, Context (language use), instructional design, 02 engineering and technology, computer.software_genre, Field (computer science), lcsh:QA75.5-76.95, tangible interaction, Artificial Intelligence, Human–computer interaction, human-computer interaction, human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Leverage (statistics), [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], ComputingMilieux_MISCELLANEOUS, education, Multimedia, Instructional design, 05 social sciences, 050301 education, 020207 software engineering, augmented reality, Hardware and Architecture, ICT, Augmented reality, lcsh:Electronic computers. Computer science, User interface, 0503 education, computer, Software, Information Systems
Abstract

Interactive systems based on Augmented Reality (AR) and Tangible User Interfaces (TUI) hold great promise for enhancing the learning and understanding of abstract phenomena. In particular, they enable to take advantage of numerical simulation and pedagogical supports, while keeping the learner involved in true physical experimentations. In this paper, we present three examples based on AR and TUI, where the concepts to be learnt are difficult to perceive. The first one, Helios, targets K-12 learners in the field of astronomy. The second one, Hobit is dedicated to experiments in wave optics. Finally, the third one, Teegi, allows one to get to know more about brain activity. These three hybrid interfaces have emerged from a common basis that jointly combines research and development work in the fields of Instructional Design and Human-Computer Interaction, from theoretical to practical aspects. On the basis of investigations carried out in real context of use and on the grounding works in education and HCI which corroborate the design choices that were made, we formalize how and why the hybridization of the real and the virtual enables to leverage the way learners understand intangible phenomena in Sciences education.

Published
2016
Full Text
View/download PDF

50. Comprendre & Améliorer l’Entraînement des Utilisateurs d’Interfaces Cerveau-Ordinateur basées sur l’Imagerie Mentale : vers une Nouvelle Gérération d’Interfaces Cerveau-Ordinateur Fiables, Efficientes et Accessibles

Author

JEUNET, Camille, Handicap et système nerveux :Action, communication, interaction: rétablissement de la fonction et de la participation [Bordeaux] (EA4136), UFR Sciences médicales 3 [Bordeaux]-Université de Bordeaux Ségalen [Bordeaux 2], Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux, Bernard N'Kaoua, Martin Hachet, Fabien Lotte, Sriram Subramanian, N'Kaoua, Bernard, Hachet, Martin, Lotte, Fabien, Subramanian, Sriram, Mattout, Jérémie, Scherer, Reinhold, Kübler, Andrea, and Guehl, Dominique

Subjects
Brain-Computer Interface, ElectroEncéphaloGraphie, Protocoles d’Entraînement, Neurophysiological Correlates, Apprentissage, Human-Computer Interaction, Interfaces Cerveau-Ordinateur, Interaction Homme Machine, Cognitive Profile, Training Protocols, Personnalité, [SCCO.PSYC]Cognitive science/Psychology, Learning, Corrélats Neurophysiologiques, ElectroEncephaloGraphy, Personality, Profile Cognitif
Abstract

Mental-imagery based brain-computer interfaces (MI-BCIs) enable users to interact with theirenvironment using their brain-activity alone, by performing mental-imagery tasks. This thesisaims to contribute to the improvement of MI-BCIs in order to render them more usable. MIBCIsare bringing innovative prospects in many fields, ranging from stroke rehabilitation tovideo games. Unfortunately, most of the promising MI-BCI based applications are not yetavailable on the public market since an estimated 15 to 30% of users seem unable to controlthem. A lot of research has focused on the improvement of signal processing algorithms.However, the potential role of user training in MI-BCI performance seems to be mostlyneglected. Controlling an MI-BCI requires the acquisition of specific skills, and thus anappropriate training procedure. Yet, although current training protocols have been shown tobe theoretically inappropriate, very little research is done towards their improvement. Our mainobject is to understand and improve MI-BCI user-training. Thus, first we aim to acquire a betterunderstanding of the processes underlying MI-BCI user-training. Next, based on thisunderstanding, we aim at improving MI-BCI user-training so that it takes into account therelevant psychological and cognitive factors and complies with the principles of instructionaldesign. Therefore, we defined 3 research axes which consisted in investigating the impact of(1) cognitive factors, (2) personality and (3) feedback on MI-BCI performance. For each axis,we first describe the studies that enabled us to determine which factors impact MI-BCIperformance; second, we describe the design and validation of new training approaches; thethird part is dedicated to future work. Finally, we propose a solution that could enable theinvestigation of MI-BCI user-training using a multifactorial and dynamic approach: an IntelligentTutoring System.; Les Interfaces Cerveau-Ordinateur basées sur l’Imagerie Mentale (IM-ICO) permettent auxutilisateurs d’interagir uniquement via leur activité cérébrale, grâce à la réalisation de tâchesd’imagerie mentale. Cette thèse se veut contribuer à l’amélioration des IM-ICO dans le but deles rendre plus utilisables. Les IM-ICO sont extrêmement prometteuses dans de nombreuxdomaines allant de la rééducation post-AVC aux jeux-vidéo. Malheureusement, leurdéveloppement est freiné par le fait que 15 à 30% des utilisateurs seraient incapables de lescontrôler. Nombre de travaux se sont focalisés sur l’amélioration des algorithmes de traitementdu signal. Par contre, l’impact de l’entraînement des utilisateurs sur leur performance estsouvent négligé. Contrôler une IM-ICO nécessite l’acquisition de compétences et donc unentraînement approprié. Or, malgré le fait qu’il ait été suggéré que les protocolesd’entraînement actuels sont théoriquement inappropriés, peu d’efforts sont mis en oeuvre pourles améliorer. Notre principal objectif est de comprendre et améliorer l’apprentissage des IMICO.Ainsi, nous cherchons d’abord à acquérir une meilleure compréhension des processussous-tendant cet apprentissage avant de proposer une amélioration des protocolesd’entraînement afin qu’ils prennent en compte les facteurs cognitifs et psychologiquespertinents et qu’ils respectent les principes issus de l’ingénierie pédagogique. Nous avonsainsi défini 3 axes de recherche visant à investiguer l’impact (1) de facteurs cognitifs, (2) de lapersonnalité et (3) du feedback sur la performance. Pour chacun de ces axes, nous décrivonsd’abord les études nous ayant permis de déterminer les facteurs impactant la performance ;nous présentons ensuite le design et la validation de nouvelles approches d’entraînementavant de proposer des perspectives de travaux futurs. Enfin, nous proposons une solution quipermettrait d’étudier l’apprentissage de manière mutli-factorielle et dynamique : un systèmetutoriel intelligent.

Published
2016

Catalog

Books, media, physical & digital resources
See catalog results