Author: "Popular interaction with 3d content (Potioc)" / Topic: 02 engineering and technology - Searchworks@Jio Institute Digital Library Search Results

Your search keyword '"Popular interaction with 3d content (Potioc)"' showing total 87 results

Start Over Author "Popular interaction with 3d content (Potioc)" Topic 02 engineering and technology

87 results on '"Popular interaction with 3d content (Potioc)"'

1. Dišimo: Anchoring Our Breath

Author: Jérémy Frey, Jelena Mladenović, Jessica R. Cauchard, Interdisciplinary Center [Israël] (IDC), Interdisciplinary Center, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Interdisciplinary Center [Israël] ( IDC ), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, and Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria )
Subjects: Ambient display, Computer science, medicine.medical_treatment, Diaphragmatic breathing, Anchoring, Biofeedback, 02 engineering and technology, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.7: Interaction styles (e.g., commands, menus, forms, direct manipulation), ACM : H.: Information Systems/H.1: MODELS AND PRINCIPLES/H.1.2: User/Machine Systems/H.1.2.1: Human information processing, [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], Human–computer interaction, ACM : H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.7: Interaction styles (e.g., commands, menus, forms, direct manipulation), 0202 electrical engineering, electronic engineering, information engineering, medicine, Heart rate variability, 0501 psychology and cognitive sciences, Cardiac coherence, Session (computer science), [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Pace, Focus (computing), Relaxation (psychology), 05 social sciences, ACM: H.: Information Systems/H.1: MODELS AND PRINCIPLES/H.1.2: User/Machine Systems/H.1.2.1: Human information processing, 020207 software engineering
Abstract: International audience; We present a system that raises awareness about users' inner state. Dišimo is a multimodal ambient display that provides feedback about one's stress level, which is assessed through heart rate monitoring. Upon detecting a low heart rate variability for a prolonged period of time, Dišimo plays an audio track, setting the pace of a regular and deep breathing. Users can then choose to take a moment to focus on their breath. By doing so, they will activate the Dišimo devices belonging to their close ones, who can then join for a shared relaxation session.
Published: 2018
Full Text: View/download PDF

2. Towards VE that are More Closely Related to the Real World

Author: Guillaume Moreau, Géry Casiez, Martin Hachet, Xavier Granier, Vincent Lepetit, Olivier Nannipieri, Technology and knowledge for interaction (LOKI), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Laboratoire Photonique, Numérique et Nanosciences (LP2N), Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS), Melting the frontiers between Light, Shape and Matter (MANAO), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Photonique, Numérique et Nanosciences (LP2N), Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), École Centrale de Nantes (ECN), Ambiances, Architectures, Urbanités (AAU ), École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Institut mediterranéen des sciences de l'information et de la communication (IMSIC), Aix Marseille Université (AMU)-Université de Toulon (UTLN), Bruno Arnaldi, Pascal Guitton, Guillaume Moreau, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Toulon (UTLN)-Aix Marseille Université (AMU), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189 (CRIStAL), Ecole Centrale de Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Ecole Centrale de Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189 (CRIStAL), Ecole Centrale de Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-Institut d'Optique Graduate School (IOGS)-Centre National de la Recherche Scientifique (CNRS), Ambiances, Architectures, Urbanités (AAU), École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Grenoble (ENSAG)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Centre National de la Recherche Scientifique (CNRS)-Ministère de la Culture et de la Communication (MCC), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Université de Toulon (UTLN), Technology and knowledge for interaction ( LOKI ), Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189 ( CRIStAL ), Ecole Centrale de Lille-Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut Mines-Télécom [Paris]-Université de Lille-Centre National de la Recherche Scientifique ( CNRS ), Institut d'Optique Graduate School ( IOGS ), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Université de Bordeaux ( UB ), École Centrale de Nantes ( ECN ), Ambiances, Architectures, Urbanités ( AAU ), École Centrale de Nantes ( ECN ) -École nationale supérieure d'architecture de Nantes ( ENSA Nantes ) -École nationale supérieure d'architecture de Grenoble ( ENSAG ) -Ministère de la Culture et de la Communication ( MCC ) -Centre National de la Recherche Scientifique ( CNRS ), 3D interaction with virtual environments using body and mind ( Hybrid ), Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -MEDIA ET INTERACTIONS ( IRISA_D6 ), Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ), and Université de Toulon ( UTLN )
Subjects: 3D interaction, Computer science, Computation, 05 social sciences, Digital data, 020207 software engineering, 02 engineering and technology, Interaction Styles, [ INFO.INFO-GR ] Computer Science [cs]/Graphics [cs.GR], Field (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Natural (music), 0501 psychology and cognitive sciences, Augmented reality, State (computer science), [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, ComputingMilieux_MISCELLANEOUS
Abstract: International audience; This chapter provides an overview of the current state of augmented reality (AR). It examines the questions of pose computation, which could be used to locate a user in an immersive room or to model the real world, interactions in AR, and the concept of presence in environments that combine real and virtual elements. The chapter describes important innovations in the field of 3D interaction over the last decade. While 3D interaction is less central to AR, its importance is rising nonetheless. From simple applications to visualize digital data that is superimposed on the natural view, RA systems today are offering users increasingly more refined interaction systems in order to enhance usage. The chapter overviews recent developments allowing users to easily and efficiently interact with 3D content displayed on tactile surfaces. In the current interfaces, a trend towards an integration of the interaction styles can be observed.
Published: 2018
Full Text: View/download PDF

3. Accessible Interactive Maps for Visually Impaired Users

Author: Julie Ducasse, Christophe Jouffrais, Anke Brock, Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), Université Toulouse III - Paul Sabatier (UT3), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Centre National de la Recherche Scientifique (CNRS), Edwige Pissaloux, Ramiro Velazquez, Université Paul Sabatier - Toulouse 3 ( UPS ), Institut de recherche en informatique de Toulouse ( IRIT ), Institut National Polytechnique [Toulouse] ( INP ) -Université Toulouse 1 Capitole ( UT1 ) -Université Toulouse - Jean Jaurès ( UT2J ) -Université Paul Sabatier - Toulouse 3 ( UPS ) -Centre National de la Recherche Scientifique ( CNRS ), Centre National de la Recherche Scientifique ( CNRS ), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2, Université Fédérale Toulouse Midi-Pyrénées, Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)
Subjects: Computer science, Emerging technologies, Visual impairment, 02 engineering and technology, computer.software_genre, Blind, Interactive graphics, Educational tools, Interactivity, Tangible interaction, [ INFO.INFO-HC ] Computer Science [cs]/Human-Computer Interaction [cs.HC], Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, medicine, Non-visual interaction, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Graphics, Representation (mathematics), 050107 human factors, Multimedia, Interactive maps, 05 social sciences, 020207 software engineering, Spatial cognition, Blind person, Braille, Comprehension, Assistive technology, medicine.symptom, computer
Abstract: International audience; Tactile maps are commonly used to give visually impaired users access to geographical representations. Although those relief maps are efficient tools for acquisition of spatial knowledge, they present several limitations and issues such as the need to read braille. Several research projects have been led during the past three decades in order to improve access to maps using interactive technologies. In this chapter, we present an exhaustive review of interactive map prototypes. We classified existing interactive maps into two categories: Digital Interactive Maps (DIMs) that are displayed on a flat surface such as a screen; and Hybrid Interactive Maps (HIMs) that include both a digital and a physical representation. In each family, we identified several subcategories depending on the technology being used. We compared the categories and subcategories according to cost, availability and technological limitations, but also in terms of content, comprehension and interactivity. Then we reviewed a number of studies showing that those maps can support spatial learning for visually impaired users. Finally, we identified new technologies and methods that could improve the accessibility of graphics for visually impaired users in the future.
Published: 2017
Full Text: View/download PDF

4. Pano: Design and Evaluation of a 360° Through-the-Lens Technique

Author: Pascal Guitton, Damien Clergeaud, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: 0301 basic medicine, Multimedia, Computer science, Window (computing), K7m [The Computing Profession]: Miscellaneous—Ethics, 020207 software engineering, Body movement, 02 engineering and technology, [ INFO.INFO-GR ] Computer Science [cs]/Graphics [cs.GR], Virtual reality, computer.software_genre, Object (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Through-the-lens metering, Task (project management), 03 medical and health sciences, K61 [Management of Computing and Information Systems]: Project and People Management—Life Cycle, 030104 developmental biology, Human–computer interaction, Virtual image, Virtual machine, 0202 electrical engineering, electronic engineering, information engineering, computer
Abstract: International audience; Virtual Reality experiments have enabled immersed users to perform virtual tasks in a Virtual Environment (VE). Before beginning a task, however, users must locate and select the different objects they will need in the VE. This first step is important and affects global performance in the virtual task. If a user takes too long to locate and select an object, the duration of the task is increased. Moreover, both the comfort and global efficiency of users deteriorate as search and selection time increase. We have developed Pano, a technique which reduces this time by increasing the users natural field of view. More precisely, we provide a 360 panoramic virtual image which is displayed on a specific window, called the PanoWindow. Thanks to the PanoWindow, users can perceive and interact with the part of the Virtual Environment (VE) that is behind them without any additional head or body movement. In this paper, we present two user studies with 30 and 21 participants in different VEs. For the first study, participants were invited to perform object-finding tasks with and without Pano. The second study involved position-estimating tasks in order to know if the PanoWindow image enables users to build an accurate representation of the environment. First, the results show that Pano both reduces task duration and improves user comfort. Second, they demonstrate that good object-localization accuracy can be achieved using Pano.
Published: 2017
Full Text: View/download PDF

5. X-Road

Author: Lauren Thévin, Carine Briant, Anke Brock, Ludwig Maximilian University [Munich] (LMU), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institution Régionale des Sourds et des Aveugles (IRSA), ENAC - Equipe Informatique Interactive (LII), Ecole Nationale de l'Aviation Civile (ENAC), This project was conducted with the support of the Erasmus+ Program of the European Union Pr. no 2016-1-EL01-KA201-023731., and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer science, Visual impairment, Augmented reality, 02 engineering and technology, Space (commercial competition), Virtual reality, Training (civil), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, medicine, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Bespoke, 05 social sciences, Orientation and Mobility, 020207 software engineering, Accessibility, Computer Science Applications, Human-Computer Interaction, Mobility training, Audio feedback, medicine.symptom
Abstract: International audience; Orientation and Mobility (O&M) classes teach people with visual impairments how to navigate the world, for instance how to cross a road. Yet, this training can be difficult and dangerous due to conditions such as traffic and weather. Virtual Reality (VR) can overcome these challenges by providing interactive controlled environments. However, most existing VR tools rely on visual feedback, which limits their use with students with visual impairment. In a collaborative design approach with O&M instructors, we designed an affordable and accessible VR system for O&M classes, called X-Road. Using a smartphone and a bespoke headmount, X-Road provides both visual and audio feedback and allows users to move in space, as in the real world. In a study with 13 students with visual impairments, X-Road proved to be an effective alternative to teaching and learning classical O&M tasks, and both students and instructors were enthusiastic about this technology. We conclude with design recommendations for inclusive VR systems.
Published: 2020
Full Text: View/download PDF

6. Perception! Immersion! Empowerment! Superpowers as Inspiration for Visualization

Author: Petra Isenberg, Bon Adriel Aseniero, Sheelagh Carpendale, Yvonne Jansen, Wesley Willett, Lora Oehlberg, Pierre Dragicevic, University of Calgary, Autodesk Reasearch [Toronto], Autodesk Reasearch, Department of Computer Science (Simon Fraser University), Simon Fraser University (SFU.ca), Analysis and Visualization (AVIZ), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Interaction avec l'Humain (IaH), Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), ANR-19-CE33-0012,EMBER,Visualisations situées pour l'analyse de données personnelles(2019), Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Interaction avec l'Humain (IaH), Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: FOS: Computer and information sciences, Computer science, Vision, media_common.quotation_subject, Computer Science - Human-Computer Interaction, 02 engineering and technology, Comics, Human-Computer Interaction (cs.HC), Cognition, Intersection, Situated visualization, Perception, Immersion, 0202 electrical engineering, electronic engineering, information engineering, Computer Graphics, Fiction, Humans, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Set (psychology), Empowerment, media_common, Visualization, Cognitive science, superpowers, business.industry, 020207 software engineering, Computer Graphics and Computer-Aided Design, Variety (cybernetics), Signal Processing, Computer Vision and Pattern Recognition, business, Software
Abstract: We explore how the lens of fictional superpowers can help characterize how visualizations empower people and provide inspiration for new visualization systems. Researchers and practitioners often tout visualizations' ability to "make the invisible visible" and to "enhance cognitive abilities." Meanwhile superhero comics and other modern fiction often depict characters with similarly fantastic abilities that allow them to see and interpret the world in ways that transcend traditional human perception. We investigate the intersection of these domains, and show how the language of superpowers can be used to characterize existing visualization systems and suggest opportunities for new and empowering ones. We introduce two frameworks: The first characterizes seven underlying mechanisms that form the basis for a variety of visual superpowers portrayed in fiction. The second identifies seven ways in which visualization tools and interfaces can instill a sense of empowerment in the people who use them. Building on these observations, we illustrate a diverse set of "visualization superpowers" and highlight opportunities for the visualization community to create new systems and interactions that empower new experiences with data., 11 pages, 13 figures. To appear at IEEE VIS 2021. Supplemental material and illustrations are available at https://osf.io/8yhfz
Published: 2022
Full Text: View/download PDF

7. The Effect of Increased Body Motion in Virtual Reality on a Placement-Retrieval Task

Author: Thibault Friedrich, Michael McGuffin, Arnaud Prouzeau, Ecole de Technologie Supérieure [Montréal] (ETS), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Controlled experiment, business.industry, Computer science, 05 social sciences, Work (physics), Volume (computing), 020207 software engineering, 02 engineering and technology, Virtual reality, Motion (physics), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Task (computing), 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Computer vision, Artificial intelligence, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], business, 050107 human factors, Locomotion
Abstract: International audience; Previous work has shown that increased effort and use of one's body can improve memory. When positioning windows inside a virtual reality, does the use of a larger volume, and using one's legs to move around, improve the ability to later find the windows? The results of our experiment indicate there can be a modest benefit for spatial memory and retrieval time, but at the cost of increased time spent initially positioning the windows.
Published: 2021
Full Text: View/download PDF

8. Non-isomorphic Interaction Techniques for Controlling Avatar Facial Expressions in VR

Author: Thomas Pietrzak, Martin Hachet, Géry Casiez, Marc Baloup, Technology and knowledge for interaction (LOKI), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Université de Lille, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institut Universitaire de France (IUF), Ministère de l'Education nationale, de l’Enseignement supérieur et de la Recherche (M.E.N.E.S.R.), Inria challenge Avatar, ACM, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: VR, Facial expression, Computer science, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Input device, 02 engineering and technology, Virtual reality, Emoji, Control theory, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, [INFO]Computer Science [cs], 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Set (psychology), 050107 human factors, Avatar, Emotion, Emoticons, 05 social sciences, 020207 software engineering, Interaction technique, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems/H.5.1.1: Artificial, augmented, and virtual realities, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Expression (mathematics)
Abstract: International audience; The control of an avatar’s facial expressions in virtual reality is mainly based on the automated recognition and transposition of the user’s facial expressions. These isomorphic techniques are limited to what users can convey with their own face and have recognition issues. To overcome these limitations, non-isomorphic techniques rely on interaction techniques using input devices to control the avatar’s facial expressions. Such techniques need to be designed to quickly and easily select and control an expression, and not disrupt a main task such as talking. We present the design of a set of new non- isomorphic interaction techniques for controlling an avatar facial expression in VR using a standard VR controller. These techniques have been evaluated through two controlled experiments to help designing an interaction technique combining the strengths of each approach. This technique was evaluated in a final ecological study showing it can be used in contexts such as social applications.
Published: 2021
Full Text: View/download PDF

9. Embodied gesture interaction for immersive maps

Author: Arnaud Prouzeau, Maxime Cordeil, Jiazhou Liu, Kadek Ananta Satriadi, Jesse Bolton, Bernhard Jenny, Rhys Newbury, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Newbury, Rhys, Satriadi, Kadek Ananta, Bolton, Jesse, Liu, Jiazhou, Cordeil, Maxime, Prouzeau, Arnaud, and Jenny, Bernhard
Subjects: Computer science, Geography, Planning and Development, 02 engineering and technology, Virtual reality, immersive map, immersive analytics, Human–computer interaction, Management of Technology and Innovation, Immersive analytics, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], embodied interaction, 050107 human factors, Civil and Structural Engineering, embodiment, 05 social sciences, 020207 software engineering, augmented reality, Embodied cognition, Key (cryptography), virtual reality, Augmented reality, origin-destination flow map, Gesture
Abstract: International audience; With the increasing availability of head-mounted displays for virtual reality and augmented reality, we can create immersive maps in which the user is closer to the data. Embodiment is a key concept, allowing the user to act upon virtual objects in an immersive environment. Our work explores the use of embodied interaction for immersive maps. We propose four design considerations for embodied maps and embodied gesture interaction with immersive maps: object presence, consistent physics, human body skills, and direct manipulation. We present an example of an immersive flow map with a series of novel embodied gesture interactions, which adhere to the proposed design considerations. The embodied interactions allow users to directly manipulate immersive flow maps and explore origin-destination flow data in novel ways. Authors of immersive maps can use the four proposed design considerations for creating embodied gesture interactions. The discussed example interactions apply to diverse types of immersive maps and will hopefully incite others to invent more embodied interactions for immersive maps.
Published: 2021
Full Text: View/download PDF

10. BioPyC, an Open-Source Python Toolbox for Offline Electroencephalographic and Physiological Signals Classification

Author: Fabien Lotte, Aurélien Appriou, Dan Dutartre, Léa Pillette, Andrzej Cichocki, David Trocellier, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: OpenVibe, Computer science, 0206 medical engineering, TP1-1185, 02 engineering and technology, [INFO.INFO-NE]Computer Science [cs]/Neural and Evolutionary Computing [cs.NE], Electroencephalography, Machine learning, computer.software_genre, Biochemistry, Python platform, Article, physiological signals, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Analytical Chemistry, 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, brain–computer interfaces (BCI), medicine, Animals, Biosignal, electroencephalography (EEG), [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Electrical and Electronic Engineering, signal processing, Instrumentation, Protocol (object-oriented programming), Graphical user interface, computer.programming_language, Brain–computer interface, Signal processing, medicine.diagnostic_test, business.industry, Chemical technology, Brain, Signal Processing, Computer-Assisted, Python (programming language), 020601 biomedical engineering, Atomic and Molecular Physics, and Optics, Boidae, machine learning, Brain-Computer Interfaces, Artificial intelligence, business, computer, Algorithms, 030217 neurology & neurosurgery
Abstract: International audience; Research on brain–computer interfaces (BCIs) has become more democratic in recent decades, and experiments using electroencephalography (EEG)-based BCIs has dramatically increased. The variety of protocol designs and the growing interest in physiological computing require parallel improvements in processing and classification of both EEG signals and bio signals, such as electrodermal activity (EDA), heart rate (HR) or breathing. If some EEG-based analysis tools are already available for online BCIs with a number of online BCI platforms (e.g., BCI2000 or OpenViBE), it remains crucial to perform offline analyses in order to design, select, tune, validate and test algorithmsbefore using them online. Moreover, studying and comparing those algorithms usually requires expertise in programming, signal processing and machine learning, whereas numerous BCI researchers come from other backgrounds with limited or no training in such skills. Finally, existing BCI toolboxes are focused on EEG and other brain signals but usually do not include processing tools for other bio signals. Therefore, in this paper, we describe BioPyC, a free, open-source and easy-to-use Python platform for offline EEG and biosignal processing and classification. Based on an intuitive and well-guided graphical interface, four main modules allow the user to follow the standard steps of the BCI process without any programming skills: (1) reading different neurophysiological signal data formats, (2) filtering and representing EEG and bio signals, (3) classifying them, and (4) visualizing and performing statistical tests on the results. We illustrate BioPyC use on four studies, namely classifying mental tasks, the cognitive workload, emotions and attention states from EEG signals.
Published: 2021
Full Text: View/download PDF

11. Grand Challenges in Immersive Analytics

Author: Christoph Anthes, Wesley Willett, Jens Grubert, Wolfgang Büschel, Cody Dunne, Nazmus Saquib, Tica Lin, Maxime Cordeil, Dylan Kobayashi, Matt Whitlock, Yalong Yang, Dieter Schmalstieg, Danielle Albers Szafir, Jason H. Haga, Monsurat Olaosebikan, Nurit Kirshenbaum, Tim Dwyer, Marcos Serrano, Barrett Ens, Arnaud Prouzeau, Ulrich Engelke, David Saffo, Fabian Pointecker, Benjamin Bach, Monash University [Melbourne], University of Edinburgh, Data61 [Canberra] (CSIRO), Australian National University (ANU)-Commonwealth Scientific and Industrial Research Organisation [Canberra] (CSIRO), Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées, University of Calgary, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), University of Applied Sciences Upper Austria (FH OÖ), Technische Universität Dresden = Dresden University of Technology (TU Dresden), Khoury College of Computer Sciences [Boston], Northeastern University [Boston], Coburg University of Applied Sciences and Arts, National Institute of Advanced Industrial Science and Technology [Tokyo] (AIST), University of Hawai‘i [Mānoa] (UHM), Harvard University [Cambridge], Tufts University [Medford], MIT media Lab, Massachusetts Institute of Technology (MIT), Graz University of Technology [Graz] (TU Graz), University of Colorado [Boulder], Canada Research Chairs Program, Deutsche Forschungsgemeinschaft (DFG, German Research Foundation) under Germany’s Excellence Strat-egy – EXC-2068 – 390729961 – Cluster of Excellence Physics of Life of TU Dresden, NSF 1764092, Australian Research Council Discov-ery Projects funding scheme DP18010075, a Harvard Physical Sciences and Engineering Accelerator Award, ANR-18-CE33-0009,PERFIN,Interfaces Ubiquitaires à Forme Libre(2018), Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, National Institute of Advanced Industrial Science and Technology (AIST), and Harvard University
Subjects: Engineering, Concepts and models, Emerging technologies, HCI theory, 02 engineering and technology, Augmented reality, Virtual reality, Mixed / augmented reality Immersive analytics, Field (computer science), Data visualization, Immersive analytics, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Grand Challenges, Grand research challenges, data visualisation, business.industry, 05 social sciences, Visualization systems and tools, grand research challenges, 020207 software engineering, Data science, augmented reality, Visualization, virtual reality, business, Data visualisation
Abstract: The definitive version will be published in CHI 2021, May 8–13, 2021, Yokohama, Japan; International audience; Immersive Analytics is a quickly evolving field that unites several areas such as visualisation, immersive environments, and humancomputer interaction to support human data analysis with emerging technologies. This research has thrived over the past years with multiple workshops, seminars, and a growing body of publications, spanning several conferences. Given the rapid advancement of interaction technologies and novel application domains, this paper aims toward a broader research agenda to enable widespread adoption. We present 17 key research challenges developed over multiple sessions by a diverse group of 24 international experts, initiated from a virtual scientific workshop at ACM CHI 2020. These challenges aim to coordinate future work by providing a systematic roadmap of current directions and impending hurdles to facilitate productive and effective applications for Immersive Analytics.
Published: 2021
Full Text: View/download PDF

12. Guidelines to use Transfer Learning for Motor Imagery Detection: an experimental study

Author: Fabien Lotte, Laurent Bougrain, Pedro Rodrigues, Geoffrey Canron, Sébastien Rimbert, Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Modelling brain structure, function and variability based on high-field MRI data (PARIETAL), Service NEUROSPIN (NEUROSPIN), Université Paris-Saclay-Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay-Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, The author acknowledges the support of the French Agence Nationale de la Recherche (ANR) under reference ANR-19-CE33-0007 (Grasp-IT project), and the European Research Council with project BrainConquest (grant ERC-2016-STG-714567)., European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Service NEUROSPIN (NEUROSPIN), Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Bougrain, Laurent, and Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], Computer science, [SDV.IB.IMA]Life Sciences [q-bio]/Bioengineering/Imaging, 0206 medical engineering, 02 engineering and technology, Machine learning, computer.software_genre, Session (web analytics), Domain (software engineering), [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, Motor imagery, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Set (psychology), Reliability (statistics), Brain–computer interface, business.industry, Neural engineering, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, 020601 biomedical engineering, [SDV.IB.IMA] Life Sciences [q-bio]/Bioengineering/Imaging, Artificial intelligence, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Transfer of learning, business, computer, 030217 neurology & neurosurgery
Abstract: International audience; Brain-Computer Interfaces (BCI) based on Motor imagery (MI) shown promising results for motor recovery, intraoperative awareness detection or assistive technology control. However, they suffer from several limitations due to the high variability of electroencephalographic (EEG) signals, mainly lengthy and tedious calibration times usually required for each new day of use, and a lack of reliability for all users. Such problems can be addressed, to some extent, using transfer learning algorithms. However, the performance of such algorithms has been very variable so far, and when they can be safely used is still unclear. Therefore, in this article, we study the performance of various state-of-the-art Riemannian transfer learning algorithms on a MI-BCI database (30 users), for various conditions: 1) supervised and unsupervised transfer learning; 2) for various amount of available training EEG data for the target domain; 3) intra-session or inter-session transfer; 4) for both users with good and less good MI-BCI performances. From such experiments, we derive guidelines about when to use which algorithm. Re-centering the target data is effective as soon as a few samples of this target set are taken into account. This is true even for an intra-session transfer learning. Likewise, re-centering is particularly useful for subjects who have difficulty producing stable motor imagery from session to session.
Published: 2021

13. Inclusive Adaptation of Existing Board Games for Gamers with and without Visual Impairments using a Spatial Augmented Reality Framework for Touch Detection and Audio Feedback

Author: Lauren Thévin, Christophe Jouffrais, Bernard Oriola, Anke Brock, Nicolas Rodier, Martin Hachet, Université Catholique de l'Ouest (UCO), Institut für Informatik [München/Munich] (LMU), Ludwig-Maximilians-Universität München (LMU), Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Image & Pervasive Access Lab (IPAL), National University of Singapore (NUS)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore], ENAC - Equipe Informatique Interactive (LII), Ecole Nationale de l'Aviation Civile (ENAC), Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and National University of Singapore (NUS)-MATHEMATIQUES, SCIENCES ET TECHNOLOGIES DE L'INFORMATION ET DE LA COMMUNICATION (UJF)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore]
Subjects: Attractiveness, Computer Networks and Communications, Computer science, 05 social sciences, ComputingMilieux_PERSONALCOMPUTING, 020207 software engineering, Special needs, 02 engineering and technology, Braille, Human-Computer Interaction, Entertainment, Interactivity, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Augmented reality, Audio feedback, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Adaptation (computer science), 050107 human factors, Social Sciences (miscellaneous), ComputingMilieux_MISCELLANEOUS
Abstract: International audience; Board games allow us to share collective entertainment experiences. They entertain because of the interactions between players, physical manipulation of tokens and decision making. Unfortunately, most board games exclude people with visual impairments as they were not initially designed for players with special needs. Through a user-centered design process with an accessible game library and visually impaired players, we observed challenges and solutions in making existing board games accessible through handcrafted solutions (tactile stickers, braille labels, etc.). In a second step, we used Spatial Augmented Reality (SAR), to make existing board games inclusive by adding interactivity (GameARt). In a case study with an existing board game considered as not accessible (Jamaica), we designed an interactive SAR version with touch detection (JamaicAR). We evaluated this prototype in a user study with 5 groups of 3 players each, including sighted, low vision and blind players. All players, independent of visual status, were able to play the Augmented Reality game. Moreover, the game was rated positively by all players regarding attractiveness, play engrossment, enjoyment and social connectivity. Our work shows that Spatial Augmented Reality has the potential to make board games accessible to people with visual impairments when handcrafted adaptations fall short.
Published: 2021
Full Text: View/download PDF

14. Data Physicalization

Author: Pierre Dragicevic, Yvonne Jansen, Andrew Vande Moere, Analysis and Visualization (AVIZ), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Interaction avec l'Humain (IaH), Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Institut des Systèmes Intelligents et de Robotique (ISIR), Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université (SU), Interactions Multi-échelles, Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université (SU), Catholic University of Leuven - Katholieke Universiteit Leuven (KU Leuven), Jean Vanderdonckt, Philippe Palanque, Marco Winckler, Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Interaction avec l'Humain (IaH), Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)
Subjects: 05 social sciences, 0202 electrical engineering, electronic engineering, information engineering, 020207 software engineering, 0501 psychology and cognitive sciences, 02 engineering and technology, Data physicalization, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors
Abstract: International audience; Data physicalization is a rich and vast research area that studies the use of physical artifacts to convey data. It overlaps with a number of research areas including information visualization, scientific visualization, visual analytics, tangible user interfaces, shape-changing interfaces, personal fabrication interfaces, as well as graphic design, architecture, and art. This chapter surveys academic work on data physicalization up to 2018, and also provides a brief overview of non-academic work. It discusses how data physicalization has been used for analytical purposes, for communication and education, for accessibility, for self-reflection and self-expression, and finally for enjoyment and meaning. It also discusses enabling technologies, reviews empirical studies, and surveys models and theories of data physicalization.
Published: 2021
Full Text: View/download PDF

15. Being an Avatar 'for Real': a Survey on Virtual Embodiment in Augmented Reality

Author: Anatole Lécuyer, Adélaïde Genay, Martin Hachet, Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-RÉALITÉ VIRTUELLE, HUMAINS VIRTUELS, INTERACTIONS ET ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1)
Subjects: Computer science, media_common.quotation_subject, Context (language use), 02 engineering and technology, Virtual reality, Social and Behavioral Sciences, Field (computer science), Entertainment, User-Computer Interface, Human–computer interaction, Taxonomy (general), Perception, Surveys and Questionnaires, 0202 electrical engineering, electronic engineering, information engineering, Computer Graphics, Psychology, Sense of Embodiment, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Avatar, media_common, Augmented Reality, Virtual Reality, 020207 software engineering, Computer Graphics and Computer-Aided Design, Signal Processing, Augmented reality, Computer Vision and Pattern Recognition, Software
Abstract: International audience; Virtual self-avatars have been increasingly used in Augmented Reality (AR) where one can see virtual content embedded into physical space. However, little is known about the perception of self-avatars in such a context. The possibility that their embodiment could be achieved in a similar way as in Virtual Reality opens the door to numerous applications in education, communication, entertainment, or the medical field. This article aims to review the literature covering the embodiment of virtual self-avatars in AR. Our goal is (i) to guide readers through the different options and challenges linked to the implementation of AR embodiment systems, (ii) to provide a better understanding of AR embodiment perception by classifying the existing knowledge, and (iii) to offer insight on future research topics and trends for AR and avatar research. To do so, we introduce a taxonomy of virtual embodiment experiences by defining a "body avatarization" continuum. The presented knowledge suggests that the sense of embodiment evolves in the same way in AR as in other settings, but this possibility has yet to be fully investigated. We suggest that, whilst it is yet to be well understood, the embodiment of avatars has a promising future in AR and conclude by discussing possible directions for research.
Published: 2021
Full Text: View/download PDF

16. Physio-Stacks: Supporting Communication with Ourselves and Others via Tangible, Modular Physiological Devices

Author: Joan Sol Roo, Martin Hachet, Jérémy Frey, Renaud Gervais, Thibault Lainé, Pierre-Antoine Cinquin, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Chercheur indépendant, Ullo, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: 050101 languages & linguistics, Focus (computing), business.industry, Computer science, Modular Programming, media_common.quotation_subject, 05 social sciences, Positive Computing, 02 engineering and technology, Modular design, Tangible User Interfaces, Human–computer interaction, Adaptive system, Agency (sociology), Modular programming, 0202 electrical engineering, electronic engineering, information engineering, Introspection, 020201 artificial intelligence & image processing, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Dialog box, business, Set (psychology), Physiological Computing, media_common
Abstract: International audience; Our physiological activity reflects our inner workings. However, we are not always aware of it in full detail. Physiological devices allow us to monitor and create adaptive systems and support introspection. Given that these devices have access to sensitive data, it is vital that users have a clear understanding of the internal mechanisms (extrospection), yet the underlying processes are hard to understand and control, resulting in a loss of agency. In this work, we focus on bringing the agency back to the user, by using design guidelines based on principles of honest communication and driven by positive activities. To this end, we conceived a tangible, modular approach for the construction of physiological interfaces that can be used as a prototyping toolkit by designers and researchers, or as didactic tools by educators and pupils. We show the potential of such an approach with a set of examples, supporting introspection, dialog, music creation, and play.
Published: 2020
Full Text: View/download PDF

17. Channel selection over riemannian manifold with non-stationarity consideration for brain-computer interface applications

Author: Léa Pillette, Thibaut Monseigne, Khadijeh Sadatnejad, Fabien Lotte, Aline Roc, Aurélien Appriou, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Sadatnejad, Khadijeh, and Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, Computer science, Covariance matrix, 0206 medical engineering, 02 engineering and technology, law.invention, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Discriminative model, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, law, 0202 electrical engineering, electronic engineering, information engineering, EEG, BCI, Brain–computer interface, Riemannian manifold, business.industry, 020206 networking & telecommunications, Pattern recognition, 020601 biomedical engineering, Manifold, Outlier, Artificial intelligence, Brain-computer interfaces, business, Manifold (fluid mechanics), Channel selection, Communication channel
Abstract: International audience; In this paper, we propose and compare multiple criteria for selecting ElectroEncephaloGraphic (EEG) channels over the Riemannian manifold, for EEG classification in Brain-Computer Interfaces (BCI). These criteria aim to promote EEG covariance matrix classifiers to generalize well by considering EEG data non-stationarity. Our approach consists of both increasing the discriminative information between classes over the manifold and reducing the dispersion within classes. We also reduce the influence of outliers in both discriminative and dispersion measures. Using the proposed criteria, channel selection is done automatically in a backward elimination process. The criteria are evaluated on EEG signals recorded from a tetraplegic subject and dataset IVa from BCI competition III. Experimental evidences confirm that considering the dispersion within each class as a measure for quantifying the effects of non-stationarity and removing the most affected channels can improve the performance of BCI by 5% on the tetraplegic subject and by 12 % on dataset IVa.
Published: 2020

18. Designing accessible MOOCs to expand educational opportunities for persons with cognitive impairments

Author: Pierre-Antoine Cinquin, Hélène Sauzéon, Pascal Guitton, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Flowing Epigenetic Robots and Systems (Flowers), Inria Bordeaux - Sud-Ouest, Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), This work was supported by Université de Bordeaux [Doctoral Contract n∘2016-KB-01], Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Unité d'Informatique et d'Ingénierie des Systèmes (U2IS), and École Nationale Supérieure de Techniques Avancées (ENSTA Paris)-École Nationale Supérieure de Techniques Avancées (ENSTA Paris)
Subjects: Higher education, media_common.quotation_subject, E-learning (theory), MOOC, 02 engineering and technology, E-learning, [SCCO]Cognitive science, Promotion (rank), Arts and Humanities (miscellaneous), 020204 information systems, Participatory design, 0502 economics and business, 0202 electrical engineering, electronic engineering, information engineering, Developmental and Educational Psychology, Massive open online courses, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 10. No inequality, media_common, Medical education, business.industry, 4. Education, 05 social sciences, General Social Sciences, Cognition, Accessibility, Human-Computer Interaction, 050211 marketing, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, business, Psychology, Cognitive impairments
Abstract: https://www.tandfonline.com/doi/full/10.1080/0144929X.2020.1742381; International audience; Despite the promotion of equal access to education, the proportion of persons with disabilities decreases drastically from primary school to higher education, resulting in a lower level of education. This lack of qualification represents an additional obstacle to employment opportunities, reinforcing their exclusion from the social sphere. In recent years, computer-based approaches to education have undergone a real revolution, as reflected by the massive growth of MOOCs platforms. As they are flexible enough, they could provide a real opportunity to create learning environments that are beneficial to persons with disabilities. Unfortunately, most MOOCs are not ‘sufficiently’ accessible, especially for persons with cognitive impairments and limited learning capacities. In this article, we describe the results of a participatory design process that involved students with cognitive impairments and specialists from various fields of expertise and led to the co-design of new functionalities to enhance the accessibility of a MOOC player. We also present the results of a multiple-cases study evaluation of a first prototype, whose results support the positive impact of our design decisions. Finally, we propose an integrative framework for the design of accessible e-learning systems derived from the different needs and guidelines that emerged during the process.
Published: 2020
Full Text: View/download PDF

19. Modern machine learning algorithms to classify cognitive and affective states from electroencephalography signals

Author: Fabien Lotte, Aurélien Appriou, Andrzej Cichocki, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Nicolaus Copernicus University [Toruń], Hangzhou Dianzi University (HDU), This work was supported by the European Research Council (grant ERC-2016-STG-714567) and the Japanese Society for the Promotion of Science, European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer Networks and Communications, Computer science, Interface (computing), 0206 medical engineering, Emotions, [SCCO.COMP]Cognitive science/Computer science, Human Factors and Ergonomics, 02 engineering and technology, Electroencephalography, Machine learning, computer.software_genre, Affect (psychology), Convolutional neural network, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, Motor imagery, Deep Learning, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], medicine, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Riemannian geometry, Mental Workload, medicine.diagnostic_test, business.industry, Deep learning, Cognition, Brain-Computer Interfaces (BCI), 020601 biomedical engineering, Computer Science Applications, Human-Computer Interaction, Control and Systems Engineering, [SCCO.PSYC]Cognitive science/Psychology, Key (cryptography), Artificial intelligence, business, computer, Algorithm, 030217 neurology & neurosurgery
Abstract: International audience; Estimating cognitive or affective states from brain signals is a key but challenging step in the creation of passive brain-computer interface (BCI) applications. So far, estimating mental workload or emotions from EEG signals is only feasible with modest classification accuracies, thus leading to unreliable neuroadaptive applications. However, recent machine learning algorithms, notably Riemannian geometry based classifiers (RGC) and convolutional neural networks (CNN), have shown to be promising for other BCI systems, e.g., motor imagery-BCIs. However, they have not been formally studied and compared together for cognitive or affective states classification. This paper thus explores such machine learning algorithms, proposes new variants of them, and benchmarks them with classical methods to estimate both mental workload and affective states (Valence/Arousal) from EEG signals. We study these approaches with both subject-specific and subject-independent calibration, to go towards calibration-free systems. Our results suggested that a CNN obtained the highest mean accuracy, although not significantly so, in both conditions for the mental workload study, followed by RGCs. However, this same CNN underperformed in both conditions for the emotion data set, a data set with small training data. On the contrary, RGCs proved to have the highest mean accuracy with the Filter Bank Tangent Space classifier (FBTSC) we introduced in this paper. Our results thus contributed to improve the reliability of cognitive and affective states classification from EEG. They also provide guidelines about when to use which machine learning algorithm.
Published: 2020
Full Text: View/download PDF

20. EEG-based neuroergonomics for 3d user interfaces: opportunities and challenges

Author: Fabien Lotte, Jérémy Frey, Martin Hachet, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Lotte, Fabien
Subjects: media_common.quotation_subject, Human Factors and Ergonomics, 02 engineering and technology, [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Human–computer interaction, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], 0202 electrical engineering, electronic engineering, information engineering, Neuroergonomics, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 050107 human factors, General Psychology, Applied Psychology, media_common, [INFO.INFO-MM] Computer Science [cs]/Multimedia [cs.MM], 05 social sciences, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, Art, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, Industrial relations, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Humanities
Abstract: Les interfaces utilisateurs 3D sont utilisees dans un nombre croissant d’applications, qui vont du divertissement au design industriel. Cependant, les tâches d’interaction 3D sont en general plus complexes pour les utilisateurs etant-donne qu’il est plus demandeur au niveau cognitif d’interagir avec un environnement en 3D que de percevoir et d’interagir avec un environnement en 2D. Ainsi, il est essentiel que nous puissions finement evaluer l’experience utilisateur, afin de proposer des interfaces faciles d’utilisation. Pour ce faire, une direction de recherche prometteuse est de mesurer l’etat interne des utilisateurs via l’acquisition de signaux cerebraux pendant l’interaction, en suivant une approche neuroergonomique. Combine a des methodes existantes, un tel outil peut etre utilise pour ameliorer la comprehension de l’experience utilisateur. Dans cet article, nous passons en revue le travail qui est mene dans ce domaine ; ce qui a deja ete accompli et les challenges qui se font jour. Nous decrivons comment une technique d’imagerie cerebrale mobile telle que l’electroencephalographie (EEG) permet des mesures continues qui ne perturbent pas l’interaction. Une evaluation des utilisateurs centree sur l’EEG peut donner un apercu de multiples dimensions de l’experience utilisateur, avec des taches d’interaction realistes ou des interfaces novatrices. Nous etudions quatre construits : la charge mentale, l’attention, la reconnaissance d’erreur et le confort visuel. A terme, ces metriques pourraient aider a soulager les utilisateurs lorsqu’ils interagissent avec des ordinateurs.
Published: 2017
Full Text: View/download PDF

21. Active inference as a unifying, generic and adaptive framework for a P300-based BCI

Author: Jérémie Mattout, Fabien Lotte, Jérémy Frey, Emmanuel Maby, Jelena Mladenović, Mateus Joffily, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Groupe d'analyse et de théorie économique (GATE Lyon Saint-Étienne), Centre National de la Recherche Scientifique (CNRS)-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université Lumière - Lyon 2 (UL2)-École normale supérieure - Lyon (ENS Lyon), Centre de recherche en neurosciences de Lyon (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), This work was financially supported by BCI-Lift Inria project, and the French National Research Agency (ANR-11-LABX-0042, ANR-11-IDEX-007 and ANR-18-CE28-0016).The data used in this study were acquired as part of the French ANR project ANR-DEFIS09-EMER-002 CoAdapt, ANR-11-IDEX-0007,Avenir L.S.E.,PROJET AVENIR LYON SAINT-ETIENNE(2011), ANR-18-CE28-0016,CausaL,Architectures cognitives de l'apprentissage causale(2018), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Groupe d'Analyse et de Théorie Economique Lyon - Saint-Etienne (GATE Lyon Saint-Étienne), École normale supérieure de Lyon (ENS de Lyon)-Université Lumière - Lyon 2 (UL2)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Centre National de la Recherche Scientifique (CNRS), Centre de recherche en neurosciences de Lyon - Lyon Neuroscience Research Center (CRNL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, École normale supérieure - Lyon (ENS Lyon)-Université Lumière - Lyon 2 (UL2)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Centre National de la Recherche Scientifique (CNRS), Dynamique Cérébrale et Cognition (DYCOG), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Université Claude Bernard Lyon 1 (UCBL), ANR-11-IDEX-0007-02/11-LABX-0042,CORTEX,Construction, Fonction Cognitive et Réhabilitation du Cerveau(2011), and ANR-18-CE28-0016,CAUSAL,COGNITIVE ARCHITECTURES OF CAUSAL LEARNING(2018)
Subjects: Adult, Male, Computer science, Interface (computing), 0206 medical engineering, Biomedical Engineering, Inference, Context (language use), 02 engineering and technology, Field (computer science), [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, Cellular and Molecular Neuroscience, Communication Aids for Disabled, Young Adult, 0302 clinical medicine, P300 speller, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Humans, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Adaptation (computer science), Flexibility (engineering), [SHS.STAT]Humanities and Social Sciences/Methods and statistics, business.industry, [SCCO.NEUR]Cognitive science/Neuroscience, Probabilistic logic, Brain-Computer Interfaces BCI, Electroencephalography, Signal Processing, Computer-Assisted, Electroencelography, 020601 biomedical engineering, Event-Related Potentials, P300, [INFO.INFO-MO]Computer Science [cs]/Modeling and Simulation, Brain-Computer Interfaces, Active inference, Female, Artificial intelligence, Error detection and correction, business, 030217 neurology & neurosurgery, Photic Stimulation
Abstract: International audience; Objective. Going adaptive is a major challenge for the field of Brain-Computer Interface (BCI). This entails a machine that optimally articulates inference about the user’s intentions and its own actions. Adaptation can operate over several dimensions which calls for a generic and flexible framework. Approach. We appeal to one of the most comprehensive computational approach to brain (adaptive) functions: the Active Inference (AI) framework. It entails an explicit (probabilistic) model of the user that the machine interacts with, here involved in a P300-spelling task. This takes the form of a discrete input-output state-space model establishing the link between the machine’s (i) observations – a P300 or Error Potential for instance, (ii) representations – of the user intentions to spell or pause, and (iii) actions – to flash, spell or switch-off the application. Main results. Using simulations with real EEG data from 18 subjects, results demonstrate the ability of AI to yield a significant increase in bitrate (17%) over state-of-the-art approaches, such as dynamic stopping. Significance. Thanks to its flexibility, this one model enables to implement optimal (dynamic) stopping but also optimal flashing (i.e. active sampling), automated error correction, and switching off when the user does not look at the screen anymore. Importantly, this approach enables the machine to flexibly arbitrate between all these possible actions. We demonstrate AI as a unifying and generic framework to implement a flexible interaction in a given BCI context.
Published: 2020
Full Text: View/download PDF

22. DroneSAR: Extending Physical Spaces in Spatial Augmented Reality using Projection on a Drone

Author: Joan Sol Roo, Rajkumar Darbar, Thibault Lainé, Martin Hachet, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria), Service Expérimentation et Développement [Bordeaux] (SED), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: 3D interaction, ComputerSystemsOrganization_COMPUTERSYSTEMIMPLEMENTATION, Computer science, Digital content, ComputingMethodologies_IMAGEPROCESSINGANDCOMPUTERVISION, 02 engineering and technology, Space (commercial competition), 3D Interaction, Computer graphics (images), Collaborative interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Mixed / augmented reality, [INFO]Computer Science [cs], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Projection (set theory), 050107 human factors, Drones, Projections, 05 social sciences, 020207 software engineering, Spatial Augmented Reality, Mid-air Display, Drone, Proof of concept, Flying User Interface, Augmented reality, User interface, nteraction paradigms
Abstract: International audience; Spatial Augmented Reality (SAR) transforms real-world objects into interactive displays by projecting digital content using video projectors. SAR enables co-located collaboration immediately between multiple viewers without the need to wear any special glasses. Unfortunately, one major limitation of SAR is that visual content can only be projected onto its physical supports. As a result, displaying User Interfaces (UI) widgets such as menus and pop-up windows in SAR is very challenging. We are trying to address this limitation by extending SAR space in mid-air. In this paper, we propose Drone-SAR, which extends the physical space of SAR by projecting digital information dynamically on the tracked panels mounted on a drone. DroneSAR is a proof of concept of novel SAR User Interface (UI), which provides support for 2D widgets (i.e., label, menu, interactive tools, etc.) to enrich SAR interactive experience. We also describe the implementation details of our proposed approach.
Published: 2019
Full Text: View/download PDF

23. CARDS : Un système de réalité mixte pour l'apprentissage collaboratif à l'école

Author: David Bertolo, Joan Sol Roo, Philippe Giraudeau, Robin Vivian, Martin Hachet, Stéphanie Fleck, Alexis Olry, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Laboratoire de Conception, Optimisation et Modélisation des Systèmes (LCOMS), This work is part of the e-TAC project financially supported by the Caisse des Dépôts et Consignations as part of the e- FRAN projects., Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: Iterative design, Computer science, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, Workspace, Education, CCS Concepts•Human-centered computing → Field studies, Human–computer interaction, Children-Computer Interaction, 0202 electrical engineering, electronic engineering, information engineering, Tangible Interaction, 0501 psychology and cognitive sciences, Web navigation, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Augmented Reality, 4. Education, Iterative Design, 05 social sciences, [SDV.NEU.SC]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences, Window (computing), 020207 software engineering, Collaborative learning, Spatial Augmented Reality, Mixed reality, Pointer (computer programming), Augmented reality, CCS Concepts •Human-Centered Computing → HCI design and evaluation methods
Abstract: International audience; Traditional computer systems based on the WIMP paradigm (Window, Icon, Menu, Pointer) have shown potential benefits at school (e.g. for web browsing). On the other hand, they are not well suited as soon as hands-on and collaborative activities are targeted. We present CARDS, a Mixed-Reality system that combines together physical and digital objects in a seamless workspace to foster active and collaborative learning. We describe the design process based on a participatory approach with researchers, teachers, and pupils. We then present and discuss the results of a user study that tends to show that CARDS has a good educational potential for the targeted activities.
Published: 2019
Full Text: View/download PDF

24. Creating Accessible Interactive Audio-Tactile Drawings Using Spatial Augmented Reality

Author: Nicolas Rodier, Martin Hachet, Nicolas Palard, Anke Brock, Lauren Thévin, Christophe Jouffrais, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ludwig Maximilian University [Munich] (LMU), Etude de L’Interaction Personne SystèmE (IRIT-ELIPSE), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées-Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse - Jean Jaurès (UT2J)-Université Toulouse III - Paul Sabatier (UT3), Université Fédérale Toulouse Midi-Pyrénées-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université Fédérale Toulouse Midi-Pyrénées-Université Toulouse 1 Capitole (UT1), Université Fédérale Toulouse Midi-Pyrénées, Centre National de la Recherche Scientifique (CNRS), Image & Pervasive Access Lab (IPAL), National University of Singapore (NUS)-MATHEMATIQUES, SCIENCES ET TECHNOLOGIES DE L'INFORMATION ET DE LA COMMUNICATION (UJF)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore], RealityTech, Ecole Nationale de l'Aviation Civile (ENAC), ENAC - Equipe Informatique Interactive (LII), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Toulouse (UT)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse Capitole (UT Capitole), Université de Toulouse (UT), and National University of Singapore (NUS)-Agency for science, technology and research [Singapore] (A*STAR)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institute for Infocomm Research - I²R [Singapore]
Subjects: Computer science, Visual impairment, 02 engineering and technology, Special education, Content creation, Software, Accessible graphics, Human–computer interaction, Participatory design, 0202 electrical engineering, electronic engineering, information engineering, medicine, Audio-tactile drawings, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Graphics, 050107 human factors, Social work, business.industry, Accessible maps, 05 social sciences, Spatial augmented reality, 020207 software engineering, Accessibility, Augmented reality, medicine.symptom, business
Abstract: International audience; Interactive tactile graphics have shown a true potential for people with visual impairments, for instance for acquiring spatial knowledge. Until today, however, they are not well adopted in real-life settings (e.g. special education schools). One obstacle consists in the creation of these media, which requires specific skills, such as the use of vector-graphic software for drawing and inserting interactive zones, which is challenging for stakeholders (social workers, teachers, families of people with visual impairments, etc.). We explored how a Spatial Augmented Reality approach can enhance the creation of interactive tactile graphics by sighted users. We developed the system using a participatory design method. A user study showed that the augmented reality device allowed stakeholders (N=28) to create interactive tactile graphics more efficiently than with a regular vector-drawing software (baseline), independently of their technical background.
Published: 2019
Full Text: View/download PDF

25. Online e-learning and cognitive disabilities: A systematic review

Author: Hélène Sauzéon, Pascal Guitton, Pierre-Antoine Cinquin, Laboratoire Handicap Activité Cognition et Système Nerveux (HACS), Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Flowing Epigenetic Robots and Systems (Flowers), Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Unité d'Informatique et d'Ingénierie des Systèmes (U2IS), École Nationale Supérieure de Techniques Avancées (ENSTA Paris)-École Nationale Supérieure de Techniques Avancées (ENSTA Paris), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Lifelong learning, General Computer Science, 4. Education, 05 social sciences, 050301 education, Cognition, 02 engineering and technology, Scientific literature, Special education, Education, [SCCO]Cognitive science, Systematic review, International Classification of Functioning, Disability and Health, Evaluation of CAL systems, Distance education and telelearning, 020204 information systems, 0202 electrical engineering, electronic engineering, information engineering, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 10. No inequality, 0503 education, Inclusion (education), Web accessibility, Cognitive psychology
Abstract: International audience; For decades now, as the issue of social progress has come to the fore, the drive to improve access to education has been behind the growth in research into e-learning. The current systematic literature review raised the question of the existence of studies addressing the specific needs of persons with cognitive impairments. Indeed, e-learning is expected to be one of the critical tools for improving access to education and ultimately aiding social inclusion. The systematic literature review was performed through a four-step process including an exhaustive search of scientific literature databases, the selection of studies through exclusion and inclusion criteria, and literature analysis and synthesis. The main results are: 1) a lack of e-learning studies addressing the issue of accessibility for people with cognitive impairments (N = 29) with a purpose dominated by design guidelines rather than effectiveness assessment; 2) a weak inclusion of accessibility standards (N = 5) and 3) a weak inclusion of special education findings (N = 3), with a focus on specific neuropsychological disorders or syndromes (dyslexia, ADHD, etc.) rather than on impairments of cognitive function (attention, memory, etc.) as promoted by the International Classification of Functioning (World Health Organization, 2001); 4) the identification of five families of accessibility function (adaptive systems, game elements, accessible content, virtual agents and accessible interfaces or environments) and their dependency with activity-domain of learning. Results are discussed in terms of both design and assessment recommendations, promoting a multi-disciplinary approach combining educational sciences, cognitive sciences and computer science to develop more accessible e-learning systems.
Published: 2019
Full Text: View/download PDF

26. Towards Adaptive Classification using Riemannian Geometry approaches in Brain-Computer Interfaces

Author: Fabien Lotte, Satyam Kumar, Florian Yger, Indian Institute of Technology Kanpur (IIT Kanpur), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (LAMSADE), Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer science, 0206 medical engineering, 02 engineering and technology, Riemannian geometry, Machine learning, computer.software_genre, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, symbols.namesake, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Remannian Geometry, BCI, Brain–computer interface, Index Terms-Remannian Geometry, business.industry, Adaptation strategies, 020601 biomedical engineering, symbols, Adaptive classifier, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Artificial intelligence, business, Classifier (UML), computer, 030217 neurology & neurosurgery, Mental image
Abstract: International audience; The omnipresence of non-stationarity and noise in Electroencephalogram signals restricts the ubiquitous use of Brain-Computer interface. One of the possible ways to tackle this problem is to adapt the computational model used to detect and classify different mental states. Adapting the model will possibly help us to track the changes and thus reducing the effect of non-stationarities. In this paper, we present different adaptation strategies for state of the art Riemannian geometry based classifiers. The offline evaluation of our proposed methods on two different datasets showed a statistically significant improvement over baseline non-adaptive classifiers. Moreover, we also demonstrate that combining different (hybrid) adaptation strategies generally increased the performance over individual adaptation schemes. Also, the improvement in average classification accuracy for a 3-class mental imagery BCI with hybrid adaption is as high as around 17% above the baseline non-adaptive classifier.
Published: 2019

27. A review of user training methods in brain computer interfaces based on mental tasks

Author: Léa Pillette, Fabien Lotte, Jelena Mladenović, Camille Benaroch, Camille Jeunet, Bernard N'Kaoua, Aline Roc, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Handicap Activité Cognition Santé [Bordeaux] (HACS), Université de Bordeaux (UB)-Institut National de Recherche en Informatique et en Automatique (Inria)-CHU Bordeaux [Bordeaux]-Institut National de la Santé et de la Recherche Médicale (INSERM), Cognition, Langues, Langage, Ergonomie (CLLE), Centre National de la Recherche Scientifique (CNRS)-École pratique des hautes études (EPHE), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Université Toulouse - Jean Jaurès (UT2J), This work was supported by the European ResearchCouncil with project BrainConquest (grant ERC-2016-STG-714567)., Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, École Pratique des Hautes Études (EPHE), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), and Université de Toulouse (UT)
Subjects: Computer science, Process (engineering), Reliability (computer networking), 0206 medical engineering, Control (management), Biomedical Engineering, [SCCO.COMP]Cognitive science/Computer science, Mental imagery, 02 engineering and technology, Instructions, Training tasks, Training (civil), User, Feedback, [SCCO]Cognitive science, 03 medical and health sciences, Cellular and Molecular Neuroscience, 0302 clinical medicine, Human–computer interaction, Taxonomy (general), Humans, Learning, Mental task, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Electroencephalography (EEG), Brain–computer interface, [SCCO.NEUR]Cognitive science/Neuroscience, Brain, Reproducibility of Results, Electroencephalography, Brain-Computer Interfaces (BCI), 020601 biomedical engineering, Categorization, Brain-Computer Interfaces, [SCCO.PSYC]Cognitive science/Psychology, 030217 neurology & neurosurgery, Mental image
Abstract: Mental-tasks based brain–computer interfaces (MT-BCIs) allow their users to interact with an external device solely by using brain signals produced through mental tasks. While MT-BCIs are promising for many applications, they are still barely used outside laboratories due to their lack of reliability. MT-BCIs require their users to develop the ability to self-regulate specific brain signals. However, the human learning process to control a BCI is still relatively poorly understood and how to optimally train this ability is currently under investigation. Despite their promises and achievements, traditional training programs have been shown to be sub-optimal and could be further improved. In order to optimize user training and improve BCI performance, human factors should be taken into account. An interdisciplinary approach should be adopted to provide learners with appropriate and/or adaptive training. In this article, we provide an overview of existing methods for MT-BCI user training—notably in terms of environment, instructions, feedback and exercises. We present a categorization and taxonomy of these training approaches, provide guidelines on how to choose the best methods and identify open challenges and perspectives to further improve MT-BCI user training.
Published: 2021
Full Text: View/download PDF

28. Inria: From Cold-War Computing to Digital Sciences

Author: François X. Sillion, Philippe Nain, Pascal Guitton, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Dynamic Networks : Temporal and Structural Capture Approach (DANTE), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de l'Informatique du Parallélisme (LIP), École normale supérieure de Lyon (ENS de Lyon)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure de Lyon (ENS de Lyon)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Centre National de la Recherche Scientifique (CNRS)-Institut Rhône-Alpin des systèmes complexes (IXXI), École normale supérieure de Lyon (ENS de Lyon)-Université Lumière - Lyon 2 (UL2)-Université Jean Moulin - Lyon 3 (UJML), Université de Lyon-Université de Lyon-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Université Lumière - Lyon 2 (UL2)-Université Jean Moulin - Lyon 3 (UJML), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Inria Siège, Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, École normale supérieure - Lyon (ENS Lyon)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Lyon (ENS Lyon)-Université Claude Bernard Lyon 1 (UCBL), École normale supérieure - Lyon (ENS Lyon)-Université Lumière - Lyon 2 (UL2)-Université Jean Moulin - Lyon 3 (UJML), Institut National des Sciences Appliquées (INSA)-Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Université Lumière - Lyon 2 (UL2)-Université Jean Moulin - Lyon 3 (UJML), Institut National des Sciences Appliquées (INSA)-Université de Lyon-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Centre National de la Recherche Scientifique (CNRS)-Université de Lyon-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-École normale supérieure - Lyon (ENS Lyon)-Centre National de la Recherche Scientifique (CNRS)-Université de Lyon-Université Claude Bernard Lyon 1 (UCBL), and Université de Lyon-École normale supérieure - Lyon (ENS Lyon)-Institut Rhône-Alpin des systèmes complexes (IXXI)
Subjects: history of computing, General Computer Science, Computer science, Cold War, Cold war, 0202 electrical engineering, electronic engineering, information engineering, Art history, [INFO]Computer Science [cs], 020207 software engineering, Inria, 02 engineering and technology
Abstract: International audience; Inria, the French institute for research in digital sciences, celebrates its 50th anniversary this year. The authors reflect on Inria's evolution through the decades and present its vision for the future.
Published: 2017
Full Text: View/download PDF

29. Brain–Computer Interface Contributions to Neuroergonomics

Author: Fabien Lotte, Raphaëlle N. Roy, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institut Supérieur de l'Aéronautique et de l'Espace (ISAE-SUPAERO), Lotte, Fabien, Centre National de la Recherche Scientifique - CNRS (FRANCE), Ecole Nationale Supérieure d’Electronique, Informatique et Radiocommunications de Bordeaux - ENSEIRB (FRANCE), Institut National de la Recherche en Informatique et en Automatique - INRIA (FRANCE), Institut Supérieur de l'Aéronautique et de l'Espace - ISAE-SUPAERO (FRANCE), Université de Bordeaux 1 (FRANCE), Université de Bordeaux 2 - Victor Segalen (FRANCE), Département Conception et conduite des véhicules Aéronautiques et Spatiaux - DCAS (Toulouse, France), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], Brain-Computer Interface, Computer science, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, 0206 medical engineering, Feature extraction, Stereoscopy, 02 engineering and technology, law.invention, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, [STAT.AP] Statistics [stat]/Applications [stat.AP], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, law, Human–computer interaction, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], Neuroergonomics, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Adaptation (computer science), Video game, Brain–computer interface, Signal processing, [STAT.AP]Statistics [stat]/Applications [stat.AP], Neurosciences, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, 020601 biomedical engineering, Cockpit, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 030217 neurology & neurosurgery
Abstract: International audience; Brain-Computer Interfaces (BCIs) are systems that can translate brain activity patterns into messages or commands for an interactive application. As such the technology used to design them, and in particular to design passive BCIs which are a new means to perform mental state monitoring, can greatly benefit the neuroergonomics field. Therefore, this chapter describes the classical structure of the brain signal processing chain employed in BCIs, notably presenting the typically used preprocessing (spatial and spectral filtering, artefact removal), feature extraction and classification algorithms. It also gives examples of the use of BCI technology for neuroergonomics applications, either offline for evaluation purposes (e.g. cockpit design or stereoscopic displays’ assessment), or online for adaptation purposes (e.g. video game difficulty level or air traffic controller display adaptation).
Published: 2019

30. FlyMap: Interacting with Maps Projected from a Drone

Author: Michelle Park, Martin Hachet, Julia Chatain, Tommy Fang, James A. Landay, Anke Brock, Jessica R. Cauchard, ENAC - Equipe Informatique Interactive (LII), Ecole Nationale de l'Aviation Civile (ENAC), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Computer Science Department [Stanford], Stanford University, Interdisciplinary Center [Israël] (IDC), Interdisciplinary Center, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)
Subjects: Computer science, UAV, sUAV, 02 engineering and technology, Task (project management), Interactive Maps, Interactivity, User experience design, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.6: Input devices and strategies (e.g., mouse, touchscreen), Human–computer interaction, ACM: I.: Computing Methodologies/I.3: COMPUTER GRAPHICS/I.3.6: Methodology and Techniques, Tour Guide, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Projection, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Human-Drone Interaction, business.industry, 05 social sciences, 020207 software engineering, Drone, Robot, Mobile Interaction, business, Mobile interaction, Mobile device, Strengths and weaknesses
Abstract: International audience; Interactive maps have become ubiquitous in our daily lives, helping us reach destinations and discovering our surroundings. Yet, designing map interactions is not straightforward and depends on the device being used. As mobile devices evolve and become independent from users, such as with robots and drones, how will we interact with the maps they provide? We propose FlyMap as a novel user experience for drone-based interactive maps. We designed and developed three interaction techniques for FlyMap's usage scenarios. In a comprehensive indoor study (N = 16), we show the strengths and weaknesses of two techniques on users' cognition, task load, and satisfaction. FlyMap was then pilot tested with the third technique outdoors in real world conditions with four groups of participants (N = 13). We show that FlyMap's interactivity is exciting to users and opens the space for more direct interactions with drones.
Published: 2018
Full Text: View/download PDF

31. Defining and quantifying users' mental imagery-based BCI skills: a first step

Author: Camille Jeunet, Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Chair in Brain-Machine Interface [Geneva] (CNBI), Ecole Polytechnique Fédérale de Lausanne (EPFL), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique)
Subjects: Imagery, Psychotherapy, Computer science, 0206 medical engineering, Biomedical Engineering, 02 engineering and technology, Matlab code, Electroencephalography, Machine learning, computer.software_genre, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], Eeg patterns, 03 medical and health sciences, Cellular and Molecular Neuroscience, [SCCO]Cognitive science, 0302 clinical medicine, InformationSystems_MODELSANDPRINCIPLES, Eeg data, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, medicine, Humans, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Brain–computer interface, Training set, medicine.diagnostic_test, business.industry, 020601 biomedical engineering, Brain-Computer Interfaces, Imagination, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, Artificial intelligence, business, computer, Classifier (UML), 030217 neurology & neurosurgery, Psychomotor Performance, Mental image
Abstract: International audience; Objective: While promising for many applications, Electroencephalography (EEG)-based Brain-Computer Interfaces (BCIs) are still scarcely used outside laboratories , due to a poor reliability. It is thus necessary to study and fix this reliability issue. Doing so requires the use of appropriate reliability metrics to quantify both the classification algorithm and the BCI user's performances. So far, Classification Accuracy (CA) is the typical metric used for both aspects. However, we argue in this paper that CA is a poor metric to study BCI users' skills. Here, we propose a definition and new metrics to quantify such BCI skills for Mental Imagery (MI) BCIs, independently of any classification algorithm. Approach: We first show in this paper that CA is notably unspecific, discrete, training data and classifier dependent, and as such may not always reflect successful self-modulation of EEG patterns by the user. We then propose a definition of MI-BCI skills that reflects how well the user can self-modulate EEG patterns, and thus how well he could control an MI-BCI. Finally, we propose new performance metrics, classDis, restDist and classStab that specifically measure how distinct and stable the EEG patterns produced by the user are, independently of any classifier. Main results: By re-analyzing EEG data sets with such new metrics, we indeed confirmed that CA may hide some increase in MI-BCI skills or hide the user inability to self-modulate a given EEG pattern. On the other hand, our new met-rics could reveal such skill improvements as well as identify when a mental task performed by a user was no different than rest EEG. Significance: Our results showed that when studying MI-BCI users' skills, CA should be used with care, and complemented with metrics such as the new ones proposed. Our results also stressed the need to redefine BCI user training by considering the different BCI subskills and their measures. To promote the complementary use of our new metrics, we provide the Matlab code to compute them for free and open-source.
Published: 2018
Full Text: View/download PDF

32. Understanding Users’ Capability to Transfer Information between Mixed and Virtual Reality: Position Estimation across Modalities and Perspectives

Author: Jean Basset, Martin Hachet, Joan Sol Roo, Pierre-Antoine Cinquin, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ecole Nationale Supérieure de Cognitique (ENSC), Institut Polytechnique de Bordeaux, Université de Bordeaux (UB), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Modalities, Computer science, 05 social sciences, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Virtual Reality, 020207 software engineering, 02 engineering and technology, Virtual reality, Spatial Augmented Reality, Viewpoints, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Mixed reality, Human–computer interaction, Mixed Reality, 0202 electrical engineering, electronic engineering, information engineering, Immersion (virtual reality), Virtuality (gaming), 0501 psychology and cognitive sciences, Augmented reality, Quantitative Methods, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Evaluation, 050107 human factors
Abstract: International audience; Mixed Reality systems combine physical and digital worlds, with great potential for the future of HCI. It is possible to design systems that support flexible degrees of virtuality by combining complementary technologies. In order for such systems to succeed, users must be able to create unified mental models out of heterogeneous representations. In this paper, we present two studies focusing on the users' accuracy on heterogeneous systems using Spatial Augmented Reality (SAR) and immersive Virtual Reality (VR) displays, and combining viewpoints (egocentric and exocentric). The results show robust estimation capabilities across conditions and viewpoints.
Published: 2018
Full Text: View/download PDF

33. Towards Robust Neuroadaptive HCI

Author: Andrzej Cichocki, Fabien Lotte, Aurélien Appriou, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer science, Calibration (statistics), Interface (computing), 0206 medical engineering, 02 engineering and technology, Electroencephalography, Machine learning, computer.software_genre, Convolutional neural network, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Machine Learning, Deep Learning, neuroergonomics, medicine, Neuroergonomics, 0501 psychology and cognitive sciences, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Mental Workload, medicine.diagnostic_test, business.industry, Deep learning, 05 social sciences, Neuroadaptive technology, Workload, 020601 biomedical engineering, Brain-Computer Interfaces, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, Artificial intelligence, business, computer
Abstract: International audience; Estimating mental workload from brain signals such as Electroencephalography (EEG) has proven very promising in multiple Human-Computer Interaction (HCI) applications , e.g., to design games or educational applications with adaptive difficulty, or to assess how cognitively difficult to use an interface can be. However, current EEG-based workload estimation may not be robust enough for some practical applications. Indeed, the currently obtained work-load classification accuracies are relatively low, making the resulting estimations not fully trustable. This paper thus studies promising modern machine learning algorithms, including Riemannian geometry-based methods and Deep Learning, to estimate workload from EEG signals. We study them with both user-specific and user-independent calibration , to go towards calibration-free systems. Our results suggested that a shallow Convolutional Neural Network obtained the best performance in both conditions, outperform-ing state-of-the-art methods on the used data sets. This suggests that Deep Learning can bring new possibilities in HCI.
Published: 2018
Full Text: View/download PDF

34. Nectar

Author: Anke Brock, Jeremy Laviole, Lauren Thévin, Jérémy Albouys-Perrois, RealityTech, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ecole Nationale de l'Aviation Civile (ENAC), 2016-1-EL01-KA201-023731, Erasmus MC Vriendenfonds, RealityTech is supported by Region Aquitaine, Pole Aquinetic and Unitec. The Interactive Map Application for Visually Impaired People is conducted with the support of the Erasmus+ Program of the European Union Pr. no 2016-1-EL01-KA201-023731., and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: tabletop, Computer science, visual impairment, 02 engineering and technology, Multi-user, tangible interaction, Exhibition, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], mapping, object tracking, open-source, scientific visualization, 050107 human factors, multi-user, education, Subtractive color, business.industry, 05 social sciences, Scientific visualization, Software development, Spatial Augmented Reality, Braille, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], machine learning, child-computer interaction, [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], Video tracking, 020201 artificial intelligence & image processing, Augmented reality, business
Abstract: International audience; In this demonstration we showcase a new spatial augmented reality device (interactive projection) with three applications: education and experimentation of color models, map exploration for visually impaired people and scientific vulgarization of machine learning. The first exhibition is an interactive exploration about the nature of light. Visitors can experiment with additive subtractive color models. We engage them with questions, and they have to reply using cards to find out answers. This exhibit is suitable for children. The second exhibition is about map exploration and creation for Visually Impaired Persons (VIP). VIP generally use tactile maps with braille to learn about an unknown environment. However, these maps are not accessible to the 80% of VIP who don't read braille. Our prototype augments raised-line maps with audio output. The third exhibition is destined to be used for scientific outreach. It enables the creation of artificial neural networks (ANN) using tangible interfaces. Neurons are represented by laser-cut diamond shaped tokens, and the data to learn is printed on cards. The ANN learns to differentiate shapes, and the whole learning process is made visible and interactive. These three applications demonstrate the capabilities of our hardware and software development kit in different scenarios. At ReVo, each demonstration will have its own setup and interactive space.
Published: 2018
Full Text: View/download PDF

35. A Review of Classification Algorithms for EEG-based Brain-Computer Interfaces: A 10-year Update

Author: Florian Yger, Laurent Bougrain, Alain Rakotomamonjy, Andrzej Cichocki, Fabien Lotte, Maureen Clerc, Marco Congedo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Nicolaus Copernicus University [Toruń], Computational Imaging of the Central Nervous System (ATHENA), Inria Sophia Antipolis - Méditerranée (CRISAM), GIPSA - Vision and Brain Signal Processing (GIPSA-VIBS), Département Images et Signal (GIPSA-DIS), Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Equipe Apprentissage (DocApp - LITIS), Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes (LITIS), Université Le Havre Normandie (ULH), Normandie Université (NU)-Normandie Université (NU)-Université de Rouen Normandie (UNIROUEN), Normandie Université (NU)-Institut national des sciences appliquées Rouen Normandie (INSA Rouen Normandie), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA)-Université Le Havre Normandie (ULH), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA), Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (LAMSADE), Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS), Université Paris sciences et lettres (PSL), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut national des sciences appliquées Rouen Normandie (INSA Rouen Normandie), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Université de Rouen Normandie (UNIROUEN), Normandie Université (NU)-Université Le Havre Normandie (ULH), and Normandie Université (NU)
Subjects: Signal processing, Time Factors, Computer science, Feature extraction, Biomedical Engineering, 02 engineering and technology, Adaptive classifiers, Tensors, Machine learning, computer.software_genre, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, Cellular and Molecular Neuroscience, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], 0202 electrical engineering, electronic engineering, information engineering, Animals, Humans, EEG, Riemannian geometry, BCI, Brain–computer interface, Spatial filtering, business.industry, Deep learning, Brain, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Signal Processing, Computer-Assisted, Electroencephalography, Linear discriminant analysis, Classification, Random forest, Transfer learning, Statistical classification, ComputingMethodologies_PATTERNRECOGNITION, Brain-Computer Interfaces, 020201 artificial intelligence & image processing, Artificial intelligence, business, Transfer of learning, computer, Classifier (UML), [SPI.SIGNAL]Engineering Sciences [physics]/Signal and Image processing, Algorithms, 030217 neurology & neurosurgery
Abstract: International audience; Objective: Most current Electroencephalography (EEG)-based Brain-Computer Interfaces (BCIs) are based on machine learning algorithms. There is a large diversity of classifier types that are used in this field, as described in our 2007 review paper. Now, approximately 10 years after this review publication, many new algorithms have been developed and tested to classify EEG signals in BCIs. The time is therefore ripe for an updated review of EEG classification algorithms for BCIs. Approach: We surveyed the BCI and machine learning literature from 2007 to 2017 to identify the new classification approaches that have been investigated to design BCIs. We synthesize these studies in order to present such algorithms, to report how they were used for BCIs, what were the outcomes, and to identify their pros and cons. Main results: We found that the recently designed classification algorithms for EEG-based BCIs can be divided into four main categories: adaptive classifiers, matrix and tensor classifiers, transfer learning and deep learning, plus a few other miscellaneous classifiers. Among these, adaptive classifiers were demonstrated to be generally superior to static ones, even with unsupervised adaptation. Transfer learning can also prove useful although the benefits of transfer learning remain unpredictable. Riemannian geometry-based methods have reached state-of-the-art performances on multiple BCI problems and deserve to be explored more thoroughly, along with tensor-based methods. Shrinkage linear discriminant analysis and random forests also appear particularly useful for small training samples settings. On the other hand, deep learning methods have not yet shown convincing improvement over state-of-the-art BCI methods. Significance: This paper provides a comprehensive overview of the modern classification algorithms used in EEG-based BCIs, presents the principles of these Review of Classification Algorithms for EEG-based BCI 2 methods and guidelines on when and how to use them. It also identifies a number of challenges to further advance EEG classification in BCI.
Published: 2018
Full Text: View/download PDF

36. Scientific and Technical Prospects

Author: Jean-Marie Normand, Caroline Baillard, Gaël Seydoux, Fabien Lotte, Philippe Guillotel, Anatole Lécuyer, Nicolas Mollet, Visual Geometry Group (VGG), University of Oxford [Oxford], Technicolor R & I [Cesson Sévigné], Technicolor, 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), École Centrale de Nantes (ECN), Centre de recherche nantais Architectures Urbanités (CRENAU), Ambiances, Architectures, Urbanités (AAU ), École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN), University of Oxford, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS)
Subjects: Computer science, media_common.quotation_subject, User perception, Illusion, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, 02 engineering and technology, Virtual reality, Field (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Entertainment, 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Human–computer interaction, Perception, 0202 electrical engineering, electronic engineering, information engineering, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 030217 neurology & neurosurgery, media_common
Abstract: International audience; This chapter offers a view of future technical and scientific prospects, related to major evolutions in use. It explains the impact of technological advances on applications in the entertainment field and, more generally, on the use of VR‐AR by the general public. The chapter then discusses the potential of brain‐computer interactions (BCI). It explains the working principle of BCIs and analyzes the possibilities opened up by alternative perception mechanisms for interactions in virtual reality (VR). The chapter looks at how user perceptions can be altered in VR using pseudo‐sensory feedback. Finally, it shows that it is possible to generate illusions of movement for an immobile user by altering their movement in VR, and thus overcoming the current limitations of VR technology related to movement in the VE.
Published: 2018
Full Text: View/download PDF

37. Émersions sensorielles

Author: Jérémy Frey, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Frey, Jérémy, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: 05 social sciences, 0202 electrical engineering, electronic engineering, information engineering, 020207 software engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 02 engineering and technology, General Medicine, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors
Abstract: National audience; Nous avons pris l’habitude d’interagir avec les outils numériques via un clavier, une souris, ou bien encore une surface tactile. Notre corps peut pourtant s’exprimer sur une gamme autrement plus large. Dernièrement de nouveaux types d’interfaces ont vu le jour, qui utilisent l’activité cérébrale. Si cette technologie ne permet pas de miracles – comme nous le comprendrons après en avoir parcouru les arcanes – elle offre une autre façon de communiquer, avec la machine ou entre nous.
Published: 2016
Full Text: View/download PDF

38. Signal Processing Approaches to Minimize or Suppress Calibration Time in Oscillatory Activity-Based Brain–Computer Interfaces

Author: Fabien Lotte, Lotte, Fabien, Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, Computer science, Calibration (statistics), 02 engineering and technology, Electroencephalography, Machine learning, computer.software_genre, Index Terms—Brain-Computer Interfaces (BCI), Regularization (mathematics), 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], 0202 electrical engineering, electronic engineering, information engineering, medicine, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Electrical and Electronic Engineering, signal processing, Brain–computer interface, Signal processing, Training set, medicine.diagnostic_test, business.industry, ElectroEncephaloGraphy (EEG), [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], calibration, [STAT.ML] Statistics [stat]/Machine Learning [stat.ML], small sample settings, machine learning, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, A priori and a posteriori, Signal processing algorithms, 020201 artificial intelligence & image processing, Artificial intelligence, business, computer, 030217 neurology & neurosurgery
Abstract: International audience; One of the major limitations of Brain-Computer Interfaces (BCI) is their long calibration time, which limits their use in practice, both by patients and healthy users alike. Such long calibration times are due to the large between-user variability and thus to the need to collect numerous training electroencephalography (EEG) trials for the machine learning algorithms used in BCI design. In this paper, we first survey existing approaches to reduce or suppress calibration time, these approaches being notably based on regularization, user-to-user transfer, semi-supervised learning and a-priori physiological information. We then propose new tools to reduce BCI calibration time. In particular, we propose to generate artificial EEG trials from the few EEG trials initially available, in order to augment the training set size. These artificial EEG trials are obtained by relevant combinations and distortions of the original trials available. We propose 3 different methods to do so. We also propose a new, fast and simple approach to perform user-to-user transfer for BCI. Finally, we study and compare offline different approaches, both old and new ones, on the data of 50 users from 3 different BCI data sets. This enables us to identify guidelines about how to reduce or suppress calibration time for BCI.
Published: 2015
Full Text: View/download PDF

39. Towards a multisensory augmented reality map for blind and low vision people: A participatory design approach

Author: Anke Brock, Jeremy Laviole, Jérémy Albouys-Perrois, Carine Briant, Porte, Laurence, Visualization in Technology Education - VisTE - 2002-06-01 - 2007-11-30 - 0137811 - VALID, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RealityTech, Institution Régionale des Sourds et des Aveugles (IRSA), Ecole Nationale de l'Aviation Civile (ENAC), ENAC - Equipe Informatique Interactive (LII), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), European Project: 0137811,VisTE(2002), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)
Subjects: Computer science, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Visual impairment, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, Augmented reality, [INFO] Computer Science [cs], ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Special education, [INFO.EIAH] Computer Science [cs]/Technology for Human Learning, Human–computer interaction, [SCCO.COMP] Cognitive science/Computer science, Participatory design, 0202 electrical engineering, electronic engineering, information engineering, medicine, [INFO]Computer Science [cs], 0501 psychology and cognitive sciences, Vsual impairment, Projection (set theory), 050107 human factors, Orientation (computer vision), 05 social sciences, User satisfaction, 020207 software engineering, Geographic maps, ACM: K.: Computing Milieux/K.4: COMPUTERS AND SOCIETY/K.4.2: Social Issues, Accessibility, Low vision, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, medicine.symptom
Abstract: International audience; Current low-tech Orientation & Mobility (O&M) tools for visually impaired people, e.g. tactile maps, possess limitations. Interactive accessible maps have been developed to overcome these. However, most of them are limited to exploration of existing maps, and have remained in laboratories. Using a participatory design approach, we have worked closely with 15 visually impaired students and 3 O&M instructors over 6 months. We iteratively designed and developed an augmented reality map destined at use in O&M classes in special education centers. This prototype combines projection, audio output and use of tactile tokens, and thus allows both map exploration and construction by low vision and blind people. Our user study demonstrated that all students were able to successfully use the prototype, and showed a high user satisfaction. A second phase with 22 international special education teachers allowed us to gain more qualitative insights. This work shows that augmented reality has potential for improving the access to education for visually impaired people.
Published: 2018

40. Towards Seamless Interaction between Physical and Virtual Locations for Asymmetric Collaboration

Author: Pascal Guitton, Joan Sol Roo, Damien Clergeaud, Martin Hachet, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Rapid prototyping, Process (engineering), Computer science, Asymmetric Collaboration, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, Optical head-mounted display, 02 engineering and technology, Virtual reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Aerospace, 050107 human factors, business.industry, Technician, 05 social sciences, Virtual Reality, 020207 software engineering, Spatial Augmented Reality, Head Mounted Display, Mixed reality, Tangible User Interfaces, Mixed Reality, business, Engineering design process
Abstract: International audience; Virtual Reality allows rapid prototyping and simulation of physical artefacts, which would be difficult and expensive to perform otherwise. On the other hand, when the design process is complex and involves multiple stakeholders, decisions are taken in meetings hosted in the physical world. In the case of aerospace industrial designs, the process is accelerated by having asymmetric collaboration between the two locations: experts discuss the possibilities in a meeting room while a technician immersed in VR tests the selected alternatives. According to experts, the current approach is not without limitations, and in this work, we present prototypes designed to tackle them. The described artefacts were created to address the main issues: awareness of the remote location, remote interaction and manipulation, and navigation between locations. First feedback from experts regarding the prototypes is also presented. The resulting design considerations can be used in other asymmetric collaborative scenarios.
Published: 2017
Full Text: View/download PDF

41. Bespoke Map Customization Behavior and Its Implications for the Design of Multimedia Cartographic Tools

Author: Beat Signer, Brent Hecht, Johannes Schöning, Anke Brock, Web and Information System Engineering, Informatics and Applied Informatics, Ecole Nationale de l'Aviation Civile (ENAC), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Northwestern University [Evanston], Vrije Universiteit Brussel (VUB), University of Bremen, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)
Subjects: digital maps, Computer science, media_common.quotation_subject, 02 engineering and technology, computer.software_genre, Power user, geographic HCI (GeoHCI), Adaptability, Personalization, paper maps, 0202 electrical engineering, electronic engineering, information engineering, Reference map, 0501 psychology and cognitive sciences, Use case, cartography, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Bespoke, design implications, media_common, multimedia, Multimedia, Digital mapping, 05 social sciences, 020207 software engineering, Frequent use, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI), computer, Cartography
Abstract: Honorable Mention Award; International audience; While popular digital maps support an unprecedented number of use cases, new reference map customization tools have been created for purposes for which those maps fall short. With the goal of informing the design of this new class of cartographic tools, we present the first study of naturalistic (" bespoke ") map customization behavior. Through a mixed methods and mixed-media approach involving a survey, the analysis of a corpus of customized maps, and an interview with a power user, we find that bespoke map customization is a relatively common activity and identify frequent use cases as well as map customization strategies. We discuss these use cases and strategies in detail, and propose design implications for future customization tools, such as the use of templates for common use cases, adaptability for various customization styles and the support of multimedia interaction.
Published: 2017

42. One Reality: Augmenting How the Physical World is Experienced by combining Multiple Mixed Reality Modalities

Author: Martin Hachet, Joan Sol Roo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), ACM, ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)
Subjects: Computer science, Reality–virtuality continuum, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces, 02 engineering and technology, Virtual reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Through-the-lens Technique, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Modalities, Augmented Reality, 05 social sciences, Virtual Reality, Contrast (statistics), 020207 software engineering, Computer-mediated reality, Spatial Augmented Reality, Mixed reality, Organic User Interfaces, Tangible User Interfaces, Conceptual framework, Mixed Reality, Augmented reality
Abstract: International audience; Most of our daily activities take place in the physical world, which inherently imposes physical constraints. In contrast, the digital world is very flexible, but usually isolated from its physical counterpart. To combine these two realms, many Mixed Reality (MR) techniques have been explored, at different levels in the continuum. In this work we present an integrated Mixed Reality ecosystem that allows users to incrementally transition from pure physical to pure virtual experiences in a unique reality. This system stands on a conceptual framework composed of 6 levels. This paper presents these levels as well as the related interaction techniques.
Published: 2017
Full Text: View/download PDF

43. Towards a Mixed-Reality Interface for Mind-Mapping

Author: Martin Hachet, Philippe Giraudeau, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: Computer science, Interface (Java), H5m [Information interfaces and presentation (eg, Digital content, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, computer.software_genre, Mind-Mapping, HCI)]: Miscellaneous, WIMP, Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Learning, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Mixed-Reality interface, Multimedia, 05 social sciences, ACM Classification Keywords, [SDV.NEU.SC]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences, 020207 software engineering, Cognition, Mixed reality, Author Keywords, computer
Abstract: International audience; In this work, we have explored an approach based on the hybridisation of physical and digital content for mind-mapping activities at schools. Based on the literature in the fields of cognitive science and HCI, we have designed a mixed-reality (MR) interface called Reality-Map. We conducted a pilot study with 11 participants suggesting that learning and manipulating information about the brain and their cognitive functions could be improved by the use of such a MR interface compared to a traditional WIMP interface.
Published: 2017
Full Text: View/download PDF

44. Interactions Homme-Drones pour un jonglage sans gravité

Author: Damien Clergeaud, Maxime Agor, Antoine Clée, Martin Hachet, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Le cirque inachevé, AFIHM, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)
Subjects: Gravity (chemistry), Human-Drone Interaction, Computer science, 05 social sciences, Juggling, 020207 software engineering, 02 engineering and technology, 3D gestures, Drone, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Art, Gesture
Abstract: TEC - Travaux en Cours; International audience; In this work, we explore a new form of juggling. The juggler interacts with balls carried with nano-drones using 3D gestures. In this paper, we discuss technological as well as interaction issues.
Published: 2017
Full Text: View/download PDF

45. « Teegi, il est trop beau »: Exemple d'évaluation du potentiel pédagogique d'une interface tangible interactive pour enfants en contexte scolaire

Author: Thibault Lainé, Charlotte Baraudon, Stéphanie Fleck, Jérémy Frey, Martin Hachet, Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Canopé académie de Metz, Ullo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), AFIHM, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Relation (database), Process (engineering), Interface (Java), Computer science, Context (language use), Contexte scolaire, 02 engineering and technology, Evaluation de l’utilisabilité, Education, Child-Computer Interaction, Usability testing, Educational support, Human–computer interaction, Evaluation methods, ComputingMilieux_COMPUTERSANDEDUCATION, 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], 050107 human factors, Interaction enfant-machine, Tangible interface, School context, business.industry, 4. Education, 05 social sciences, 020207 software engineering, Usability, Educative potential, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI), Cerebral activity, Interface tangible, business, Potentiel pédagogique
Abstract: International audience; The cerebral activity is an intangible physiological process difficult to apprehend, especially for children. With the aim of providing a new type of educational support, we studied the pedagogical potential of an interactive tangible interface (Teegi) designed to be used in educational context. This interface aims at enabling children to discover the relation between the brain activity and the human body functions. We propose in this study a methodology to evaluate its pedagogical potential in real context of use, considering the specificities of the children. This study, carried out with 29 pupils, highlights the strengths of this system, both in terms of its usability and its impact on learning. Moreover, the results provided by this methodology revealed possible improvements for a greater pedagogical effectiveness. This type of interactive interface, as well as the evaluation method proposed, paves the way for the pedagogical use of new interactive and tangible devices at school.; L’activité cérébrale est un processus physiologique intangible qui peut être difficile à appréhender, notamment pour des enfants. Pour répondre aux besoins en supports pédagogiques et favoriser les apprentissages liés à ce type de concepts, nous étudions le potentiel d’une interface tangible interactive dédiée à la visualisation d’activités cérébrales (Teegi) en contexte éducatif. Nous proposons une méthodologie d’évaluation du potentiel pédagogique en contexte réel d’utilisation par des enfants. Cette étude réalisée avec 29 enfants, met en évidence les forces de ce système, tant au niveau de son utilisabilité que de ses impacts sur les apprentissages visés. Les résultats obtenus mettent en lumière des axes d’améliorations possibles pour une plus grande efficacité pédagogique. Ce type d’interface, ainsi que la méthode d’évaluation que nous proposons, ouvrent la voie de l’utilisation pédagogique de nouveaux dispositifs interactifs et tangibles en milieu scolaire.
Published: 2017
Full Text: View/download PDF

46. A generic framework for adaptive EEG-based BCI training and operation

Author: Jelena Mladenović, Jérémie Mattout, Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Centre de recherche en neurosciences de Lyon (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Chang S. Nam, Anton Nijholt, Fabien Lotte, Mladenovic, Jelena, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Centre de recherche en neurosciences de Lyon - Lyon Neuroscience Research Center (CRNL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: FOS: Computer and information sciences, 0209 industrial biotechnology, Computer science, Computer Science - Human-Computer Interaction, [SCCO.COMP]Cognitive science/Computer science, 02 engineering and technology, Electroencephalography, Quantitative Biology - Quantitative Methods, Field (computer science), Human-Computer Interaction (cs.HC), 03 medical and health sciences, [SCCO]Cognitive science, 020901 industrial engineering & automation, 0302 clinical medicine, [SCCO.COMP] Cognitive science/Computer science, Human–computer interaction, Taxonomy (general), medicine, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Adaptation (computer science), Quantitative Methods (q-bio.QM), [INFO.INFO-BI] Computer Science [cs]/Bioinformatics [q-bio.QM], Brain–computer interface, medicine.diagnostic_test, business.industry, Instructional design, [SCCO.NEUR]Cognitive science/Neuroscience, [SCCO.NEUR] Cognitive science/Neuroscience, [SCCO] Cognitive science, Conceptual framework, FOS: Biological sciences, Artificial intelligence, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BI]Computer Science [cs]/Bioinformatics [q-bio.QM], business, 030217 neurology & neurosurgery
Abstract: International audience; There are numerous possibilities and motivations for an adaptive BCI, which may not be easy to clarify and organize for a newcomer to the field. To our knowledge, there has not been any work done in classifying the literature on adaptive BCI in a comprehensive and structured way. We propose a conceptual framework, a taxonomy of adaptive BCI methods which encompasses most important approaches to fit them in such a way that a reader can clearly visualize which elements are being adapted and for what reason. In the interest of having a clear review of existing adaptive BCIs, this framework considers adaptation approaches for both the user and the machine, i.e., using instructional design observations as well as the usual machine learning techniques. This framework not only provides a coherent review of such extensive literature but also enables the reader to perceive gaps and flaws in the current BCI systems, which would hopefully bring novel solutions for an overall improvement.
Published: 2017

47. Design of an annotation system for taking notes in virtual reality

Author: Pascal Guitton, Damien Clergeaud, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Clergeaud, Damien, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: Annotation System, Design, Computer science, [INFO.INFO-GR] Computer Science [cs]/Graphics [cs.GR], 02 engineering and technology, Virtual reality, computer.software_genre, Tangible User Interface, Interaction Technique, Annotation, Human–computer interaction, 020204 information systems, 0202 electrical engineering, electronic engineering, information engineering, Tangible user interface, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Multimedia, Virtual Reality, Interaction technique, Computer-mediated reality, Mixed reality, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Virtual machine, 020201 artificial intelligence & image processing, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], computer, Instructional simulation
Abstract: International audience; The industry uses immersive virtual environments for testing engineering solutions. Annotation systems allow capturing the insights that arise during those virtual reality sessions. However, those annotations remain in the virtual environment. Users are required to return to virtual reality to access it. We propose a new annotation system for VR. The design of this system contains two important aspects. First, the digital representation of the annotations enables to access the annotation in both virtual and physical world. Secondly, the interaction technique for taking notes in VR is designed to enhance the feeling of bringing the annotations from the physical world to the virtual and vice versa. We also propose the first implementation of this design.
Published: 2017

48. Inner Garden

Author: Joan Sol Roo, Martin Hachet, Renaud Gervais, Jérémy Frey, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), ACM, ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Mindfulness, media_common.quotation_subject, 02 engineering and technology, Virtual reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Calm Technologies, GeneralLiterature_MISCELLANEOUS, Session (web analytics), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, Tangible Interaction, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Meditation, 050107 human factors, media_common, 05 social sciences, Virtual Reality, 020207 software engineering, Spatial Augmented Reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems/H.5.1.1: Artificial, augmented, and virtual realities, Mixed reality, Mixed Reality, Happiness, Curiosity, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Sandbox (software development), Psychology
Abstract: International audience; Digital technology has been completely integrated into our daily lives, yet the potential of technology to improve its users’ life satisfaction is still largely untapped. Mindfulness, the act of paying a deliberate and non-judgmental attention to the present moment, has been shown to have a positive impact on a person’s health and subjective well-being – commonly called “happiness”. Based on an iterative process with meditation teachers and practitioners, we designed a new tool to support mindfulness practices. This tool takes the shape of an augmented sandbox, designed to inspire the user’s self-motivation and curiosity. By shaping the sand, the user creates a living miniature world that is projected back onto the sand. The natural elements of the garden are connected to real-time physiological measurements, such as breathing, helping the user to stay focused on the body. Moreover, using a Virtual Reality headset, they can travel inside their garden for a dedicated meditation session. Preliminary results seem to indicate that the system is well suited for mindfulness and induces a calm and mindful state on the user. The meditation teachers envisioned the use of Inner Garden in their practice.
Published: 2017
Full Text: View/download PDF

49. Scientific Outreach with Teegi, a Tangible EEG Interface to Talk about Neurotechnologies

Author: Jérémy Frey, Stéphanie Fleck, Hugo Germain, Thibault Lainé, Martin Hachet, Fabien Lotte, Renaud Gervais, Maxime Duluc, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: FOS: Computer and information sciences, Brain activity and meditation, Computer science, Interface (computing), Computer Science - Human-Computer Interaction, ACM: I.: Computing Methodologies/I.2: ARTIFICIAL INTELLIGENCE/I.2.6: Learning/I.2.6.4: Knowledge acquisition, 02 engineering and technology, Electroencephalography, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.2: User Interfaces/H.5.2.7: Interaction styles (e.g., commands, menus, forms, direct manipulation), Human-Computer Interaction (cs.HC), Human–computer interaction, 0202 electrical engineering, electronic engineering, information engineering, medicine, [INFO.INFO-IM]Computer Science [cs]/Medical Imaging, Tangible Interaction, 0501 psychology and cognitive sciences, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], BCI, 050107 human factors, Brain–computer interface, Avatar, medicine.diagnostic_test, [SCCO.NEUR]Cognitive science/Neuroscience, 05 social sciences, ACM: H.: Information Systems/H.1: MODELS AND PRINCIPLES/H.1.2: User/Machine Systems/H.1.2.1: Human information processing, 020207 software engineering, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems/H.5.1.1: Artificial, augmented, and virtual realities, Outreach, Scientific Outreach
Abstract: International audience; Teegi is an anthropomorphic and tangible avatar exposing a users' brain activity in real time. It is connected to a device sensing the brain by means of electroencephalog-raphy (EEG). Teegi moves its hands and feet and closes its eyes along with the person being monitored. It also displays on its scalp the associated EEG signals, thanks to a semi-spherical display made of LEDs. Attendees can interact directly with Teegi – e.g. move its limbs – to discover by themselves the underlying brain processes. Teegi can be used for scientific outreach to introduce neurotechnologies in general and brain-computer interfaces (BCI) in particular.
Published: 2017
Full Text: View/download PDF

50. Towards a Hybrid Space Combining Spatial Augmented Reality and Virtual Reality

Author: Martin Hachet, Joan Sol Roo, Roo, Joan Sol, Appel à projets générique - Interaction en Réalité Augmentée Spatiale - - ISAR2014 - ANR-14-CE24-0013 - Appel à projets générique - VALID, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), IEEE, ANR-14-CE24-0013,ISAR,Interaction en Réalité Augmentée Spatiale(2014), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: 3D interaction, Dependency (UML), Augmented Reality, Computer science, 05 social sciences, 020207 software engineering, 02 engineering and technology, Virtual reality, Space (commercial competition), Computer-mediated reality, ACM: H.: Information Systems/H.5: INFORMATION INTERFACES AND PRESENTATION (e.g., HCI)/H.5.1: Multimedia Information Systems, Mixed reality, HMD, Human–computer interaction, 3D Interaction, Computer graphics (images), Mixed Reality, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], 0202 electrical engineering, electronic engineering, information engineering, 0501 psychology and cognitive sciences, Augmented reality, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Set (psychology), 050107 human factors
Abstract: International audience; Spatial Augmented Reality (SAR) allows a user, or a group of users, to benefit from digital augmentations embedded directly into the physical world. This enables co-located information and unobstructed interaction. On the other hand, SAR suffers from limitations that are inherently linked to its physical dependency, which is not the case for see-through or immersive displays. In this work, we explore how to facilitate the transition from SAR to VR, and vice versa, integrating both into a unified experience. We developed a set of interaction techniques and obtained first feedback from informal interviews.
Published: 2017

Catalog

Books, media, physical & digital resources

See catalog results

Searchworks

Select search scope, currently: Articles Catalog books, media & more in Jio Institute collections Articles journal articles & other e-resources

Search

Search Constraints

Refine your results

Search Limiters

Topic

Publication Year Range

Language

Journal

Database

Publisher

87 results on '"Popular interaction with 3d content (Potioc)"'

Search Results

Catalog

Select search scope, currently: Articles

Catalog

books, media & more in Jio Institute collections

Articles

journal articles & other e-resources