Author: "Popular interaction with 3d content (Potioc)" / Topic: [info.info-lg]computer science [cs]/machine learning [cs.lg] - Searchworks@Jio Institute Digital Library Search Results

Your search keyword '"Popular interaction with 3d content (Potioc)"' showing total 70 results

Start Over Author "Popular interaction with 3d content (Potioc)" Topic [info.info-lg]computer science [cs]/machine learning [cs.lg]

70 results on '"Popular interaction with 3d content (Potioc)"'

1. A BCI challenge for the signal processing community: considering the user in the loop

Author: Fabien Lotte, Camille Jeunet, Jelena Mladenović, Kaoua, Bernard N., Léa Pillette, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ecole Polytechnique Fédérale de Lausanne (EPFL), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Laboratoire Handicap Activité Cognition et Système Nerveux (HACS), Université de Bordeaux (UB), Popular interaction with 3d content ( Potioc ), Laboratoire Bordelais de Recherche en Informatique ( LaBRI ), Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique ( CNRS ) -École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ), Ecole Polytechnique Fédérale de Lausanne ( EPFL ), 3D interaction with virtual environments using body and mind ( Hybrid ), Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -MEDIA ET INTERACTIONS ( IRISA_D6 ), Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ), Programming Language Technology For Communication Services ( Phoenix ), Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -Handicap et système nerveux :Action, communication, interaction: rétablissement de la fonction et de la participation [Bordeaux] ( EA4136 ), UFR Sciences médicales 3 [Bordeaux]-Université de Bordeaux Ségalen [Bordeaux 2]-UFR Sciences médicales 3 [Bordeaux]-Université de Bordeaux Ségalen [Bordeaux 2], Laboratoire Handicap Activité Cognition et Système Nerveux ( HACS ), Université de Bordeaux ( UB ), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique)
Subjects: [ INFO.INFO-TS ] Computer Science [cs]/Signal and Image Processing, [SCCO.NEUR]Cognitive science/Neuroscience, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [ SCCO.PSYC ] Cognitive science/Psychology, [ INFO.INFO-CV ] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [ INFO.INFO-LG ] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [ SCCO.NEUR ] Cognitive science/Neuroscience, [SCCO.PSYC]Cognitive science/Psychology, [ SCCO ] Cognitive science, [ INFO.INFO-AI ] Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: Chapter 8; International audience
Published: 2018

2. Simple Probabilistic Data-driven Model for Adaptive BCI Feedback

Author: Jelena Mladenović, Fabien Lotte, Jérémie Mattout, Jérémy Frey, Computer Science Faculty RAFLab, Union University, Belgrade (RAF), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB), Centre de recherche en neurosciences de Lyon - Lyon Neuroscience Research Center (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), CIC CHU Lyon (inserm), Université de Lyon-Université de Lyon-Institut National de la Santé et de la Recherche Médicale (INSERM), Université de Lyon, Ullo, ERC BrainConquest, European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Mladenovic, Jelena, and Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.INFO-SY] Computer Science [cs]/Systems and Control [cs.SY], Dynamic Behaviour, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, Adaptive modeling, EEG Signal, [SCCO.COMP]Cognitive science/Computer science, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-MO]Computer Science [cs]/Modeling and Simulation, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.EIAH] Computer Science [cs]/Technology for Human Learning, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SCCO.COMP] Cognitive science/Computer science, [INFO.INFO-SY]Computer Science [cs]/Systems and Control [cs.SY], [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-MO] Computer Science [cs]/Modeling and Simulation, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Brain-computer interfaces BCI
Abstract: International audience; Due to abundant signal and user variability among others, BCIs remain difficult to control. To increase performance, adaptive methods are a necessary means to deal with such a vast spectrum of variable data. Typically, adaptive methods deal with the signal or classification corrections (adaptive spatial filters [1], co-adaptive calibration [2], adaptive classifiers [3]). As such, they do not necessarily account for the implicit alterations they perform on the feedback (in real-time), and in turn, on the user, creating yet another potential source of unpredictable variability. Namely, certain user's personality traits and states have shown to correlate with BCI performance, while feedback can impact user states [4]. For instance, altered (biased) feedback was distorting the participants' perception over their performance, influencing their feeling of control, and online performance [5]. Thus, one can assume that through feedback we might implicitly guide the user towards a desired state beneficial for BCI performance. We propose a novel, simple probabilistic, data-driven dynamic model to provide such feedback that will maximize performance.
Published: 2022

3. Towards curating personalized art exhibitions in Virtual Reality with multimodal Brain-Computer-Interfaces

Author: Welter, Marc, Bouneau, Axel, Lotte, Fabien, Ward, Tomas, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Dublin City University [Dublin] (DCU), ANR-21-CHRA-0003,BITSCOPE,Brain Integrated Tagging for Socially Curated Online Personalised Experiences(2021), Welter, Marc, and Brain Integrated Tagging for Socially Curated Online Personalised Experiences - - BITSCOPE2021 - ANR-21-CHRA-0003 - CHIST-ERA - VALID
Subjects: [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SHS.ART] Humanities and Social Sciences/Art and art history, [SCCO] Cognitive science, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], [SHS.ART]Humanities and Social Sciences/Art and art history
Abstract: International audience; Today, we live in an age of 'Like' where appreciation of digital content is expressed constantly by interacting with feedback icons. In contrast, Brain-Computer-Interfaces (BCIs) can decode cognitive states from neural signals without explicit user feedback that interrupts aesthetic experiences (AEs). This recently started project will elucidate the neuro-cognitive mechanisms behind art appreciation and implement an Electroencephalography (EEG)-based BCI to detect physiological correlates of artwork preference in order to curate personalized art exhibitions in Virtual Reality. Most EEG recordings in visual neuroaesthetics focused on Event-Related Potentials, often using paradigms with unatural viewing conditions. On the other hand, the neural dynamics during visual art appreciation remain obscure and previous studies reported conflicting results. Furthermore, the liking of visual artworks was mostly investigated from the perspective of beauty or pleasantness, concepts which are not applicable to all aesthetic pleasures. We hypothesize instead that art preferences in general depend on rewarding AEs. Therefore, we will develop novel algorithms to decode and discriminate EEG neuromarkers of hedonic AEs. In a first step, we conceptualized neuro-cognitive components of AE, such as attention, emotion and intrinsic reward, as well as their established EEG neuromarkers. In the future, we will record EEG and other physiological measures, e.g. eye-tracking and heart rate, in naturalistic single trial experiments, use advanced Machine Learning to detect artwork preference and recommend further objects based on this multimodal information. Finally, we embrace open science and will make subject data and BCI algorithms publicly accessible.
Published: 2022

4. Riemannian Channel Selection for BCI With Between-Session Non-Stationarity Reduction Capabilities

Author: Fabien Lotte, Khadijeh Sadatnejad, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017)
Subjects: General Neuroscience, MESH: channel selection, Rehabilitation, Biomedical Engineering, Electroencephalography, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, MESH: non-stationarity, Brain-Computer Interfaces, MESH: EEG, MESH: Brain-computer interfaces, Internal Medicine, MESH: Riemannian manifold, Humans, [MATH.MATH-AG]Mathematics [math]/Algebraic Geometry [math.AG], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Algorithms
Abstract: L'institution a financé les frais de publication pour que cet article soit en libre accès; International audience; Objective: Between-session non-stationarity is a major challenge of current Brain-Computer Interfaces (BCIs) that affects system performance. In this paper, we investigate the use of channel selection for reducing between-session non-stationarity with Riemannian BCI classifiers. We use the Riemannian geometry framework of covariance matrices due to its robustness and promising performances. Current Riemannian channel selection methods do not consider between-session non-stationarity and are usually tested on a single session. Here, we propose a new channel selection approach that specifically considers non-stationarity effects and is assessed on multi-session BCI data sets. Methods: We remove the least significant channels using a sequential floating backward selection search strategy. Our contributions include: 1) quantifying the non-stationarity effects on brain activity in multi-class problems by different criteria in a Riemannian framework and 2) a method to predict whether BCI performance can improve using channel selection. Results: We evaluate the proposed approaches on three multi-session and multi-class mental tasks (MT)-based BCI datasets. They could lead to significant improvements in performance as compared to using all channels for datasets affected by between-session non-stationarity and to significant superiority to the state-of-the-art Riemannian channel selection methods over all datasets, notably when selecting small channel set sizes. Conclusion: Reducing non-stationarity by channel selection could significantly improve Riemannian BCI classification accuracy. Significance: Our proposed channel selection approach contributes to make Riemannian BCI classifiers more robust to between-session non-stationarities.
Published: 2022
Full Text: View/download PDF

5. Retrospective on the First Passive Brain-Computer Interface Competition on Cross-Session Workload Estimation

Author: Roy, Raphaëlle N., Hinss, Marcel F., Darmet, Ludovic, Ladouce, Simon, Jahanpour, Emilie S., Somon, Bertille, Xu, Xiaoqi, Drougard, Nicolas, Dehais, Frédéric, Lotte, Fabien, Institut Supérieur de l'Aéronautique et de l'Espace (ISAE-SUPAERO), Université de Toulouse (UT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), This work was funded by ANITI (Artificial and Natural Intelligence Toulouse Institute), Toulouse, France. FL was also supported by the European Research Council with project BrainConquest (grant ERC-2016-STG-714567)., European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Centre National de la Recherche Scientifique - CNRS (FRANCE), Ecole Nationale Supérieure d’Electronique, Informatique et Radiocommunications de Bordeaux - ENSEIRB (FRANCE), Institut National de la Recherche en Informatique et en Automatique - INRIA (FRANCE), Institut Supérieur de l'Aéronautique et de l'Espace - ISAE-SUPAERO (FRANCE), Artificial and Natural Intelligence Toulouse Institute - ANITI (FRANCE), and Université de Bordeaux (FRANCE)
Subjects: passive brain-computer interface, estimation, Workload, Passive brain-computer interface, workload, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Benchmarking, Autre, cross-session variability, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, dataset, Cross-session variability, benchmarking, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Riemannian geometry, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Estimation, Dataset
Abstract: As is the case in several research domains, data sharing is still scarce in the field of Brain-Computer Interfaces (BCI), and particularly in that of passive BCIs—i.e., systems that enable implicit interaction or task adaptation based on a user's mental state(s) estimated from brain measures. Moreover, research in this field is currently hindered by a major challenge, which is tackling brain signal variability such as cross-session variability. Hence, with a view to develop good research practices in this field and to enable the whole community to join forces in working on cross-session estimation, we created the first passive brain-computer interface competition on cross-session workload estimation. This competition was part of the 3rd International Neuroergonomics conference. The data were electroencephalographic recordings acquired from 15 volunteers (6 females; average 25 y.o.) who performed 3 sessions—separated by 7 days—of the Multi-Attribute Task Battery-II (MATB-II) with 3 levels of difficulty per session (pseudo-randomized order). The data -training and testing sets—were made publicly available on Zenodo along with Matlab and Python toy code (https://doi.org/10.5281/zenodo.5055046). To this day, the database was downloaded more than 900 times (unique downloads of all version on the 10th of December 2021: 911). Eleven teams from 3 continents (31 participants) submitted their work. The best achieving processing pipelines included a Riemannian geometry-based method. Although better than the adjusted chance level (38% with an α at 0.05 for a 3-class classification problem), the results still remained under 60% of accuracy. These results clearly underline the real challenge that is cross-session estimation. Moreover, they confirmed once more the robustness and effectiveness of Riemannian methods for BCI. On the contrary, chance level results were obtained by one third of the methods—4 teams- based on Deep Learning. These methods have not demonstrated superior results in this contest compared to traditional methods, which may be due to severe overfitting. Yet this competition is the first step toward a joint effort to tackle BCI variability and to promote good research practices including reproducibility.
Published: 2022
Full Text: View/download PDF

6. Editorial: Long Term User Training and Preparation to Succeed in a Closed-Loop BCI Competition

Author: Gernot R. Müller-Putz, Damien Coyle, Fabien Lotte, Jing Jin, David Steyrl, Graz University of Technology [Graz] (TU Graz), BioTechMed-Graz, Graz University of Technology [Graz] (TU Graz)-Karl-Franzens-Universität Graz-Medical University Graz, Faculty of Computing and Engineering [University of Ulster], University of Ulster, Intelligent Systems Research Centre, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), East China University of Science and Technology, and University of Vienna [Vienna]
Subjects: Brain-Computer Interface, Brain-Computer Interface electroencephalogram transfer learning user learning user-centered training closed-loop learning, electroencephalogram, transfer learning, user-centered training, Behavioral Neuroscience, Psychiatry and Mental health, Neuropsychology and Physiological Psychology, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Neurology, user learning, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Biological Psychiatry, closed-loop learning
Abstract: The abstract is available here: https://uscholar.univie.ac.at/o:1674457
Published: 2022
Full Text: View/download PDF

7. Assessing a new form of BCI user learning

Author: Sadatnejad, Khadijeh, Lotte, Fabien, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Lotte, Fabien
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], ComputingMilieux_MISCELLANEOUS, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience
Published: 2021

8. Which user's state and trait can benefit from biased feedback in motor imagery BCI ?

Author: Mladenović, Jelena, Frey, Jeremy, Pramij, Smeety, Mattout, Jeremie, Lotte, Fabien, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université Bordeaux Segalen - Bordeaux 2-Université Sciences et Technologies - Bordeaux 1-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université Bordeaux Segalen - Bordeaux 2-Université Sciences et Technologies - Bordeaux 1-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Centre de recherche en neurosciences de Lyon (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université Bordeaux Segalen - Bordeaux 2-Université Sciences et Technologies - Bordeaux 1, This work received support from Inria project lab BCI-LIFT and from the European Research Council with project BrainConquest (grant ERC2016STG714567)., and European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017)
Subjects: [INFO.INFO-CC]Computer Science [cs]/Computational Complexity [cs.CC], [SCCO]Cognitive science, Brain-computer interface (BCI), feedback bias, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], personality traits, prediction models, [SCCO.COMP]Cognitive science/Computer science, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology
Abstract: Objective. To control a brain-computer interface (BCI) requires its user to attain neural self-regulation. This can be arduous, especially in motor imagery BCIs. Various training methods were proposed to assist users in accomplishing BCI control and increase performance, notably the use of biased feedback, i.e. motivating (non-realistic) representation of performance. However, benefits of biased feedback on performance and learning vary between users (e.g. depending on their initial level of BCI control) and remain speculative. To disentangle the speculations about what personality type, initial state and calibration performance (CP) could benefit from a biased feedback, we conduct an experiment (n=30 for 2 sessions). Methods. The feedback provided is either positively, negatively or not biased to each group (n=10). Results. Statistical analyses suggest that interactions between bias and: 1) workload, 2) anxiety, and 3) self-control significantly affect online performance. For instance, low initial workload paired with negative bias is associated to higher peak performances (86%) than without any bias (69%). High anxiety relates negatively to performance no matter the bias (60%), while low anxiety matches best with negative bias (76%). For low CP, learning rate (LR) increases with negative bias only short term (LR=2%) as during the second session it severely drops (LR=-1%). Conclusion. We unveil many interactions between said human factors and bias. Additionally, we confirm them and reveal even more by using prediction models. Significance. This paper can serve as guideline for designing biased feedback suitable for a personality type, state, and CP in order to maximize performance and learning.
Published: 2021

9. Guidelines to use Transfer Learning for Motor Imagery Detection: an experimental study

Author: Fabien Lotte, Laurent Bougrain, Pedro Rodrigues, Geoffrey Canron, Sébastien Rimbert, Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Psychologie Ergonomique et Sociale pour l'Expérience utilisateurs (PErSEUs), Université de Lorraine (UL), Modelling brain structure, function and variability based on high-field MRI data (PARIETAL), Service NEUROSPIN (NEUROSPIN), Université Paris-Saclay-Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay-Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, The author acknowledges the support of the French Agence Nationale de la Recherche (ANR) under reference ANR-19-CE33-0007 (Grasp-IT project), and the European Research Council with project BrainConquest (grant ERC-2016-STG-714567)., European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Service NEUROSPIN (NEUROSPIN), Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Bougrain, Laurent, and Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], Computer science, [SDV.IB.IMA]Life Sciences [q-bio]/Bioengineering/Imaging, 0206 medical engineering, 02 engineering and technology, Machine learning, computer.software_genre, Session (web analytics), Domain (software engineering), [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, Motor imagery, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Set (psychology), Reliability (statistics), Brain–computer interface, business.industry, Neural engineering, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, 020601 biomedical engineering, [SDV.IB.IMA] Life Sciences [q-bio]/Bioengineering/Imaging, Artificial intelligence, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Transfer of learning, business, computer, 030217 neurology & neurosurgery
Abstract: International audience; Brain-Computer Interfaces (BCI) based on Motor imagery (MI) shown promising results for motor recovery, intraoperative awareness detection or assistive technology control. However, they suffer from several limitations due to the high variability of electroencephalographic (EEG) signals, mainly lengthy and tedious calibration times usually required for each new day of use, and a lack of reliability for all users. Such problems can be addressed, to some extent, using transfer learning algorithms. However, the performance of such algorithms has been very variable so far, and when they can be safely used is still unclear. Therefore, in this article, we study the performance of various state-of-the-art Riemannian transfer learning algorithms on a MI-BCI database (30 users), for various conditions: 1) supervised and unsupervised transfer learning; 2) for various amount of available training EEG data for the target domain; 3) intra-session or inter-session transfer; 4) for both users with good and less good MI-BCI performances. From such experiments, we derive guidelines about when to use which algorithm. Re-centering the target data is effective as soon as a few samples of this target set are taken into account. This is true even for an intra-session transfer learning. Likewise, re-centering is particularly useful for subjects who have difficulty producing stable motor imagery from session to session.
Published: 2021

10. Long-Term BCI Training of a Tetraplegic User: Adaptive Riemannian Classifiers and User Training

Author: Benaroch, Camille, Sadatnejad, Khadijeh, Roc, Aline, Appriou, Aurélien, Monseigne, Thibaut, Pramij, Smeety, Mladenović, Jelena, Pillette, Léa, Jeunet, Camille, Lotte, Fabien, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Cognition, Langues, Langage, Ergonomie (CLLE), École Pratique des Hautes Études (EPHE), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT), The European Research Council with project BrainConquest (grant ERC-2016-STG-714567) and the French National Research Agency with project REBEL (grant ANR-15-CE23-0013-01) supported this work., ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Centre National de la Recherche Scientifique (CNRS)-École pratique des hautes études (EPHE)
Subjects: User experience, Riemannian classification, Learning metrics, [SCCO.NEUR]Cognitive science/Neuroscience, Tetraplegic or quadriplegic people, Electroencaphlography, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Adaptive classification, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SCCO.PSYC]Cognitive science/Psychology, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Brain computer interface, User training
Abstract: International audience; While often presented as promising assistive technologies for motor-impaired users, electroencephalography (EEG)-based Brain-Computer Interfaces (BCIs) remain barely used outside laboratories due to low reliability in real-life conditions. There is thus a need to design long-term reliable BCIs that can be used outside-of-the-lab by end-users, e.g., severely motor-impaired ones. Therefore, we propose and evaluate the design of a multi-class Mental Task (MT)-based BCI for longitudinal training (20 sessions over 3 months) of a tetraplegic user for the CYBATHLON BCI series 2019. In this BCI championship, tetraplegic pilots are mentally driving a virtual car in a racing video game. We aimed at combining a progressive user MT-BCI training with a newly designed machine learning pipeline based on adaptive Riemannian classifiers shown to be promising for real-life applications. We followed a two step training process: the first 11 sessions served to train the user to control a 2-class MT-BCIby performing either two cognitive tasks (REST and MENTAL SUBTRACTION) or two motor-imagery tasks (LEFT-HAND and RIGHT-HAND). The second training step (9 remaining sessions) applied an adaptive, session-independent Riemannian classifier that combined all 4 MT classes used before. Moreover, as our Riemannian classifier was incrementally updated in an unsupervised way it would capture both within and between-session non-stationarity. Experimental evidences confirm the effectiveness of this approach. Namely, the classification accuracy improved by about 30% at the end of the training compared to initial sessions. We also studied the neural correlates of this performance improvement. Using a newly proposed BCI user learning metric, we could show our user learned to improve his BCI control by producing EEG signals matching increasingly more the BCI classifier training data distribution, rather than by improving his EEG class discrimination. However, the resulting improvementwas effective only on synchronous (cue-based) BCI and it did not translate into improved CYBATHLON BCI game performances. For the sake of overcoming this in the future, we unveil possible reasons for these limited gaming performances and identify a number of promising future research directions. Importantly, we also report on the evolution of the user’s neurophysiological patterns and user experience throughout the BCI training and competition.
Published: 2021
Full Text: View/download PDF

11. Reliable outlier detection by spectral clustering on Riemannian manifold of EEG covariance matrix

Author: Yamamoto, Maria, Sadatnejad, Khadijeh, Islam, Md, Lotte, Fabien, Tanaka, Toshihisa, Lotte, Fabien, Tokyo University of Agriculture and Technology (TUAT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.INFO-BT] Computer Science [cs]/Biotechnology, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [INFO.INFO-CG] Computer Science [cs]/Computational Geometry [cs.CG], [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience; Introduction: Automatically identifying and rejecting artifact-contaminated trials is a key problem to design robust BCIs. Here, we propose a novel outlier detection method based on Riemannian Geometry (RG), a promising approach for BCI classification [1]. With RG, EEG signals are represented and processed as Sample Covariance Matrix (SCM), which is also known to reduce EEG artifacts influence. State-of-the-art outlier detection methods in RG include Riemannian Potato (RP) [2] and Median-Based Trimming (MBT) [3]. However, both suffer from the need of a threshold to determine outliers, and both always reject some samples as outliers, even when there is none. Thus, we propose Riemannian Spectral Clustering (RiSC), to detect outliers by clustering SCMs into non-outliers and outliers by similarity, without thresholds. Material, Methods and Results: First, RiSC computes the graph of SCMs similarities using the Riemannian distance between SCMs. Then, the graph nodes are clustered using spectral clustering [4], and all clusters except the most numerous one are rejected as outliers. We compared the classification accuracy of a Minimum Distance to Mean classifier [1] without outlier rejection (baseline) and after rejecting outliers from each class training data using RP, MBT and RiSC. We used EEG signals from 78 subjects from [5, 6], who performed right or left-hand motor imagery. The first two runs were used for training and the remaining runs for testing. Results showed no significant differences between methods (repeated measure ANOVA, p = 0.093). Mean classification accuracy (%) was 59.5±10.2, 59.8±10.1, 59.4±9.99 and 59.5±10.1 for the baseline, RiSC, RP and MBT respectively. Discussion: RiSC did not detect any outlier for most (68 out of 78) subjects. However, when it removed outliers, this increased accuracy for all but one subject (mean gain: 2.39 ± 2.24 %). On the other hand, RP and MBT detected outliers in all subjects, but this decreased accuracy for 46 and 34 out of 78 subjects respectively. Discussion: RiSC did not detect outlier for most subjects, which may suggest EEG contamination was already reduced using SCM. Thus, RiSC might be useful on more contaminated data. Contrary to RP and MBT, RiSC did not inadvertently reduce accuracy by rejecting clean data as outliers. Significance: Describing EEG as SCMs and detecting their outliers by spectral clustering seem to be a robust method that usually does not lead to inadvertent decrease in classification accuracy.
Published: 2021

12. Éducation et numérique, Défis et enjeux

Author: Gérard Giraudon, Pascal Guitton, Margarida Romero, Didier Roy, Thierry Viéville, Inria Siège, Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire d'Innovation et Numérique pour l'Education (LINE), Université Nice Sophia Antipolis (... - 2019) (UNS), COMUE Université Côte d'Azur (2015-2019) (COMUE UCA)-COMUE Université Côte d'Azur (2015-2019) (COMUE UCA)-Université Côte d'Azur (UCA), Flowing Epigenetic Robots and Systems (Flowers), Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Unité d'Informatique et d'Ingénierie des Systèmes (U2IS), École Nationale Supérieure de Techniques Avancées (ENSTA Paris)-École Nationale Supérieure de Techniques Avancées (ENSTA Paris), Ecole Polytechnique Fédérale de Lausanne (EPFL), Mnemonic Synergy (Mnemosyne), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut des Maladies Neurodégénératives [Bordeaux] (IMN), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-Centre National de la Recherche Scientifique (CNRS), Monteil, Alain, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université Nice Sophia Antipolis (1965 - 2019) (UNS)
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.EIAH] Computer Science [cs]/Technology for Human Learning, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SHS.EDU]Humanities and Social Sciences/Education, [SHS.EDU] Humanities and Social Sciences/Education, [INFO.INFO-GL]Computer Science [cs]/General Literature [cs.GL], [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-GL] Computer Science [cs]/General Literature [cs.GL], [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience; Ce document est le fruit d’un travail collectif qui a pour ambition d’analyser l’impact du numérique comme vecteur de transformation éducative, d’une part par la nécessité de la formation à la pensée computationnelle dans un monde devenu numérique et d’autre part par l’usage croissant des outils numériques. L’objectif était de présenter les défis et les enjeux notamment de souveraineté numérique et de respect de la vie privée, d’identifier des questions de recherche pour les sciences du numérique et de faire quelques recommandations. La crise liée à la pandémie de Covid-19 est survenue au moment de la finalisation de sa rédaction et bien entendu, nous nous sommes interrogés sur notre projet. Était-il toujours d’actualité ? Le contenu était-il toujours pertinent ? Quels ont été les usages et les limites du numérique pour soutenir la continuité pédagogique pendant la crise ? De nouvelles questions de recherche sont-elles posées ? Autant d’interrogations qui nous ont conduits à un travail supplémentaire de réflexion.Les livres blancs d'Inria examinent les grands défis actuels posés par le numérique et présentent les actions menées par nos équipes-projets pour les résoudre. Ils ont pour objectif de faire le point sur une problématique en précisant ses complexités, en détaillant les voies de recherches existantes ou en émergence et en décrivant les impacts sociétaux attendus et à prévoir.
Published: 2020

13. Grand Challenges in Neurotechnology and System Neuroergonomics

Author: Stephen H. Fairclough, Fabien Lotte, Liverpool John Moore University (ljmu), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), FL was partly supported by funding from the European Research Council with project BrainConquest (grant ERC-2016-STG-714567)., and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer science, [SHS.INFO]Humanities and Social Sciences/Library and information sciences, BF, ComputerApplications_COMPUTERSINOTHERSYSTEMS, fNIRS, Neurotechnologies, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, InformationSystems_GENERAL, [SCCO]Cognitive science, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Neurotechnology, Neuroergonomics, ComputingMilieux_COMPUTERSANDEDUCATION, 0501 psychology and cognitive sciences, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 050107 human factors, ComputingMilieux_MISCELLANEOUS, Brain–computer interface, Grand Challenges, Cognitive science, ComputingMilieux_THECOMPUTINGPROFESSION, [SCCO.NEUR]Cognitive science/Neuroscience, 05 social sciences, Human-computer interaction, ComputingMilieux_GENERAL, [SCCO.PSYC]Cognitive science/Psychology, RC0321, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Brain-computer interfaces, 030217 neurology & neurosurgery
Abstract: SPECIALTY GRAND CHALLENGE ARTICLE
Published: 2020
Full Text: View/download PDF

14. Modern machine learning algorithms to classify cognitive and affective states from electroencephalography signals

Author: Fabien Lotte, Aurélien Appriou, Andrzej Cichocki, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Nicolaus Copernicus University [Toruń], Hangzhou Dianzi University (HDU), This work was supported by the European Research Council (grant ERC-2016-STG-714567) and the Japanese Society for the Promotion of Science, European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer Networks and Communications, Computer science, Interface (computing), 0206 medical engineering, Emotions, [SCCO.COMP]Cognitive science/Computer science, Human Factors and Ergonomics, 02 engineering and technology, Electroencephalography, Machine learning, computer.software_genre, Affect (psychology), Convolutional neural network, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, Motor imagery, Deep Learning, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], medicine, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Riemannian geometry, Mental Workload, medicine.diagnostic_test, business.industry, Deep learning, Cognition, Brain-Computer Interfaces (BCI), 020601 biomedical engineering, Computer Science Applications, Human-Computer Interaction, Control and Systems Engineering, [SCCO.PSYC]Cognitive science/Psychology, Key (cryptography), Artificial intelligence, business, computer, Algorithm, 030217 neurology & neurosurgery
Abstract: International audience; Estimating cognitive or affective states from brain signals is a key but challenging step in the creation of passive brain-computer interface (BCI) applications. So far, estimating mental workload or emotions from EEG signals is only feasible with modest classification accuracies, thus leading to unreliable neuroadaptive applications. However, recent machine learning algorithms, notably Riemannian geometry based classifiers (RGC) and convolutional neural networks (CNN), have shown to be promising for other BCI systems, e.g., motor imagery-BCIs. However, they have not been formally studied and compared together for cognitive or affective states classification. This paper thus explores such machine learning algorithms, proposes new variants of them, and benchmarks them with classical methods to estimate both mental workload and affective states (Valence/Arousal) from EEG signals. We study these approaches with both subject-specific and subject-independent calibration, to go towards calibration-free systems. Our results suggested that a CNN obtained the highest mean accuracy, although not significantly so, in both conditions for the mental workload study, followed by RGCs. However, this same CNN underperformed in both conditions for the emotion data set, a data set with small training data. On the contrary, RGCs proved to have the highest mean accuracy with the Filter Bank Tangent Space classifier (FBTSC) we introduced in this paper. Our results thus contributed to improve the reliability of cognitive and affective states classification from EEG. They also provide guidelines about when to use which machine learning algorithm.
Published: 2020
Full Text: View/download PDF

15. EEG-based neuroergonomics for 3d user interfaces: opportunities and challenges

Author: Fabien Lotte, Jérémy Frey, Martin Hachet, Université de Bordeaux (UB), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Lotte, Fabien
Subjects: media_common.quotation_subject, Human Factors and Ergonomics, 02 engineering and technology, [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Human–computer interaction, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], 0202 electrical engineering, electronic engineering, information engineering, Neuroergonomics, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 050107 human factors, General Psychology, Applied Psychology, media_common, [INFO.INFO-MM] Computer Science [cs]/Multimedia [cs.MM], 05 social sciences, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, Art, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, Industrial relations, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], Humanities
Abstract: Les interfaces utilisateurs 3D sont utilisees dans un nombre croissant d’applications, qui vont du divertissement au design industriel. Cependant, les tâches d’interaction 3D sont en general plus complexes pour les utilisateurs etant-donne qu’il est plus demandeur au niveau cognitif d’interagir avec un environnement en 3D que de percevoir et d’interagir avec un environnement en 2D. Ainsi, il est essentiel que nous puissions finement evaluer l’experience utilisateur, afin de proposer des interfaces faciles d’utilisation. Pour ce faire, une direction de recherche prometteuse est de mesurer l’etat interne des utilisateurs via l’acquisition de signaux cerebraux pendant l’interaction, en suivant une approche neuroergonomique. Combine a des methodes existantes, un tel outil peut etre utilise pour ameliorer la comprehension de l’experience utilisateur. Dans cet article, nous passons en revue le travail qui est mene dans ce domaine ; ce qui a deja ete accompli et les challenges qui se font jour. Nous decrivons comment une technique d’imagerie cerebrale mobile telle que l’electroencephalographie (EEG) permet des mesures continues qui ne perturbent pas l’interaction. Une evaluation des utilisateurs centree sur l’EEG peut donner un apercu de multiples dimensions de l’experience utilisateur, avec des taches d’interaction realistes ou des interfaces novatrices. Nous etudions quatre construits : la charge mentale, l’attention, la reconnaissance d’erreur et le confort visuel. A terme, ces metriques pourraient aider a soulager les utilisateurs lorsqu’ils interagissent avec des ordinateurs.
Published: 2017
Full Text: View/download PDF

16. Educational technology - Special Issue of ERCIM News

Author: Katsouros, Vassilis, Hachet, Martin, Athena Research and Innovation Centre (ARC), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and Peter Kunz
Subjects: [INFO.INFO-CY]Computer Science [cs]/Computers and Society [cs.CY], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], ComputingMilieux_MISCELLANEOUS, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience
Published: 2020

17. Active inference as a unifying, generic and adaptive framework for a P300-based BCI

Author: Jérémie Mattout, Fabien Lotte, Jérémy Frey, Emmanuel Maby, Jelena Mladenović, Mateus Joffily, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Groupe d'analyse et de théorie économique (GATE Lyon Saint-Étienne), Centre National de la Recherche Scientifique (CNRS)-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université Lumière - Lyon 2 (UL2)-École normale supérieure - Lyon (ENS Lyon), Centre de recherche en neurosciences de Lyon (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), This work was financially supported by BCI-Lift Inria project, and the French National Research Agency (ANR-11-LABX-0042, ANR-11-IDEX-007 and ANR-18-CE28-0016).The data used in this study were acquired as part of the French ANR project ANR-DEFIS09-EMER-002 CoAdapt, ANR-11-IDEX-0007,Avenir L.S.E.,PROJET AVENIR LYON SAINT-ETIENNE(2011), ANR-18-CE28-0016,CausaL,Architectures cognitives de l'apprentissage causale(2018), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Groupe d'Analyse et de Théorie Economique Lyon - Saint-Etienne (GATE Lyon Saint-Étienne), École normale supérieure de Lyon (ENS de Lyon)-Université Lumière - Lyon 2 (UL2)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Centre National de la Recherche Scientifique (CNRS), Centre de recherche en neurosciences de Lyon - Lyon Neuroscience Research Center (CRNL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, École normale supérieure - Lyon (ENS Lyon)-Université Lumière - Lyon 2 (UL2)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Centre National de la Recherche Scientifique (CNRS), Dynamique Cérébrale et Cognition (DYCOG), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Université Claude Bernard Lyon 1 (UCBL), ANR-11-IDEX-0007-02/11-LABX-0042,CORTEX,Construction, Fonction Cognitive et Réhabilitation du Cerveau(2011), and ANR-18-CE28-0016,CAUSAL,COGNITIVE ARCHITECTURES OF CAUSAL LEARNING(2018)
Subjects: Adult, Male, Computer science, Interface (computing), 0206 medical engineering, Biomedical Engineering, Inference, Context (language use), 02 engineering and technology, Field (computer science), [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, Cellular and Molecular Neuroscience, Communication Aids for Disabled, Young Adult, 0302 clinical medicine, P300 speller, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Humans, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Adaptation (computer science), Flexibility (engineering), [SHS.STAT]Humanities and Social Sciences/Methods and statistics, business.industry, [SCCO.NEUR]Cognitive science/Neuroscience, Probabilistic logic, Brain-Computer Interfaces BCI, Electroencephalography, Signal Processing, Computer-Assisted, Electroencelography, 020601 biomedical engineering, Event-Related Potentials, P300, [INFO.INFO-MO]Computer Science [cs]/Modeling and Simulation, Brain-Computer Interfaces, Active inference, Female, Artificial intelligence, Error detection and correction, business, 030217 neurology & neurosurgery, Photic Stimulation
Abstract: International audience; Objective. Going adaptive is a major challenge for the field of Brain-Computer Interface (BCI). This entails a machine that optimally articulates inference about the user’s intentions and its own actions. Adaptation can operate over several dimensions which calls for a generic and flexible framework. Approach. We appeal to one of the most comprehensive computational approach to brain (adaptive) functions: the Active Inference (AI) framework. It entails an explicit (probabilistic) model of the user that the machine interacts with, here involved in a P300-spelling task. This takes the form of a discrete input-output state-space model establishing the link between the machine’s (i) observations – a P300 or Error Potential for instance, (ii) representations – of the user intentions to spell or pause, and (iii) actions – to flash, spell or switch-off the application. Main results. Using simulations with real EEG data from 18 subjects, results demonstrate the ability of AI to yield a significant increase in bitrate (17%) over state-of-the-art approaches, such as dynamic stopping. Significance. Thanks to its flexibility, this one model enables to implement optimal (dynamic) stopping but also optimal flashing (i.e. active sampling), automated error correction, and switching off when the user does not look at the screen anymore. Importantly, this approach enables the machine to flexibly arbitrate between all these possible actions. We demonstrate AI as a unifying and generic framework to implement a flexible interaction in a given BCI context.
Published: 2020
Full Text: View/download PDF

18. Redefining and Adapting Feedback for Mental-Imagery based Brain-Computer Interface User Training to the Learners’ Traits and States

Author: Léa Pillette, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux, Fabien Lotte, Bernard N'Kaoua, and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: Post-stroke motor rehabilitation, Interface Cerveau-Ordinateur, Brain-Computer Interface, Réhabilitation motrice post-AVC, Mental imagery, Imagerie mentale, Modalité de feedback, Modalities of feedback, Feedback, Emotional Feedback and social presence, Feedback émotionnel et présence sociale, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Attention, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC]
Abstract: Mental-Imagery based Brain-Computer Interfaces (MI-BCIs) present new opportunities to interact with digital technologies, such as neuroprostheses or videogames, only by performing mental imagery tasks, such as imagining an object rotating. The recognition of the command for the system is based on the analysis of the brain activity of the user. The users must learn to produce brain activity patterns that are recognizable by the system in order to control BCIs. However, current training protocols do not enable 10 to 30% of persons to acquire the skills required to use BCIs. The lack of robustness of BCIs limit the development of the technology outside of research laboratories. This thesis aims at investigating how the feedback provided throughout the training can be improved and adapted to the traits and states of the users. First, we investigate the role that feedback is currently given in MI-BCI applications and training protocols. We also analyse the theories and experimental contributions discussing its role and usefulness. Then, we review the different feedback that have been used to train MI-BCI users. We focus on three main characteristics of feedback, i.e., its content, its modality of presentation and finally its timing. For each of these characteristics, we reviewed the literature to assess which types of feedback have been tested and what is their impact on the training. We also analysed which traits or states of the learners were shown to influence BCI training outcome. Based on these reviews of the literature, we hypothesised that different characteristics of feedback could be leveraged to improve the training of the learners depending on either traits or states. We reported the results of our experimental contributions for each of the characteristics of feedback. Finally, we presented different recommendations and challenges regarding each characteristic of feedback. Potential solutions were proposed to meet these recommendations in the future.; Les interfaces cerveau-ordinateur basées sur l’imagerie mentale (MI-BCIs) offrent de nouvelles possibilités d’interaction avec les technologies numériques, telles que les neuroprothèses ou les jeux vidéo, uniquement en effectuant des tâches d’imagerie mentale, telles qu’imaginer d’un objet en rotation. La reconnaissance de la commande envoyée au système par l’utilisateur repose sur l’analyse de l’activité cérébrale de ce dernier. Les utilisateurs doivent apprendre à produire des patterns d’activité cérébrale reconnaissables par le système afin de contrôler les MI-BCIs. Cependant, les protocoles de formation actuels ne permettent pas à 10 à 30 % des personnes d’acquérir les compétences nécessaires pour utiliser les MI-BCIs. Ce manque de fiabilité des BCIs limite le développement de la technologie en dehors des laboratoires de recherche. Cette thèse a pour objectif d’examiner comment le feedback fourni tout au longde la formation peut être amélioré et adapté aux traits et aux états des utilisateurs. Dans un premier temps, nous examinons le rôle qui est actuellement donné au feedback dans les applications et les protocoles d’entraînement à l’utilisation des MI-BCIs. Nous analysons également les théories et les contributions expérimentales discutant de son rôle et de son utilité dans le processus d’apprentissage de contrôle de correlats neurophysiologiques. Ensuite, nous fournissons une analyse de l’utilité de différents feedback pour l’entraînement à l’utilisation des MI-BCIs. Nous nous concentrons sur trois caractéristiques principales du feedback, i.e., son contenu, sa modalité de présentation et enfin sa dimension temporelle. Pour chacune de ces caractéristiques, nous avons examiné la littérature afin d’évaluer quels types de feedback ont été testés et quel impact ils semblent avoir sur l’entraînement. Nous avons également analysé quels traits ou états des apprenants influaient sur les résultats de cet entraînement. En nous basant sur ces analyses de la littérature, nous avons émis l’hypothèse que différentes caractéristiques du feedback pourraient être exploitées afin d’améliorer l’entraînement en fonction des traits ou états des apprenants. Nous rapportons les résultats de nos contributions expérimentales pour chacune des caractéristiques du feedback. Enfin, nous présentons différentes recommandations et défis concernant chaque caractéristique du feedback. Des solutions potentielles sont proposées pour à l’avenir surmonter ces défis et répondre à ces recommandations.
Published: 2019

19. Redefining and Adapting Feedback for Mental-Imagery based Brain-Computer Interface User Training to the Learners’ Traits and States

Author: Pillette, Léa, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux, Fabien Lotte, Bernard N'Kaoua, Lotte, Fabien, N'Kaoua, Bernard, Mattia, Donatella, Pelachaud, Catherine, Lécuyer, Anatole, Coyle, Damien, and STAR, ABES
Subjects: Post-stroke motor rehabilitation, Interface Cerveau-Ordinateur, Brain-Computer Interface, Réhabilitation motrice post-AVC, Mental imagery, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], Imagerie mentale, Modalité de feedback, Modalities of feedback, Feedback, Emotional Feedback and social presence, Feedback émotionnel et présence sociale, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Attention, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC]
Abstract: Mental-Imagery based Brain-Computer Interfaces (MI-BCIs) present new opportunities to interact with digital technologies, such as neuroprostheses or videogames, only by performing mental imagery tasks, such as imagining an object rotating. The recognition of the command for the system is based on the analysis of the brain activity of the user. The users must learn to produce brain activity patterns that are recognizable by the system in order to control BCIs. However, current training protocols do not enable 10 to 30% of persons to acquire the skills required to use BCIs. The lack of robustness of BCIs limit the development of the technology outside of research laboratories. This thesis aims at investigating how the feedback provided throughout the training can be improved and adapted to the traits and states of the users. First, we investigate the role that feedback is currently given in MI-BCI applications and training protocols. We also analyse the theories and experimental contributions discussing its role and usefulness. Then, we review the different feedback that have been used to train MI-BCI users. We focus on three main characteristics of feedback, i.e., its content, its modality of presentation and finally its timing. For each of these characteristics, we reviewed the literature to assess which types of feedback have been tested and what is their impact on the training. We also analysed which traits or states of the learners were shown to influence BCI training outcome. Based on these reviews of the literature, we hypothesised that different characteristics of feedback could be leveraged to improve the training of the learners depending on either traits or states. We reported the results of our experimental contributions for each of the characteristics of feedback. Finally, we presented different recommendations and challenges regarding each characteristic of feedback. Potential solutions were proposed to meet these recommendations in the future., Les interfaces cerveau-ordinateur basées sur l’imagerie mentale (MI-BCIs) offrent de nouvelles possibilités d’interaction avec les technologies numériques, telles que les neuroprothèses ou les jeux vidéo, uniquement en effectuant des tâches d’imagerie mentale, telles qu’imaginer d’un objet en rotation. La reconnaissance de la commande envoyée au système par l’utilisateur repose sur l’analyse de l’activité cérébrale de ce dernier. Les utilisateurs doivent apprendre à produire des patterns d’activité cérébrale reconnaissables par le système afin de contrôler les MI-BCIs. Cependant, les protocoles de formation actuels ne permettent pas à 10 à 30 % des personnes d’acquérir les compétences nécessaires pour utiliser les MI-BCIs. Ce manque de fiabilité des BCIs limite le développement de la technologie en dehors des laboratoires de recherche. Cette thèse a pour objectif d’examiner comment le feedback fourni tout au longde la formation peut être amélioré et adapté aux traits et aux états des utilisateurs. Dans un premier temps, nous examinons le rôle qui est actuellement donné au feedback dans les applications et les protocoles d’entraînement à l’utilisation des MI-BCIs. Nous analysons également les théories et les contributions expérimentales discutant de son rôle et de son utilité dans le processus d’apprentissage de contrôle de correlats neurophysiologiques. Ensuite, nous fournissons une analyse de l’utilité de différents feedback pour l’entraînement à l’utilisation des MI-BCIs. Nous nous concentrons sur trois caractéristiques principales du feedback, i.e., son contenu, sa modalité de présentation et enfin sa dimension temporelle. Pour chacune de ces caractéristiques, nous avons examiné la littérature afin d’évaluer quels types de feedback ont été testés et quel impact ils semblent avoir sur l’entraînement. Nous avons également analysé quels traits ou états des apprenants influaient sur les résultats de cet entraînement. En nous basant sur ces analyses de la littérature, nous avons émis l’hypothèse que différentes caractéristiques du feedback pourraient être exploitées afin d’améliorer l’entraînement en fonction des traits ou états des apprenants. Nous rapportons les résultats de nos contributions expérimentales pour chacune des caractéristiques du feedback. Enfin, nous présentons différentes recommandations et défis concernant chaque caractéristique du feedback. Des solutions potentielles sont proposées pour à l’avenir surmonter ces défis et répondre à ces recommandations.
Published: 2019

20. Speed of rapid serial visual presentation of pictures, numbers and words affects event-related potential-based detection accuracy

Author: Phillippa Payne, Fabien Lotte, Damien Coyle, Liam Maguire, Stephanie Lees, Paul McCullagh, University of Ulster, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Male, Rapid serial visual presentation, Brain- Computer Interface, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], [SCCO]Cognitive science, 0302 clinical medicine, Protocol design, EEG, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, BCI, Evoked Potentials, Mathematics, General Neuroscience, 05 social sciences, Rehabilitation, Single type, brain-computer interface, Electroencephalography, Healthy Volunteers, Area Under Curve, Brain-Computer Interfaces, Calibration, Visual Perception, Female, electroencephalography, Adult, Biomedical Engineering, 050105 experimental psychology, Young Adult, 03 medical and health sciences, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Rapid Serial Visual Presentation, Event-related potential, Presentation duration, Internal Medicine, Humans, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], event related potentials, Event Related Potentials, Brain–computer interface, Receiver operating characteristic, business.industry, Reproducibility of Results, Pattern recognition, Multimodal image, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Artificial intelligence, business, Photic Stimulation, 030217 neurology & neurosurgery
Abstract: Rapid serial visual presentation (RSVP) based brain-computer interfaces (BCIs) can detect target images among a continuous stream of rapidly presented images, by classifying a viewer’s event related potentials (ERPs) associated with the target and non-targets images. Whilst the majority of RSVP-BCI studies to date have concentrated on the identification of a single type of image, namely pictures , here we study the capability of RSVP-BCI to detect three different target image types: pictures, numbers and words . The impact of presentation duration (speed) i.e., 100–200ms (5–10Hz), 200–300ms (3.3–5Hz) or 300–400ms (2.5–3.3Hz), is also investigated. 2-way repeated measure ANOVA on accuracies of detecting targets from non-target stimuli (ratio 1:9) measured via area under the receiver operator characteristics curve (AUC) for ${N}={15}$ subjects revealed a significant effect of factor Stimulus-Type ( pictures, numbers, words ) (F (2,28) = 7.243, ${p} = {0.003}$ ) and for Stimulus-Duration (F (2,28) = 5.591, p = 0.011). Furthermore, there is an interaction between stimulus type and duration: F (4,56) = 4.419, ${p} = {0.004}$ ). The results indicate that when designing RSVP-BCI paradigms, the content of the images and the rate at which images are presented impact on the accuracy of detection and hence these parameters are key experimental variables in protocol design and applications, which apply RSVP for multimodal image datasets.
Published: 2019
Full Text: View/download PDF

21. Inria Research & Development for the Cybathlon BCI series

Author: Lotte, Fabien, Clerc, Maureen, Appriou, Aurélien, Audino, Amandine, Benaroch, Camille, Giacalone, Pierre, Jeunet, Camille, Mladenović, Jelena, Monseigne, Thibaut, Papadopoulo, Théodore, Pillette, Léa, Roc, Aline, Sadatnejad, Khadijeh, Turi, Federica, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Computational Imaging of the Central Nervous System (ATHENA), Inria Sophia Antipolis - Méditerranée (CRISAM), Cognition, Langues, Langage, Ergonomie (CLLE), Centre National de la Recherche Scientifique (CNRS)-École pratique des hautes études (EPHE), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Université Toulouse - Jean Jaurès (UT2J), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Lotte, Fabien, Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance - Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle - - REBEL2015 - ANR-15-CE23-0013 - AAPG2015 - VALID, Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, École Pratique des Hautes Études (EPHE), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), and Université de Toulouse (UT)
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [SCCO]Cognitive science, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, ComputingMilieux_MISCELLANEOUS, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience
Published: 2019

22. Are users' traits informative enough to predict/explain their mental-imagery based BCI performances ?

Author: Camille Benaroch, Camille Jeunet, Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Cognition, Langues, Langage, Ergonomie (CLLE), Centre National de la Recherche Scientifique (CNRS)-École pratique des hautes études (EPHE), Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Université Toulouse - Jean Jaurès (UT2J), This work was supported by the European Research Council with project BrainConquest (grant ERC-2016-STG-714567), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, École Pratique des Hautes Études (EPHE), Université de Toulouse (UT)-Université de Toulouse (UT)-Centre National de la Recherche Scientifique (CNRS)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Université de Toulouse (UT)-Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT)-Université Toulouse III - Paul Sabatier (UT3), Université de Toulouse (UT), Benaroch, Camille, and Boosting Brain-Computer Communication with high Quality User Training - BrainConquest - - H2020 Pilier ERC2017-07-01 - 2022-06-30 - 714567 - VALID
Subjects: [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC]
Abstract: International audience; Mental-Imagery based Brain-Computer Interfaces (MI-BCIs) make use of brain signals produced during mental imagery tasks to control a computerised system. The current unreliability of MI-BCIs could be due, at least in part, to the use of inappropriate user-training procedures. In order to improve these procedures , it is necessary first to understand the mechanisms underlying MI-BCI user-training, notably through the identification of the factors influencing it. Thus, this paper aims at creating a statistical model that could explain/predict the performances of MI-BCI users using their traits (e.g., personality). We used the data of 42 participants (i.e., 180 MI-BCI sessions in total) collected from three different studies that were based on the same MI-BCI paradigm. We used machine learning regressions with a leave-one-subject-out cross validation to build different models. Our first results showed that using the users' traits only may enable the prediction of performances within one multiple-session experiment, but might not be sufficient to reliably predict MI-BCI performances across experiments.
Published: 2019

23. Design and preliminary study of a neurofeedback protocol to self-regulate an EEG marker of drowsiness

Author: Thibaut Monseigne, Fabien Lotte, Stéphanie Bioulac, Pierre Philip, Jean-Arthur Micoulaud-Franchi, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Sommeil, Attention et Neuropsychiatrie [Bordeaux] (SANPSY), Université de Bordeaux (UB)-CHU de Bordeaux Pellegrin [Bordeaux]-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Sommeil, Addiction et Neuropsychiatrie [Bordeaux] (SANPSY)
Subjects: [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SCCO.NEUR]Cognitive science/Neuroscience, [SCCO.COMP]Cognitive science/Computer science, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC]
Abstract: International audience; Neurofeedback (NF) consists in using electroencephalographic (EEG) measurements to guide users to perform a cognitive learning using information coming from their own brain activity, by means of a real-time sensory feedback (e.g., visual or auditory). Many NF approaches have been studied to improve atten-tional abilities, notably for attention deficit hyper activity disorder. However, to our knowledge, no NF solution has been proposed to specifically reduce drowsiness. Thus, we propose an EEG-NF solution to train users to self-regulate an EEG marker of drowsiness, and evaluate it with a preliminary study. Results with five healthy subjects showed that three of them could learn to self-regulate this EEG marker with a relatively short number of NF sessions (up to 8 sessions of 40 min). Clinical trials with sleep-deprived subjects should begin in 2019 to study possible cognitive and clinical benefits of this self-regulation. This NF solution implementation is available for free, with the OpenViBE platform, under the AGPL-3.0 license.; Le neurofeedback (NF) consiste à utiliser des mesures électroencéphalographiques (EEG) pour aider les utilisateurs à effectuer un apprentissage cognitif en utilisant des informations provenant de leur propre activité cérébrale, au moyen d'un retour sensoriel en temps réel (visuel ou auditif, par exemple). De nombreuses approches du NF ont été étudiées pour améliorer les capacités d'attention, notamment pour le trouble d'hyperactivité avec déficit de l'attention. Cependant, à notre connaissance, aucune solution de NF n'a été proposée pour réduire spécifiquement la somnolence. Ainsi, nous proposons une solution de NF-EEG pour former les utilisateurs à l’autorégulation d’un marqueur EEG de la somnolence et l’évaluer avec une étude préliminaire. Les résultats, avec cinq sujets sains, ont montré que trois d'entre eux pourraient apprendre à autoréguler ce marqueur EEG avec un nombre relativement court de séances de NF (jusqu'à 8 séances de 40 min). Les essais cliniques sur des sujets privés de sommeil devraient commencer en 2019 pour étudier les avantages cognitifs et cliniques possibles de cette autorégulation. Cette mise en œuvre de la solution de NF est disponible gratuitement, avec la plateforme OpenViBE, sous la licence AGPL-3.0.
Published: 2019

24. AI in the media and creative industries

Author: Baptiste Caramiaux, Fabien Lotte, Joost Geurts, Giuseppe Amato, Malte Behrmann, Frédéric Bimbot, Fabrizio Falchi, Ander Garcia, Jaume Gibert, Guillaume Gravier, Hadmut Holken, Hartmut Koenitz, Sylvain Lefebvre, Antoine Liutkus, Andrew Perkis, Rafael Redondo, Enrico Turrin, Thierry Viéville, Emmanuel Vincent, Laboratoire de Recherche en Informatique (LRI), Université Paris-Sud - Paris 11 (UP11)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS), Extreme Interaction (EX-SITU), Université Paris-Sud - Paris 11 (UP11)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Direction des Partenariats Européens et Internationaux (DPEI), Institut National de Recherche en Informatique et en Automatique (Inria), Consiglio Nazionale delle Ricerche [Pisa] (CNR PISA), bbw Hochschule, Parcimonie et Nouveaux Algorithmes pour le Signal et la Modélisation Audio (PANAMA), SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Inria Rennes – Bretagne Atlantique, VicomTech, Eurecat - Centro Tecnológico de Catalunya, Creating and exploiting explicit links between multimedia fragments (LinkMedia), MEDIA ET INTERACTIONS (IRISA-D6), Holken Consultants, University of the Arts Utrecht (HKU), Matter from Graphics (MFX), Department of Algorithms, Computation, Image and Geometry (LORIA - ALGO), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Inria Nancy - Grand Est, Scientific Data Management (ZENITH), Laboratoire d'Informatique de Robotique et de Microélectronique de Montpellier (LIRMM), Centre National de la Recherche Scientifique (CNRS)-Université de Montpellier (UM)-Centre National de la Recherche Scientifique (CNRS)-Université de Montpellier (UM)-Inria Sophia Antipolis - Méditerranée (CRISAM), Norwegian University of Science and Technology [Trondheim] (NTNU), Norwegian University of Science and Technology (NTNU), Federation of European Publishers (FEP), Mnemonic Synergy (Mnemosyne), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut des Maladies Neurodégénératives [Bordeaux] (IMN), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-Centre National de la Recherche Scientifique (CNRS), Speech Modeling for Facilitating Oral-Based Communication (MULTISPEECH), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Natural Language Processing & Knowledge Discovery (LORIA - NLPKD), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), New European Media (NEM), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Inria Siège, Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Algorithms, Computation, Image and Geometry (LORIA - ALGO), Université de Montpellier (UM)-Centre National de la Recherche Scientifique (CNRS)-Université de Montpellier (UM)-Centre National de la Recherche Scientifique (CNRS)-Inria Sophia Antipolis - Méditerranée (CRISAM), IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-CentraleSupélec-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Rennes (ENS Rennes)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-Inria Rennes – Bretagne Atlantique, Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Inria Nancy - Grand Est, Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL), CentraleSupélec-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), CentraleSupélec-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1)
Subjects: Media, [SHS.INFO]Humanities and Social Sciences/Library and information sciences, Inclusivity, News, [INFO.INFO-NE]Computer Science [cs]/Neural and Evolutionary Computing [cs.NE], GeneralLiterature_MISCELLANEOUS, [INFO.INFO-SI]Computer Science [cs]/Social and Information Networks [cs.SI], [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Video games, Creativity, [INFO.INFO-CY]Computer Science [cs]/Computers and Society [cs.CY], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Artificial Intelligence, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Diversity, Creative Economy, [SHS.ARCHI]Humanities and Social Sciences/Architecture, space management, [SHS.MUSIQ]Humanities and Social Sciences/Musicology and performing arts, Personalization, [INFO.INFO-WB]Computer Science [cs]/Web, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], [INFO.INFO-IA]Computer Science [cs]/Computer Aided Engineering, [SHS.ART]Humanities and Social Sciences/Art and art history, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], [INFO.INFO-TT]Computer Science [cs]/Document and Text Processing, Sound, [INFO.INFO-IR]Computer Science [cs]/Information Retrieval [cs.IR], [INFO.INFO-TI]Computer Science [cs]/Image Processing [eess.IV], Open Society, [INFO.INFO-SD]Computer Science [cs]/Sound [cs.SD], [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Music, Design
Abstract: Thanks to the Big Data revolution and increasing computing capacities, Artificial Intelligence (AI) has made an impressive revival over the past few years and is now omnipresent in both research and industry. The creative sectors have always been early adopters of AI technologies and this continues to be the case. As a matter of fact, recent technological developments keep pushing the boundaries of intelligent systems in creative applications: the critically acclaimed movie “Sunspring”, released in 2016, was entirely written by AI technology, and the first-ever Music Album, called “Hello World”, produced using AI has been released this year. Simultaneously, the exploratory nature of the creative process is raising important technical challenges for AI such as the ability for AI-powered techniques to be accurate under limited data resources, as opposed to the conventional “Big Data” approach, or the ability to process, analyse and match data from multiple modalities (text, sound, images, etc.) at the same time. The purpose of this white paper is to understand future technological advances in AI and their growing impact on creative industries. This paper addresses the following questions: Where does AI operate in creative Industries? What is its operative role? How will AI transform creative industries in the next ten years? This white paper aims to provide a realistic perspective of the scope of AI actions in creative industries, proposes a vision of how this technology could contribute to research and development works in such context, and identifies research and development challenges.
Published: 2019

25. Towards Measuring states of curiosity through Electroencephalography and body sensors responses

Author: Appriou, Aurélien, Ceha, Jessy, Law, Edith, Oudeyer, Pierre-Yves, Lotte, Fabien, Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), University of Waterloo [Waterloo], Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Flowing Epigenetic Robots and Systems (Flowers), and Inria Bordeaux - Sud-Ouest
Subjects: [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SCCO.NEUR]Cognitive science/Neuroscience, [SCCO.PSYC]Cognitive science/Psychology, ComputingMilieux_PERSONALCOMPUTING, [SCCO.COMP]Cognitive science/Computer science, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning
Abstract: International audience; The neurophysiological mechanisms underlying curiosity and intrinsic motivation are currently not well understood. However, being able to identify objectively, from neurophysiological signals, the curiosity level of a user, would bring a very useful tool both to neuroscientists and psychologists, to understand curiosity deeper, as well as to designers of human-computer interaction, in order to trigger curiosity or to adapt an interaction to the curiosity levels of its users. A first step to do that, is to collect neurophysiological signals during known states of curiosity, in order to develop signal processing/machine learning tools to recognize those states from such signals. We propose an experimental protocol, that has been designed but has not been tested so far, in order to measure both brain activity through Electroencephalography (EEG) and physiological responses (heart rate, skin conductance, Electrocardiogram) when subjects are induced into different states of curiosity. During the experiment, fun facts will be presented to subjects to induce different levels of curiosity. We obtained those fun facts using the Google functionality "I’m feeling curious" as well as crowdsourcing. A subject will be able to choose a fun fact that makes him curious, and push forward with a 4-to-10 questions chain on this theme. For each question on a given theme, a subject will be able to reveal the answer (interpreted as a curious state) or to skip it (interpreted as a non-curious state). Skipping an answer will automatically break the chain and will point the subject to the next fun fact. Neurophysiological signals will be collected between a question and the choice of revealing the answer. Then the subject will grade the question on a 1-to-7 curiosity level scale. Neurophysiological measures during these states of curiosity will be recorded and we expect to find biological markers of curiosity by analyzing such information.
Published: 2019

26. Design and Preliminary Study of a Neurofeedback Protocol to reduce Drowsiness

Author: Monseigne, Thibaut, Lotte, Fabien, Bioulac, Stéphanie, Micoulaud-Franchi, Jean-Arthur, Philip, Pierre, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Sommeil, Attention et Neuropsychiatrie [Bordeaux] (SANPSY), Université de Bordeaux (UB)-CHU de Bordeaux Pellegrin [Bordeaux]-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Sommeil, Addiction et Neuropsychiatrie [Bordeaux] (SANPSY), and Monseigne, Thibaut
Subjects: [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SCCO.COMP] Cognitive science/Computer science, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, [SCCO.NEUR]Cognitive science/Neuroscience, [SCCO.NEUR] Cognitive science/Neuroscience, [SCCO.COMP]Cognitive science/Computer science, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC]
Abstract: International audience; NeuroFeedback (NF) consists in using electroencephalographic (EEG) measurements to guide users to perform a cognitive learning using information coming from their own brain activity, by means of a real-time sensory feedback (e.g., visual or auditory)[4]. Many NF approaches have been studied to improve attentional abilities, notably for Attention Deficit Hy-peractivity Disorder [1, 2]. However, to our knowledge, no NF solution has been proposed to specifically reduce drowsiness. Thus, we propose a complete EEG-NF solution to train users to self-regulate an EEG marker of drowsiness. This marker is based on a ratio of beta over theta/alpha power in Cz electrode. In addition to this EEG marker of drowsiness, we also carefully selected and designed the duration, the sequencing, the objective evaluation metrics and the visual and audio feedback to use in for each NF session. Preliminary study with five healthy subjects showed that three of them could learn to self-regulate this EEG marker with a relatively short number of NF sessions (up to 8 sessions of 40 min). Clinical trials with sleep-deprived subjects are expected to begin in 2019 to study possible cognitive and clinical benefits of this self-regulation. The implementation of this NF solution is available for free 1 , with the OpenViBE platform [3], under the AGPL-3.0 license.
Published: 2019

27. Do experimenters have an influence on MI-BCI user training?

Author: Roc, Aline, Pillette, Léa, N'Kaoua, Bernard, Lotte, Fabien, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], ComputingMilieux_MISCELLANEOUS
Abstract: International audience
Published: 2019

28. Towards Adaptive Classification using Riemannian Geometry approaches in Brain-Computer Interfaces

Author: Fabien Lotte, Satyam Kumar, Florian Yger, Indian Institute of Technology Kanpur (IIT Kanpur), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (LAMSADE), Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), European Project: 714567 ,H2020 Pilier ERC,BrainConquest(2017), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Computer science, 0206 medical engineering, 02 engineering and technology, Riemannian geometry, Machine learning, computer.software_genre, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, symbols.namesake, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Remannian Geometry, BCI, Brain–computer interface, Index Terms-Remannian Geometry, business.industry, Adaptation strategies, 020601 biomedical engineering, symbols, Adaptive classifier, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], Artificial intelligence, business, Classifier (UML), computer, 030217 neurology & neurosurgery, Mental image
Abstract: International audience; The omnipresence of non-stationarity and noise in Electroencephalogram signals restricts the ubiquitous use of Brain-Computer interface. One of the possible ways to tackle this problem is to adapt the computational model used to detect and classify different mental states. Adapting the model will possibly help us to track the changes and thus reducing the effect of non-stationarities. In this paper, we present different adaptation strategies for state of the art Riemannian geometry based classifiers. The offline evaluation of our proposed methods on two different datasets showed a statistically significant improvement over baseline non-adaptive classifiers. Moreover, we also demonstrate that combining different (hybrid) adaptation strategies generally increased the performance over individual adaptation schemes. Also, the improvement in average classification accuracy for a 3-class mental imagery BCI with hybrid adaption is as high as around 17% above the baseline non-adaptive classifier.
Published: 2019

29. Brain–Computer Interface Contributions to Neuroergonomics

Author: Fabien Lotte, Raphaëlle N. Roy, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Institut Supérieur de l'Aéronautique et de l'Espace (ISAE-SUPAERO), Lotte, Fabien, Centre National de la Recherche Scientifique - CNRS (FRANCE), Ecole Nationale Supérieure d’Electronique, Informatique et Radiocommunications de Bordeaux - ENSEIRB (FRANCE), Institut National de la Recherche en Informatique et en Automatique - INRIA (FRANCE), Institut Supérieur de l'Aéronautique et de l'Espace - ISAE-SUPAERO (FRANCE), Université de Bordeaux 1 (FRANCE), Université de Bordeaux 2 - Victor Segalen (FRANCE), Département Conception et conduite des véhicules Aéronautiques et Spatiaux - DCAS (Toulouse, France), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], Brain-Computer Interface, Computer science, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, 0206 medical engineering, Feature extraction, Stereoscopy, 02 engineering and technology, law.invention, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, [SCCO]Cognitive science, 0302 clinical medicine, [STAT.AP] Statistics [stat]/Applications [stat.AP], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, law, Human–computer interaction, [INFO.INFO-ET] Computer Science [cs]/Emerging Technologies [cs.ET], Neuroergonomics, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Adaptation (computer science), Video game, Brain–computer interface, Signal processing, [STAT.AP]Statistics [stat]/Applications [stat.AP], Neurosciences, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, 020601 biomedical engineering, Cockpit, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 030217 neurology & neurosurgery
Abstract: International audience; Brain-Computer Interfaces (BCIs) are systems that can translate brain activity patterns into messages or commands for an interactive application. As such the technology used to design them, and in particular to design passive BCIs which are a new means to perform mental state monitoring, can greatly benefit the neuroergonomics field. Therefore, this chapter describes the classical structure of the brain signal processing chain employed in BCIs, notably presenting the typically used preprocessing (spatial and spectral filtering, artefact removal), feature extraction and classification algorithms. It also gives examples of the use of BCI technology for neuroergonomics applications, either offline for evaluation purposes (e.g. cockpit design or stereoscopic displays’ assessment), or online for adaptation purposes (e.g. video game difficulty level or air traffic controller display adaptation).
Published: 2019

30. Neural Mechanisms of Social Emotion Perception: An EEG Hyper-Scanning Study

Author: Gaochao Cui, Andrzej Cichocki, Changle Zhou, Fabien Lotte, Li Zhu, Junhua Li, Xiamen University, RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Saitama Institute of Technology, National University of Singapore (NUS), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Nicolaus Copernicus University [Toruń], Hangzhou Dianzi University (HDU), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: genetic structures, medicine.diagnostic_test, [SCCO.NEUR]Cognitive science/Neuroscience, 05 social sciences, Significant difference, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], Neurophysiology, Electroencephalography, Stimulus (physiology), 050105 experimental psychology, Phase locking, N400, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Event-related potential, Emotion perception, medicine, 0501 psychology and cognitive sciences, Psychology, psychological phenomena and processes, 030217 neurology & neurosurgery, Cognitive psychology
Abstract: International audience; EEG-based hyper-scanning refers to two or more subjects engaged in a task together or performing the same action together while neurophysiological signals are simultaneously recorded from them. This is one of the manners for investigating between-subject neural activities involved in social interactions. Emotion perception plays an important role in human social interactions. Interaction and emotional state influence each other. In this study, we aim to investigate how between-subject interaction modulates emotion perception based on event related potentials (ERPs), connectivity analysis and classification analysis. We found that there are distinct differences appearing between paired subjects who performed the task together, which are early ERP components (N250 and N400), late ERP components (P1500 and N1500), and the greater amplitude in N250 for the seconding responding subject compared to the first one. In the exploration of connectivity using phase locking value (PLV), we found that there are significant differences among different frequency bands for each subject under positive and negative stimuli and the significant difference of hyper-connectivity existed in the gamma frequency band between positive and negative stimulus trials. In the classification analysis, we compared the hyper-features for two individual subjects separately, the performance was improved when hyper-features of the PLV was employed compared to the features of power spectrum density.
Published: 2018
Full Text: View/download PDF

31. Detection and Estimation of Working Memory States and Cognitive Functions Based on Neurophysiological Measures

Author: Christian Mühl, Fabien Lotte, Christian Herff, Felix Putze, Stephen H. Fairclough, University of Bremen, German Aerospace Center (DLR), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Liverpool John Moores University (LJMU), Maastricht University [Maastricht], RS: MHeNs - R3 - Neuroscience, Neurochirurgie, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: cognitive functions, Computer science, Electroencephalography, lcsh:RC321-571, 03 medical and health sciences, Behavioral Neuroscience, 0302 clinical medicine, BCI (brain computer interface), [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, medicine, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], EEG, Bci brain computer interface, lcsh:Neurosciences. Biological psychiatry. Neuropsychiatry, ComputingMilieux_MISCELLANEOUS, 050107 human factors, Biological Psychiatry, working memory - long-term memory interactions, Estimation, medicine.diagnostic_test, Working memory, [SCCO.NEUR]Cognitive science/Neuroscience, 05 social sciences, Cognition, General Medicine, Neurophysiology, Psychiatry and Mental health, Neuropsychology and Physiological Psychology, Editorial, Neurology, Working memory-long-term memory interactions, fNIRS (functional near infrared spectroscopy), [SCCO.PSYC]Cognitive science/Psychology, 030217 neurology & neurosurgery, cognitive processes, Cognitive psychology, Neuroscience
Abstract: International audience
Published: 2018
Full Text: View/download PDF

32. Monitoring auditory attention with a 6 dry-electrode EEG system in real flight conditions

Author: Fabien Lotte, Frédéric Dehais, Sébastien Scannella, Raphaëlle N. Roy, Alban Duprès, Institut Supérieur de l'Aéronautique et de l'Espace (ISAE-SUPAERO), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Lotte, Fabien, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: medicine.medical_specialty, Computer science, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, Audiology, 050105 experimental psychology, 03 medical and health sciences, Behavioral Neuroscience, [SCCO]Cognitive science, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Auditory attention, medicine, 0501 psychology and cognitive sciences, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Electrode eeg, Biological Psychiatry, ComputingMilieux_MISCELLANEOUS, 05 social sciences, [SCCO] Cognitive science, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], Psychiatry and Mental health, Neuropsychology and Physiological Psychology, Neurology, [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], 030217 neurology & neurosurgery
Abstract: International audience
Published: 2018

33. Towards Artificial Learning Companions for Mental Imagery-based Brain-Computer Interfaces

Author: Léa Pillette, Camille Jeunet, Kambou, Roger N., Kaoua, Bernard N., Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Institut Polytechnique de Bordeaux (Bordeaux INP), Chair in Brain-Machine Interface [Geneva] (CNBI), Ecole Polytechnique Fédérale de Lausanne (EPFL), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Laboratoire de recherche en Gestion, Diffusion et Acquisition des Connaissances (Laboratoire GDAC), Université du Québec à Montréal = University of Québec in Montréal (UQAM), Technologie des langages de programmation pour les services de communication (PHOENIX-POST), Inria Bordeaux - Sud-Ouest, Laboratoire Handicap Activité Cognition et Système Nerveux (HACS), Université de Bordeaux (UB), Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique)
Subjects: FOS: Computer and information sciences, Brain-Computer Interface, Learning Companion, Computer Science - Human-Computer Interaction, Social Feedback, Affective Feedback, Human-Computer Interaction (cs.HC), ACM: K.: Computing Milieux/K.3: COMPUTERS AND EDUCATION/K.3.1: Computer Uses in Education, [SCCO]Cognitive science, ACM: D.: Software/D.2: SOFTWARE ENGINEERING/D.2.2: Design Tools and Techniques/D.2.2.12: User interfaces, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, ACM: H.: Information Systems/H.3: INFORMATION STORAGE AND RETRIEVAL/H.3.3: Information Search and Retrieval/H.3.3.3: Relevance feedback, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Affective Feed-back
Abstract: International audience; Mental Imagery based Brain-Computer Interfaces (MI-BCI) enable their users to control an interface, e.g., a prosthesis, by performing mental imagery tasks only, such as imagining a right arm movement while their brain activity is measured and processed by the system. Designing and using a BCI requires users to learn how to produce different and stable patterns of brain activity for each of the mental imagery tasks. However, current training protocols do not enable every user to acquire the skills required to use BCIs. These training protocols are most likely one of the main reasons why BCIs remain not reliable enough for wider applications outside research laboratories. Learning companions have been shown to improve training in different disciplines, but they have barely been explored for BCIs so far. This article aims at investigating the potential benefits learning companions could bring to BCI training by improving the feedback, i.e., the information provided to the user, which is primordial to the learning process and yet have proven both theoretically and practically inadequate in BCI. This paper first presents the potentials of BCI and the limitations of current training approaches. Then, it reviews both the BCI and learning companion literature regarding three main characteristics of feedback: its appearance, its social and emotional components and its cognitive component. From these considerations, this paper draws some guidelines, identify open challenges and suggests potential solutions to design and use learning companions for BCIs.; Les interfaces cerveau-ordinateur (ICO) exploitant l'imagerie men-tale permettent à leurs utilisateurs d'envoyer des commandes à une interface, une prothèse par exemple, uniquement en réalisant des tâches d'imagerie mentale, tel qu'imaginer son bras droit bouger. Lors de la réalisation de ces tâches, l'activité cérébrale des utilisa-teurs est enregistrée et analysée par le système. Afin de pouvoir utiliser ces interfaces, les utilisateurs doivent apprendre à produire différents motifs d'activité cérébrale stables pour chacune des tâches d'imagerie mentale. Toutefois, les protocoles d'entraînement ex-istants ne permettent pas à tous les utilisateurs de maîtriser les compétences nécessaires à l'utilisation des ICO. Ces protocoles d'entraînements font très probablement partie des raisons princi-pales pour lesquelles les ICO manquent de fiabilité et ne sont pas plus utilisées en dehors des laboratoires de recherche. Or, les com-pagnons d'apprentissage, qui ont déjà permis d'améliorer l'efficacité d'apprentissage pour différentes disciplines, sont encore à peine étudiés pour les ICO. L'objectif de cet article est donc d'explorer les différents avantages qu'ils pourraient apporter à l'entraînement aux ICO en améliorant le retour fait à l'utilisateur, c'est-à-dire les informations fournies concernant la tâche. Ces dernières sont pri-mordiales à l'apprentissage et pourtant, il a été montré qu'à la fois théoriquement et en pratique ces dernières étaient inadéquates. Tout d'abord, seront présentés dans l'article les potentiels des ICO et les limitations des protocoles d'entraînement actuels. Puis, une revue de la littérature des ICO ainsi que des compagnons d'apprentissage est réalisée concernant trois caractéristiques principales du retour utilisateur, c'est-à-dire son apparence, ses composantes sociale et émotionnelle et enfin sa composante cognitive. À partir de ces considérations, ce papier fournit quelques recommandations, iden-tifie des défis à relever et suggère des solutions potentielles pour concevoir et utiliser des compagnons d'apprentissage en ICO.
Published: 2018

34. BCPy, an open-source python platform for offline EEG signals decoding and analysis

Author: Appriou, Aurélien, Pillette, Léa, Cichocki, Andrzej, Lotte, Fabien, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Japanese Society for the Promotion of Science and the European Research Council (grant ERC-2016-STG-714567), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [INFO.INFO-SE]Computer Science [cs]/Software Engineering [cs.SE], ComputingMilieux_MISCELLANEOUS, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience
Published: 2018

35. Can transfer learning across motor tasks improve motor imagery BCI?

Author: Lotte, Fabien, Cichocki, Andrzej, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SCCO.NEUR]Cognitive science/Neuroscience, ComputingMilieux_MISCELLANEOUS, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience
Published: 2018

36. Defining and quantifying users' mental imagery-based BCI skills: a first step

Author: Camille Jeunet, Fabien Lotte, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Chair in Brain-Machine Interface [Geneva] (CNBI), Ecole Polytechnique Fédérale de Lausanne (EPFL), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), and Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique)
Subjects: Imagery, Psychotherapy, Computer science, 0206 medical engineering, Biomedical Engineering, 02 engineering and technology, Matlab code, Electroencephalography, Machine learning, computer.software_genre, [INFO.INFO-CG]Computer Science [cs]/Computational Geometry [cs.CG], Eeg patterns, 03 medical and health sciences, Cellular and Molecular Neuroscience, [SCCO]Cognitive science, 0302 clinical medicine, InformationSystems_MODELSANDPRINCIPLES, Eeg data, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, medicine, Humans, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Brain–computer interface, Training set, medicine.diagnostic_test, business.industry, 020601 biomedical engineering, Brain-Computer Interfaces, Imagination, [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, Artificial intelligence, business, computer, Classifier (UML), 030217 neurology & neurosurgery, Psychomotor Performance, Mental image
Abstract: International audience; Objective: While promising for many applications, Electroencephalography (EEG)-based Brain-Computer Interfaces (BCIs) are still scarcely used outside laboratories , due to a poor reliability. It is thus necessary to study and fix this reliability issue. Doing so requires the use of appropriate reliability metrics to quantify both the classification algorithm and the BCI user's performances. So far, Classification Accuracy (CA) is the typical metric used for both aspects. However, we argue in this paper that CA is a poor metric to study BCI users' skills. Here, we propose a definition and new metrics to quantify such BCI skills for Mental Imagery (MI) BCIs, independently of any classification algorithm. Approach: We first show in this paper that CA is notably unspecific, discrete, training data and classifier dependent, and as such may not always reflect successful self-modulation of EEG patterns by the user. We then propose a definition of MI-BCI skills that reflects how well the user can self-modulate EEG patterns, and thus how well he could control an MI-BCI. Finally, we propose new performance metrics, classDis, restDist and classStab that specifically measure how distinct and stable the EEG patterns produced by the user are, independently of any classifier. Main results: By re-analyzing EEG data sets with such new metrics, we indeed confirmed that CA may hide some increase in MI-BCI skills or hide the user inability to self-modulate a given EEG pattern. On the other hand, our new met-rics could reveal such skill improvements as well as identify when a mental task performed by a user was no different than rest EEG. Significance: Our results showed that when studying MI-BCI users' skills, CA should be used with care, and complemented with metrics such as the new ones proposed. Our results also stressed the need to redefine BCI user training by considering the different BCI subskills and their measures. To promote the complementary use of our new metrics, we provide the Matlab code to compute them for free and open-source.
Published: 2018
Full Text: View/download PDF

37. Analysis and classification of learning-related mental states in EEG signals

Author: Appriou, Aurélien, Lotte, Fabien, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, and Lotte, Fabien
Subjects: [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [SCCO]Cognitive science, [INFO.EIAH] Computer Science [cs]/Technology for Human Learning, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], [SCCO] Cognitive science, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
Abstract: International audience; Although promising, BCIs are still barely used outside laboratories due to their poor robustness. Moreover, they are sensitive to noise, outliers and the non-stationarity of electroencephalographic (EEG) signals. This lack of robustness is notably due to inefficiencies in different steps of the BCI process, going along data acquisition, signal processing, and classification. We propose two distinct approaches, both aiming at improving a particular step of this BCI process. The first approach focuses on signal processing and classification methods: choosing the best algorithm for decoding signals requires multiple scripts, resources and time. We propose BCPy, an open-source python platform for offline EEG decoding, that contains many tools for EEG signals decoding. BCPy comprises four main independent modules: 1) reading different EEG data formats, e.g. ".gdf", " .mat" and " .pkl"; 2) filtering and representing EEG signals, e.g., Common Spatial Pattern (CSP) or Filter Bank CSP (FBCSP), mutual information feature selection; 3) classifying EEG signals, e.g. Linear Discriminant Analysis (LDA), Riemannian Geometry or Convolutional Neural Network (CNN); 4) visualizing statistics on the analysis results. All algorithm examples mentioned above are already implemented. Each module can be used independently. Moreover, BCPy has a jupyter notebook GUI, allowing users to test and compare algorithms with various parameters on their data, without any programming. The second approach focuses on BCIs protocols: a better understanding of human learning-related mental states could lead to a personalized training for each subject, possibly improving BCI reliability altogether. We analyzed two main learning-related mental states: workload and attention, and are currently focusing on new one: emotions. We have been using BCPy's machine learning tools to estimate such states from EEG signals in these three studies.
Published: 2018

38. A Review of Classification Algorithms for EEG-based Brain-Computer Interfaces: A 10-year Update

Author: Florian Yger, Laurent Bougrain, Alain Rakotomamonjy, Andrzej Cichocki, Fabien Lotte, Maureen Clerc, Marco Congedo, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), RIKEN Center for Brain Science [Wako] (RIKEN CBS), RIKEN - Institute of Physical and Chemical Research [Japon] (RIKEN), Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Skolkovo Institute of Science and Technology [Moscow] (Skoltech), Nicolaus Copernicus University [Toruń], Computational Imaging of the Central Nervous System (ATHENA), Inria Sophia Antipolis - Méditerranée (CRISAM), GIPSA - Vision and Brain Signal Processing (GIPSA-VIBS), Département Images et Signal (GIPSA-DIS), Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Equipe Apprentissage (DocApp - LITIS), Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes (LITIS), Université Le Havre Normandie (ULH), Normandie Université (NU)-Normandie Université (NU)-Université de Rouen Normandie (UNIROUEN), Normandie Université (NU)-Institut national des sciences appliquées Rouen Normandie (INSA Rouen Normandie), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA)-Université Le Havre Normandie (ULH), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA), Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (LAMSADE), Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS), Université Paris sciences et lettres (PSL), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut national des sciences appliquées Rouen Normandie (INSA Rouen Normandie), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Université de Rouen Normandie (UNIROUEN), Normandie Université (NU)-Université Le Havre Normandie (ULH), and Normandie Université (NU)
Subjects: Signal processing, Time Factors, Computer science, Feature extraction, Biomedical Engineering, 02 engineering and technology, Adaptive classifiers, Tensors, Machine learning, computer.software_genre, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, Cellular and Molecular Neuroscience, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], 0202 electrical engineering, electronic engineering, information engineering, Animals, Humans, EEG, Riemannian geometry, BCI, Brain–computer interface, Spatial filtering, business.industry, Deep learning, Brain, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], Signal Processing, Computer-Assisted, Electroencephalography, Linear discriminant analysis, Classification, Random forest, Transfer learning, Statistical classification, ComputingMethodologies_PATTERNRECOGNITION, Brain-Computer Interfaces, 020201 artificial intelligence & image processing, Artificial intelligence, business, Transfer of learning, computer, Classifier (UML), [SPI.SIGNAL]Engineering Sciences [physics]/Signal and Image processing, Algorithms, 030217 neurology & neurosurgery
Abstract: International audience; Objective: Most current Electroencephalography (EEG)-based Brain-Computer Interfaces (BCIs) are based on machine learning algorithms. There is a large diversity of classifier types that are used in this field, as described in our 2007 review paper. Now, approximately 10 years after this review publication, many new algorithms have been developed and tested to classify EEG signals in BCIs. The time is therefore ripe for an updated review of EEG classification algorithms for BCIs. Approach: We surveyed the BCI and machine learning literature from 2007 to 2017 to identify the new classification approaches that have been investigated to design BCIs. We synthesize these studies in order to present such algorithms, to report how they were used for BCIs, what were the outcomes, and to identify their pros and cons. Main results: We found that the recently designed classification algorithms for EEG-based BCIs can be divided into four main categories: adaptive classifiers, matrix and tensor classifiers, transfer learning and deep learning, plus a few other miscellaneous classifiers. Among these, adaptive classifiers were demonstrated to be generally superior to static ones, even with unsupervised adaptation. Transfer learning can also prove useful although the benefits of transfer learning remain unpredictable. Riemannian geometry-based methods have reached state-of-the-art performances on multiple BCI problems and deserve to be explored more thoroughly, along with tensor-based methods. Shrinkage linear discriminant analysis and random forests also appear particularly useful for small training samples settings. On the other hand, deep learning methods have not yet shown convincing improvement over state-of-the-art BCI methods. Significance: This paper provides a comprehensive overview of the modern classification algorithms used in EEG-based BCIs, presents the principles of these Review of Classification Algorithms for EEG-based BCI 2 methods and guidelines on when and how to use them. It also identifies a number of challenges to further advance EEG classification in BCI.
Published: 2018
Full Text: View/download PDF

39. Scientific and Technical Prospects

Author: Jean-Marie Normand, Caroline Baillard, Gaël Seydoux, Fabien Lotte, Philippe Guillotel, Anatole Lécuyer, Nicolas Mollet, Visual Geometry Group (VGG), University of Oxford [Oxford], Technicolor R & I [Cesson Sévigné], Technicolor, 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), École Centrale de Nantes (ECN), Centre de recherche nantais Architectures Urbanités (CRENAU), Ambiances, Architectures, Urbanités (AAU ), École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-Ministère de la Culture et de la Communication (MCC)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN), University of Oxford, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS)-École Centrale de Nantes (ECN)-École nationale supérieure d'architecture de Nantes (ENSA Nantes)-École nationale supérieure d'architecture de Grenoble (ENSAG)-Ministère de la Culture et de la Communication (MCC)-Centre National de la Recherche Scientifique (CNRS)
Subjects: Computer science, media_common.quotation_subject, User perception, Illusion, [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM], 020207 software engineering, 02 engineering and technology, Virtual reality, Field (computer science), [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Entertainment, 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Human–computer interaction, Perception, 0202 electrical engineering, electronic engineering, information engineering, [INFO.INFO-ET]Computer Science [cs]/Emerging Technologies [cs.ET], [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, 030217 neurology & neurosurgery, media_common
Abstract: International audience; This chapter offers a view of future technical and scientific prospects, related to major evolutions in use. It explains the impact of technological advances on applications in the entertainment field and, more generally, on the use of VR‐AR by the general public. The chapter then discusses the potential of brain‐computer interactions (BCI). It explains the working principle of BCIs and analyzes the possibilities opened up by alternative perception mechanisms for interactions in virtual reality (VR). The chapter looks at how user perceptions can be altered in VR using pseudo‐sensory feedback. Finally, it shows that it is possible to generate illusions of movement for an immobile user by altering their movement in VR, and thus overcoming the current limitations of VR technology related to movement in the VE.
Published: 2018
Full Text: View/download PDF

40. Signal Processing Approaches to Minimize or Suppress Calibration Time in Oscillatory Activity-Based Brain–Computer Interfaces

Author: Fabien Lotte, Lotte, Fabien, Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, Computer science, Calibration (statistics), 02 engineering and technology, Electroencephalography, Machine learning, computer.software_genre, Index Terms—Brain-Computer Interfaces (BCI), Regularization (mathematics), 03 medical and health sciences, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], 0202 electrical engineering, electronic engineering, information engineering, medicine, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Electrical and Electronic Engineering, signal processing, Brain–computer interface, Signal processing, Training set, medicine.diagnostic_test, business.industry, ElectroEncephaloGraphy (EEG), [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], calibration, [STAT.ML] Statistics [stat]/Machine Learning [stat.ML], small sample settings, machine learning, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, A priori and a posteriori, Signal processing algorithms, 020201 artificial intelligence & image processing, Artificial intelligence, business, computer, 030217 neurology & neurosurgery
Abstract: International audience; One of the major limitations of Brain-Computer Interfaces (BCI) is their long calibration time, which limits their use in practice, both by patients and healthy users alike. Such long calibration times are due to the large between-user variability and thus to the need to collect numerous training electroencephalography (EEG) trials for the machine learning algorithms used in BCI design. In this paper, we first survey existing approaches to reduce or suppress calibration time, these approaches being notably based on regularization, user-to-user transfer, semi-supervised learning and a-priori physiological information. We then propose new tools to reduce BCI calibration time. In particular, we propose to generate artificial EEG trials from the few EEG trials initially available, in order to augment the training set size. These artificial EEG trials are obtained by relevant combinations and distortions of the original trials available. We propose 3 different methods to do so. We also propose a new, fast and simple approach to perform user-to-user transfer for BCI. Finally, we study and compare offline different approaches, both old and new ones, on the data of 50 users from 3 different BCI data sets. This enables us to identify guidelines about how to reduce or suppress calibration time for BCI.
Published: 2015
Full Text: View/download PDF

41. Neurofeedback: One of today's techniques in psychiatry?

Author: M Le-Van-Quyen, François-Benoît Vialatte, Fabien Lotte, Diane Purper-Ouakil, Dominique Drapier, Renaud Jardri, Stéphanie Bioulac, Marco Congedo, J A Micoulaud-Franchi, Thomas Fovet, David M. A. Mehler, C. Daudet, Martijn Arns, J-M Batail, Utrecht University [Utrecht], Centre Hospitalier Guillaume Régnier [Rennes], Comportement et noyaux gris centraux = Behavior and Basal Ganglia [Rennes], CHU Pontchaillou [Rennes]-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Université européenne de Bretagne - European University of Brittany (UEB)-Institut des Neurosciences Cliniques de Rennes (INCR), Sommeil, Attention et Neuropsychiatrie [Bordeaux] (SANPSY), Université de Bordeaux (UB)-CHU de Bordeaux Pellegrin [Bordeaux]-Centre National de la Recherche Scientifique (CNRS), GIPSA - Vision and Brain Signal Processing (GIPSA-VIBS), Département Images et Signal (GIPSA-DIS), Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Université de Bordeaux (UB), Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille), Sciences Cognitives et Sciences Affectives (SCALab) - UMR 9193 (SCALab), Université de Lille-Centre National de la Recherche Scientifique (CNRS), Institut du Cerveau et de la Moëlle Epinière = Brain and Spine Institute (ICM), Institut National de la Santé et de la Recherche Médicale (INSERM)-CHU Pitié-Salpêtrière [AP-HP], Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Sorbonne Université (SU)-Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Sorbonne Université (SU)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), School of Psychology [Cardiff University], Cardiff University, University of Münster, Analyse Phenotypique, Developpementale et Genetique des Comportements Addictifs, Institut National de la Santé et de la Recherche Médicale (INSERM)-Université Paris Diderot - Paris 7 (UPD7), Centre de Recherche Saint-Antoine (CR Saint-Antoine), Sorbonne Université (SU)-Institut National de la Santé et de la Recherche Médicale (INSERM)-CHU Saint-Antoine [AP-HP], Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Sorbonne Université (SU)-Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Sorbonne Université (SU), Ecole Superieure de Physique et de Chimie Industrielles de la Ville de Paris (ESPCI Paris), Université Paris sciences et lettres (PSL), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), Université de Rennes (UR)-Université européenne de Bretagne - European University of Brittany (UEB)-CHU Pontchaillou [Rennes]-Institut des Neurosciences Cliniques de Rennes = Institute of Clinical Neurosciences of Rennes (INCR), Sommeil, Addiction et Neuropsychiatrie [Bordeaux] (SANPSY), Laboratoire Sciences Cognitives et Sciences Affectives - UMR 9193 (SCALab), Institut du Cerveau = Paris Brain Institute (ICM), Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Institut National de la Santé et de la Recherche Médicale (INSERM)-CHU Pitié-Salpêtrière [AP-HP], Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Sorbonne Université (SU)-Sorbonne Université (SU)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Westfälische Wilhelms-Universität Münster = University of Münster (WWU), Université Paris Diderot - Paris 7 (UPD7)-Institut National de la Santé et de la Recherche Médicale (INSERM), Centre de Recherche Saint-Antoine (CRSA), Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Sorbonne Université (SU), Université de Rennes 1 (UR1), and Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Université européenne de Bretagne - European University of Brittany (UEB)-CHU Pontchaillou [Rennes]-Institut des Neurosciences Cliniques de Rennes (INCR)
Subjects: TREATING CHILDREN, Electroencephalography, 0302 clinical medicine, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Troubles psychiatriques, EEG, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Psychiatry, Brain Mapping, medicine.diagnostic_test, RESOLUTION ELECTROMAGNETIC TOMOGRAPHY, ATTENTION-DEFICIT/HYPERACTIVITY DISORDER, Mental Disorders, 05 social sciences, fMRI, Brain, Cognition, REAL-TIME FMRI, Neurofeedback, Magnetic Resonance Imaging, 3. Good health, Neuropsychopharmacology, Psychiatry and Mental health, [SCCO.PSYC]Cognitive science/Psychology, Biological psychiatry, Psychology, medicine.medical_specialty, Psychotherapist, BRAIN-COMPUTER INTERFACES, SELECTIVE ATTENTION, 050105 experimental psychology, 03 medical and health sciences, Arts and Humanities (miscellaneous), [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], medicine, Humans, ADHD, 0501 psychology and cognitive sciences, Électroencéphalographie, Neurodevelopmental disorders Donders Center for Medical Neuroscience [Radboudumc 7], EEG BIOFEEDBACK, Imagerie fonctionnelle par résonance magnétique en temps réel, Brain-computer interaction, [SCCO.NEUR]Cognitive science/Neuroscience, Psychiatric disorder, Evidence-based medicine, SENSORIMOTOR RHYTHM, ELECTROENCEPHALOGRAPHIC NEUROFEEDBACK, ANTERIOR CINGULATE, [SDV.MHEP.PSM]Life Sciences [q-bio]/Human health and pathology/Psychiatrics and mental health, RC0321, Functional magnetic resonance imaging, Neurocognitive, 030217 neurology & neurosurgery
Abstract: International audience; ObjectivesNeurofeedback is a technique that aims to teach a subject to regulate a brain parameter measured by a technical interface to modulate his/her related brain and cognitive activities. However, the use of neurofeedback as a therapeutic tool for psychiatric disorders remains controversial. The aim of this review is to summarize and to comment the level of evidence of electroencephalogram (EEG) neurofeedback and real-time functional magnetic resonance imaging (fMRI) neurofeedback for therapeutic application in psychiatry.MethodLiterature on neurofeedback and mental disorders but also on Brain Computer Interfaces (BCI) used in the field of neurocognitive science has been considered by the group of expert of the NExT (Neurofeedback Evaluation & Training) section of the French Association of Biological Psychiatry and Neuropsychopharmacology (AFPBN).ResultsResults show a potential efficacy of EEG-neurofeedback in the treatment of attentional-deficit/hyperactivity disorder (ADHD) in children, even if this is still debated. For other mental disorders, there is too limited research to warrant the use of EEG-neurofeedback in clinical practice. Regarding fMRI-neurofeedback, the level of evidence remains too weak, for now, to justify clinical use. The literature review highlights various unclear points, such as indications (psychiatric disorders, pathophysiologic rationale), protocols (brain signals targeted, learning characteristics), and techniques (EEG, fMRI, signal processing). ConclusionThe field of neurofeedback involves psychiatrists, neurophysiologists and researchers in the field of brain-computer-interfaces. Future studies should determine the criteria for optimizing neurofeedback sessions. A better understanding of the learning processes underpinning neurofeedback could be a key element to develop the use of this technique in clinical practice.; IntroductionLe neurofeedback consiste à mesurer, chez un sujet, une activité cérébrale et à traiter le signal au moyen d’une interface technique afin d’en extraire un paramètre d’intérêt qui sera présenté en temps réel au participant sous la forme d’une information visuelle ou auditive. L’objectif est d’apprendre au sujet à modifier ce paramètre et donc à moduler son activité cérébrale et cognitive. Cependant, l’utilisation du neurofeedback en pratique clinique pour la prise en charge des troubles psychiatriques reste controversée.MéthodeCet article présente une synthèse de la 1re journée nationale sur le neurofeedback organisé par la section Neurofeedback Evaluation & Training (NExT) de l’Association française de psychiatrie biologique et de neuropharmacologie (AFPBN). Un état des lieux de l’utilisation du neurofeedback en électroencéphalographie (EEG) et en imagerie par résonance magnétique fonctionnelle (IRMf) est proposé. Pour intégrer l’arsenal thérapeutique, cette technique doit en effet répondre aux exigences de l’evidence based medicine.RésultatsLes études montrent une efficacité probable du neurofeedback en EEG pour le trouble du déficit de l’attention/hyperactivité (TDAH) chez les enfants. Pour les autres troubles psychiatriques, le nombre d’études est encore trop limité pour se positionner. En ce qui concerne le neurofeedback en IRMf, le niveau de preuve reste, pour l’heure, trop faible pour justifier une utilisation clinique. Les modalités d’emploi du neurofeedback, notamment en ce qui concerne les indications médicales, les protocoles d’utilisation (activité(s) cérébrale(s) ciblée(s), caractéristiques d’apprentissage) et les outils de mesure employés (EEG, IRMf, mode de traitement du signal) restent donc à clarifier.ConclusionLe vaste champ de recherche du neurofeedback implique à la fois des psychiatres, des neurophysiologistes et des chercheurs du domaine des interfaces cerveaux-ordinateurs. Les futurs travaux devront s’attacher à déterminer les critères permettant d’optimiser les séances de neurofeedback afin de mieux comprendre ses effets, le tout dans l’optique d’une utilisation en pratique clinique dans certaines indications. L’étude des processus d’apprentissage constitue un élément clé autour duquel les futures recherches devront se focaliser.
Published: 2017
Full Text: View/download PDF

42. A Review of Rapid Serial Visual Presentation-based Brain-Computer Interfaces

Author: Fabien Lotte, Natalie Dayan, Liam Maguire, Stephanie Lees, Paul McCullagh, Damien Coyle, Hubert Cecotti, Faculty of Computing and Engineering [University of Ulster], University of Ulster, Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)
Subjects: Time Factors, Brain-Computer Interface, Computer science, media_common.quotation_subject, 0206 medical engineering, Biomedical Engineering, 02 engineering and technology, Electroencephalography, computer.software_genre, 03 medical and health sciences, Cellular and Molecular Neuroscience, Presentation, [SCCO]Cognitive science, 0302 clinical medicine, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Event-related potential, Rapid Serial Visual Presentation, medicine, Humans, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Event Related Potentials, Brain–computer interface, media_common, medicine.diagnostic_test, Multimedia, Event (computing), [SCCO.NEUR]Cognitive science/Neuroscience, Brain, 020601 biomedical engineering, Identification (information), Rapid serial visual presentation, Brain-Computer Interfaces, Human visual system model, Evoked Potentials, Visual, computer, 030217 neurology & neurosurgery, Photic Stimulation
Abstract: International audience; Rapid serial visual presentation (RSVP) combined with the detection of event related brain responses facilitates the selection of relevant information contained in a stream of images presented rapidly to a human. Event related potentials (ERPs) measured non-invasively with electroencephalography (EEG) can be associated with infrequent targets amongst a stream of images. Human-machine symbiosis may be augmented by enabling human interaction with a computer, without overt movement, and/or enable optimization of image/information sorting processes involving humans. Features of the human visual system impact on the success of the RSVP paradigm, but pre-attentive processing supports the identification of target information post presentation of the information by assessing the co-occurrence or time-locked EEG potentials. This paper presents a comprehensive review and evaluation of the limited but significant literature on research in RSVP-based brain-computer interfaces (BCIs). Applications that use RSVP-based BCIs are categorized based on display mode and protocol design, whilst a range of factors influencing ERP evocation and detection are analyzed. Guidelines for using the RSVP-based BCI paradigms are recommended, with a view to further standardizing methods and enhancing the inter-relatability of experimental design to support future research and the use of RSVP-based BCIs in practice.
Published: 2017
Full Text: View/download PDF

43. The Impact of Flow in an EEG-based Brain Computer Interface

Author: Jelena Mladenović, Jérémy Frey, Manon Bonnet-Save, Jérémie Mattout, Fabien Lotte, Centre de recherche en neurosciences de Lyon (CRNL), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ullo, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Centre de recherche en neurosciences de Lyon - Lyon Neuroscience Research Center (CRNL), Université de Lyon-Université de Lyon-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), and Mladenovic, Jelena
Subjects: FOS: Computer and information sciences, Flow, Computer Science - Human-Computer Interaction, [SDV.NEU.SC]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences, [SCCO.COMP]Cognitive science/Computer science, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], Brain - Computer Interfaces, Human-Computer Interaction (cs.HC), [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SCCO.COMP] Cognitive science/Computer science, Quantitative Biology - Neurons and Cognition, FOS: Biological sciences, Adaptive Methods, [SDV.NEU]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC], Neurons and Cognition (q-bio.NC), [SDV.NEU] Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC], Motor Imagery, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC], [SDV.NEU.SC] Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences, Music
Abstract: International audience; Major issues in Brain Computer Interfaces (BCIs) include low usability and poor user performance. This paper tackles them by ensuring the users to be in a state of immersion, control and motivation, called state of flow. Indeed, in various disciplines, being in the state of flow was shown to improve performances and learning. Hence, we intended to draw BCI users in a flow state to improve both their subjective experience and their performances. In a Motor Imagery BCI game, we manipulated flow in two ways: 1) by adapting the task difficulty and 2) by using background music. Results showed that the difficulty adaptation induced a higher flow state, however music had no effect. There was a positive correlation between subjective flow scores and offline performance, although the flow factors had no effect (adaptation) or negative effect (music) on online performance. Overall, favouring the flow state seems a promising approach for enhancing users’ satisfaction, although its complexity requires more thorough investigations.
Published: 2017
Full Text: View/download PDF

44. Neurofeedback: One of today's techniques in psychiatry?

Author: Arns, Martijn, Batail, Jean-Marie, Bioulac, Stéphanie, Congedo, Marco, Daudet, Christophe, Drapier, Dominique, Fovet, Thomas, Jardri, Renaud, van Quyen, Le, Lotte, Fabien, Mehler, David, Micoulaud, Jean-Arthur, Purper-Ouakil, Diane, Vialatte, François Benoît, Lotte, Fabien, Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance - Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle - - REBEL2015 - ANR-15-CE23-0013 - AAPG2015 - VALID, Utrecht University [Utrecht], Centre Hospitalier Guillaume Régnier [Rennes], Comportement et noyaux gris centraux = Behavior and Basal Ganglia [Rennes], Université de Rennes (UR)-Université européenne de Bretagne - European University of Brittany (UEB)-CHU Pontchaillou [Rennes]-Institut des Neurosciences Cliniques de Rennes (INCR), Sommeil, Addiction et Neuropsychiatrie [Bordeaux] (SANPSY), Université de Bordeaux (UB)-CHU de Bordeaux Pellegrin [Bordeaux]-Centre National de la Recherche Scientifique (CNRS), GIPSA - Vision and Brain Signal Processing (GIPSA-VIBS), Département Images et Signal (GIPSA-DIS), Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Grenoble Images Parole Signal Automatique (GIPSA-lab ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Université de Bordeaux (UB), Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille), Laboratoire Sciences Cognitives et Sciences Affectives - UMR 9193 (SCALab), Université de Lille-Centre National de la Recherche Scientifique (CNRS), Institut du Cerveau = Paris Brain Institute (ICM), Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Institut National de la Santé et de la Recherche Médicale (INSERM)-CHU Pitié-Salpêtrière [AP-HP], Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Sorbonne Université (SU)-Sorbonne Université (SU)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), School of Psychology [Cardiff University], Cardiff University, Westfälische Wilhelms-Universität Münster = University of Münster (WWU), Analyse Phenotypique, Developpementale et Genetique des Comportements Addictifs, Université Paris Diderot - Paris 7 (UPD7)-Institut National de la Santé et de la Recherche Médicale (INSERM), Centre de Recherche Saint-Antoine (CRSA), Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Sorbonne Université (SU), Ecole Superieure de Physique et de Chimie Industrielles de la Ville de Paris (ESPCI Paris), Université Paris sciences et lettres (PSL), and ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015)
Subjects: Imagerie fonctionnelle par résonance magnétique en temps réel, Brain-computer interaction, [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, [SCCO.NEUR]Cognitive science/Neuroscience, fMRI, [SCCO.NEUR] Cognitive science/Neuroscience, [SDV.MHEP.PSM] Life Sciences [q-bio]/Human health and pathology/Psychiatrics and mental health, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], Neurofeedback, [INFO.INFO-BT] Computer Science [cs]/Biotechnology, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SDV.MHEP.PSM]Life Sciences [q-bio]/Human health and pathology/Psychiatrics and mental health, [SCCO.PSYC] Cognitive science/Psychology, [SCCO.PSYC]Cognitive science/Psychology, ADHD, Troubles psychiatriques, EEG, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Électroencéphalographie
Abstract: ObjectivesNeurofeedback is a technique that aims to teach a subject to regulate a brain parameter measured by a technical interface to modulate his/her related brain and cognitive activities. However, the use of neurofeedback as a therapeutic tool for psychiatric disorders remains controversial. The aim of this review is to summarize and to comment the level of evidence of electroencephalogram (EEG) neurofeedback and real-time functional magnetic resonance imaging (fMRI) neurofeedback for therapeutic application in psychiatry.MethodLiterature on neurofeedback and mental disorders but also on Brain Computer Interfaces (BCI) used in the field of neurocognitive science has been considered by the group of expert of the NExT (Neurofeedback Evaluation & Training) section of the French Association of Biological Psychiatry and Neuropsychopharmacology (AFPBN).ResultsResults show a potential efficacy of EEG-neurofeedback in the treatment of attentional-deficit/hyperactivity disorder (ADHD) in children, even if this is still debated. For other mental disorders, there is too limited research to warrant the use of EEG-neurofeedback in clinical practice. Regarding fMRI-neurofeedback, the level of evidence remains too weak, for now, to justify clinical use. The literature review highlights various unclear points, such as indications (psychiatric disorders, pathophysiologic rationale), protocols (brain signals targeted, learning characteristics), and techniques (EEG, fMRI, signal processing). ConclusionThe field of neurofeedback involves psychiatrists, neurophysiologists and researchers in the field of brain-computer-interfaces. Future studies should determine the criteria for optimizing neurofeedback sessions. A better understanding of the learning processes underpinning neurofeedback could be a key element to develop the use of this technique in clinical practice., IntroductionLe neurofeedback consiste à mesurer, chez un sujet, une activité cérébrale et à traiter le signal au moyen d’une interface technique afin d’en extraire un paramètre d’intérêt qui sera présenté en temps réel au participant sous la forme d’une information visuelle ou auditive. L’objectif est d’apprendre au sujet à modifier ce paramètre et donc à moduler son activité cérébrale et cognitive. Cependant, l’utilisation du neurofeedback en pratique clinique pour la prise en charge des troubles psychiatriques reste controversée.MéthodeCet article présente une synthèse de la 1re journée nationale sur le neurofeedback organisé par la section Neurofeedback Evaluation & Training (NExT) de l’Association française de psychiatrie biologique et de neuropharmacologie (AFPBN). Un état des lieux de l’utilisation du neurofeedback en électroencéphalographie (EEG) et en imagerie par résonance magnétique fonctionnelle (IRMf) est proposé. Pour intégrer l’arsenal thérapeutique, cette technique doit en effet répondre aux exigences de l’evidence based medicine.RésultatsLes études montrent une efficacité probable du neurofeedback en EEG pour le trouble du déficit de l’attention/hyperactivité (TDAH) chez les enfants. Pour les autres troubles psychiatriques, le nombre d’études est encore trop limité pour se positionner. En ce qui concerne le neurofeedback en IRMf, le niveau de preuve reste, pour l’heure, trop faible pour justifier une utilisation clinique. Les modalités d’emploi du neurofeedback, notamment en ce qui concerne les indications médicales, les protocoles d’utilisation (activité(s) cérébrale(s) ciblée(s), caractéristiques d’apprentissage) et les outils de mesure employés (EEG, IRMf, mode de traitement du signal) restent donc à clarifier.ConclusionLe vaste champ de recherche du neurofeedback implique à la fois des psychiatres, des neurophysiologistes et des chercheurs du domaine des interfaces cerveaux-ordinateurs. Les futurs travaux devront s’attacher à déterminer les critères permettant d’optimiser les séances de neurofeedback afin de mieux comprendre ses effets, le tout dans l’optique d’une utilisation en pratique clinique dans certaines indications. L’étude des processus d’apprentissage constitue un élément clé autour duquel les futures recherches devront se focaliser.
Published: 2017
Full Text: View/download PDF

45. Riemannian approaches in Brain-Computer Interfaces: a review

Author: Fabien Lotte, Florian Yger, Maxime Berar, Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (LAMSADE), Université Paris Dauphine-PSL, Université Paris sciences et lettres (PSL)-Université Paris sciences et lettres (PSL)-Centre National de la Recherche Scientifique (CNRS), Equipe Apprentissage (DocApp - LITIS), Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes (LITIS), Université Le Havre Normandie (ULH), Normandie Université (NU)-Normandie Université (NU)-Université de Rouen Normandie (UNIROUEN), Normandie Université (NU)-Institut national des sciences appliquées Rouen Normandie (INSA Rouen Normandie), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA)-Université Le Havre Normandie (ULH), Institut National des Sciences Appliquées (INSA)-Normandie Université (NU)-Institut National des Sciences Appliquées (INSA), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Lotte, Fabien, and Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance - Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle - - REBEL2015 - ANR-15-CE23-0013 - AAPG2015 - VALID
Subjects: 02 engineering and technology, Computer Science::Human-Computer Interaction, Electroencephalography, computer.software_genre, source extraction, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 0302 clinical medicine, [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Index Terms—Riemannian geometry, subspaces, 0202 electrical engineering, electronic engineering, information engineering, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Mathematics, Signal processing, medicine.diagnostic_test, General Neuroscience, Rehabilitation, Signal Processing, Computer-Assisted, Equipment Design, Covariance, Manifold, classification, Brain-Computer Interfaces, Outlier, symbols, 020201 artificial intelligence & image processing, Algorithms, [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], [INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing, Biomedical Engineering, Riemannian geometry, Machine learning, 03 medical and health sciences, symbols.namesake, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], Internal Medicine, medicine, Humans, Electroencephalography (EEG), Brain–computer interface, Brain-Computer Inter, Quantitative Biology::Neurons and Cognition, business.industry, [SCCO.NEUR]Cognitive science/Neuroscience, [SCCO.NEUR] Cognitive science/Neuroscience, covariance matrices, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], Models, Theoretical, face (BCI), [INFO.INFO-BT] Computer Science [cs]/Biotechnology, ComputingMethodologies_PATTERNRECOGNITION, Artificial intelligence, business, Classifier (UML), computer, 030217 neurology & neurosurgery
Abstract: International audience; Although promising from numerous applications, current Brain-Computer Interfaces (BCIs) still suffer from a number of limitations. In particular, they are sensitive to noise, outliers and the non-stationarity of ElectroEncephaloGraphic (EEG) signals, they require long calibration times and are not reliable. Thus, new approaches and tools, notably at the EEG signal processing and classification level, are necessary to address these limitations. Riemannian approaches, spearheaded by the use of covariance matrices, are such a very promising tool slowly adopted by a growing number of researchers. This article, after a quick introduction to Riemannian geometry and a presentation of the BCI-relevant manifolds, reviews how these approaches have been used for EEG-based BCI, in particular for feature representation and learning, classifier design and calibration time reduction. Finally, relevant challenges and promising research directions for EEG signal classification in BCIs are identified, such as feature tracking on manifold or multi-task learning.
Published: 2017

46. Heading for new shores! Overcoming pitfalls in BCI design

Author: Melanie Fried-Oken, Ricardo Chavarriaga, Reinhold Scherer, Fabien Lotte, Sonja C. Kleih, Ecole Polytechnique Fédérale de Lausanne (EPFL), Oregon Health and Science University [Portland] (OHSU), Julius-Maximilians-Universität Würzburg (JMU), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Graz University of Technology [Graz] (TU Graz), ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), Julius-Maximilians-Universität Würzburg [Wurtzbourg, Allemagne] (JMU), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: Heading (navigation), Computer science, 0206 medical engineering, pitfalls, Biomedical Engineering, 02 engineering and technology, Article, Communication device, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], 03 medical and health sciences, Behavioral Neuroscience, brain-computer interfaces, 0302 clinical medicine, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, Human–computer interaction, Research community, user centered design, EEG, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], Electrical and Electronic Engineering, BCI, [INFO.INFO-BT]Computer Science [cs]/Biotechnology, user training, signal processing, User-centered design, Brain–computer interface, publication bias, reporting, artefacts, [SCCO.NEUR]Cognitive science/Neuroscience, [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV], 020601 biomedical engineering, Human-Computer Interaction, Multiple factors, [SCCO.PSYC]Cognitive science/Psychology, Concrete research, Artifacts, 030217 neurology & neurosurgery
Abstract: International audience; Research in brain-computer interfaces has achieved impressive progress towards implementing assistive technologies for restoration or substitution of lost motor capabilities, as well as supporting technologies for able-bodied subjects. Notwithstanding this progress, effective translation of these interfaces from proof-of concept prototypes into reliable applications remains elusive. As a matter of fact, most of the current BCI systems cannot be used independently for long periods of time by their intended end-users. Multiple factors that impair achieving this goal have already been identified. However, it is not clear how do they affect the overall BCI performance or how they should be tackled. This is worsened by the publication bias where only positive results are disseminated, preventing the research community from learning from its errors. This paper is the result of a workshop held at the 6th International BCI meeting in Asilomar. We summarize here the discussion on concrete research avenues and guidelines that may help overcoming common pitfalls and make BCIs become a useful alternative communication device.
Published: 2016

47. Towards Usable Electroencephalography-based Brain-Computer Interfaces

Author: Fabien Lotte, Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Univ. Bordeaux, Frédéric Alexandre(Frederic.Alexandre@inria.fr), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), and Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest
Subjects: Interaction Homme-Machine IHM, Neuroergonomics, Teaching, [SCCO.NEUR]Cognitive science/Neuroscience, Traitement du signal EEG, Neuroergonomie, Brain-Computer Interfaces (BCI), Classification, [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Human-Computer Interaction, Human Learning, [SCCO]Cognitive science, Intefaces Cerveau-Ordinateur, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, ElectroEncepahloGraphy (EEG), Signal Processing, [SCCO.PSYC]Cognitive science/Psychology, [INFO]Computer Science [cs], [INFO.EIAH]Computer Science [cs]/Technology for Human Learning, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-BT]Computer Science [cs]/Biotechnology, Electroencéphalographie EEG
Abstract: Brain-Computer Interfaces (BCIs) are systems that can translate brain activity patterns of a user into messages or commands for an interactiveapplication. Such brain activity is typically measured using Electroencephalography (EEG), before being processed and classied by the system. EEG-based BCIs have proven promising for a wide range of applications ranging from communication and control for motor impaired users, to gaming targeted at the general public, real-time mental state monitoring and stroke rehabilitation, to name a few. Despite this promising potential, BCIs are still scarcely used outside laboratories for practical applications. The main reason preventing EEG-based BCIs from being widely used is arguably their poor usability, which is notably due to their low robustness and reliability, as well as their long calibration and training times. The research presented in this manuscript aims at addressing these different points in order to make EEG-based BCIs usable, i.e., to increase their efficacy and efficiency. In particular, we present a set of contributions towards this goal 1) at the EEG signal processing and classification level, to robustly decode EEG signals and translate them into commands, 2) at the user training level, to ensure that users can learn to control a BCI efficiently and effectively, and 3) at the usage level, to explore novel applications of BCIs for which the current reliability can already be useful.First, in terms of EEG signal processing tools, we proposed a number of methods to improve BCI reliability, despite EEG signal variability, poorsignal-to-noise ratio and high sensitivity to artifacts, as well as to reduce BCIs calibration times. More precisely, we complemented traditionally used features by exploring alternative representations of EEG signals. We also explored and designed regularized spatial filters to learn more robust and stable features. Finally, we propose algorithms to reduce BCIs calibration times, i.e., to calibrate BCIs with as few examples of EEG signals from the target user as possible, by re-using data from previous users or by generating artificial EEG signals. Altogether, these methods enabled an increased BCI classification accuracy, i.e., efficacy, and BCI calibration with much less data than standard approachesdo, thus improving their efficiency. Second, rather than improving EEG signal processing alone, we advocate that BCIs can also be made more usable by guiding users to efficiently learn BCI control mastery. Indeed, BCI control is known to be a skill that needs to be learnt. A study of models and guidelines from educational sciences enabled us to identify many theoretical limitations of current standard BCI training approaches, thus highlighting the need for alternative ones. In particular, educational sciences recommend to train people with adapted and adaptive training tasks, using explanatory feedback in motivating environments. In contrast standard BCI training protocols are commonly fixed, repetitive, ratherboring and provide purely corrective feedback. To address these limitations, we studied what kind of users manage to use a BCI and why. We also explored new feedback types, in particular richer feedback, multi-user feedback and tactile feedback to help users to learn BCI control skills more efficiently. Overall, our studies identified some cognitive (notably spatial abilities) and personality factors playing a major role in mental imagery-based BCI performances. They also revealed that both tactile feedback and social presence can improve BCI efficacy.Finally, BCIs can be made more usable by being used for other applications than communication and control. To this end, we notably explored the use of BCIs for neuroergonomics, i.e., using brain signals to passively estimate some of the relevant user's mental states during human-computer interaction, in order to assess the ergonomic qualities of this interface. In particular, we showed that one can estimate mental workload during complex 3D manipulation and navigation tasks in order to assess or compare interaction techniques and devices. We have also been able to study stereoscopic displays by estimating visual comfort in EEG signals. Another usage of BCIs, that we found promising and useful, is real-time brain activity and mental state visualization. We designed a number of devices based on augmented reality and/or tangible interfaces to enable novice users to visualize their own brain activity or mental states in real-time, with potential applications in fields as wide and diverse as education, self-awareness or well-being. Overall this work contributed novel methods and approaches to make EEG-based BCIs more usable, as well as new knowledge that could be used to further improve them in the future. This manuscript also proposes some perspectives and directions that could be worth exploring to that end. BCIs show a huge potential for research and applications, and we hope our research will contribute to turn this potential into realities.
Published: 2016

48. Les interfaces Cerveau-Ordinateur 1

Author: Clerc, Maureen, Bougrain, Laurent, Lotte, Fabien, Computational Imaging of the Central Nervous System (ATHENA), Inria Sophia Antipolis - Méditerranée (CRISAM), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Maureen Clerc, Laurent Bougrain, Fabien Lotte, IPL BCI-LIFT, Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: [SCCO]Cognitive science, techniques d'assistance, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SCCO.NEUR]Cognitive science/Neuroscience, [INFO.INFO-SY]Computer Science [cs]/Systems and Control [cs.SY], neuroprothèses, [SDV.IB]Life Sciences [q-bio]/Bioengineering, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], [INFO.INFO-SE]Computer Science [cs]/Software Engineering [cs.SE], Interfaces cerveau-ordinateur, apprentissage
Abstract: National audience; Les interfaces cerveau-ordinateur (Brain-Computer Interfaces, BCI) sont des dispositifs qui mesurent l’activité cérébrale et la convertissent en messages ou commandes, offrant ainsi de nombreuses possibilités d’investigation et d’application.Pluridisciplinaire, cet ouvrage donne les clés pour comprendre et concevoir ces interfaces qui font appel à des connaissances relevant de nombreux domaines tels que les neurosciences, les statistiques, l’informatique et la psychologie.Le premier volume, Fondements et méthodes, apporte les bases nécessaires à la compréhension du fonctionnement des BCI. Il présente d’abord les principes anatomiques et physiologiques qui permettent d’appréhender l’activité cérébrale intervenant dans les interfaces cerveau-ordinateur, puis détaille les méthodes de traitement du signal et d’apprentissage automatique. L’utilisation des BCI est ensuite étudiée, notamment au travers des problématiques de l’apprentissage humain et de l’interaction entre l’homme et la machine.Les notions essentielles développées dans cet ouvrage sont accessibles à toute personne s’intéressant aux interfaces cerveau-ordinateur. Des parcours thématiques proposent d’approfondir plus en détail les connaissances par discipline.
Published: 2016

49. Introduction

Author: Clerc, Maureen, Bougrain, Laurent, Lotte, Fabien, Computational Imaging of the Central Nervous System (ATHENA), Inria Sophia Antipolis - Méditerranée (CRISAM), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Maureen Clerc, Laurent Bougrain, Fabien Lotte, and IPL BCI-LIFT
Subjects: [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing, [SDV.IB.IMA]Life Sciences [q-bio]/Bioengineering/Imaging, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], ComputingMilieux_MISCELLANEOUS
Abstract: National audience
Published: 2016

50. Les interfaces cerveau-ordinateur 2: Technologie et applications

Author: Maureen Clerc, Laurent Bougrain, Fabien Lotte, Computational Imaging of the Central Nervous System (ATHENA), Inria Sophia Antipolis - Méditerranée (CRISAM), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Analysis and modeling of neural systems by a system neuroscience approach (NEUROSYS), Inria Nancy - Grand Est, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Department of Complex Systems, Artificial Intelligence & Robotics (LORIA - AIS), Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Institut National de Recherche en Informatique et en Automatique (Inria)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Centre National de la Recherche Scientifique (CNRS), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Popular interaction with 3d content (Potioc), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Maureen Clerc, Laurent Bougrain, Fabien Lotte, IPL BCI-LIFT, Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL)-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université de Lorraine (UL), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB), and Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest
Subjects: [SCCO]Cognitive science, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SDV.IB.IMA]Life Sciences [q-bio]/Bioengineering/Imaging, génie logiciel, interfaces cerveau-ordinateur, jeux vidéo, [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC], réhabilitation
Abstract: National audience; Les interfaces cerveau-ordinateur (Brain-Computer Interfaces, BCI) sont des dispositifs qui mesurent l’activité cérébrale et la convertissent en messages ou commandes, offrant ainsi de nombreuses possibilités d’investigation.Ce second volume, Technologie et applications, permet d'appréhender le potentiel mais également les limites des BCI. Il présente leur utilisation dans différents domaines tels que les jeux vidéo, les neurosciences cognitives, le diagnostic de troubles de la conscience ou encore l’autonomie des personnes handicapées. Illustré d’exemples fonctionnant avec le logiciel libre OpenViBE, il aborde tous les aspects techniques de mise en place d’une BCI, que ce soit du point de vue matériel ou logiciel. Les enjeux sociétaux de ces nouvelles technologies sont également exposés.Les notions essentielles développées dans cet ouvrage sont accessibles à toute personne s’intéressant aux interfaces cerveau-ordinateur. Des parcours thématiques proposent d’approfondir plus en détail les connaissances par discipline.
Published: 2016

Catalog

Books, media, physical & digital resources

See catalog results

Searchworks

Select search scope, currently: Articles Catalog books, media & more in Jio Institute collections Articles journal articles & other e-resources

Search

Search Constraints

Refine your results

Search Limiters

Topic

Publication Year Range

Language

Journal

Database

Publisher

70 results on '"Popular interaction with 3d content (Potioc)"'

Search Results

Catalog

Select search scope, currently: Articles

Catalog

books, media & more in Jio Institute collections

Articles

journal articles & other e-resources