Search

In this PhD thesis, we address the challenge of integrating Brain-Computer Interfaces (BCI) and music technologies on the specific application of music source separation, which is the task of isolating individual sound sources that are mixed in the audio recording of a musical piece. This problem has been investigated for decades, but never considering BCI as a possible way to guide and inform separation systems. Specifically, we explored how the neural activity characterized by electroencephalographic signals (EEG) reflects information about the attended instrument and how we can use it to inform a source separation system.First, we studied the problem of EEG-based auditory attention decoding of a target instrument in polyphonic music, showing that the EEG tracks musically relevant features which are highly correlated with the time-frequency representation of the attended source and only weakly correlated with the unattended one. Second, we leveraged this ``contrast'' to inform an unsupervised source separation model based on a novel non-negative matrix factorisation (NMF) variant, named contrastive-NMF (C-NMF) and automatically separate the attended source.Unsupervised NMF represents a powerful approach in such applications with no or limited amounts of training data as when neural recording is involved. Indeed, the available music-related EEG datasets are still costly and time-consuming to acquire, precluding the possibility of tackling the problem with fully supervised deep learning approaches. Thus, in the last part of the thesis, we explored alternative learning strategies to alleviate this problem. Specifically, we propose to adapt a state-of-the-art music source separation model to a specific mixture using the time activations of the sources derived from the user's neural activity. This paradigm can be referred to as one-shot adaptation, as it acts on the target song instance only.We conducted an extensive evaluation of both the proposed system on the MAD-EEG dataset which was specifically assembled for this study obtaining encouraging results, especially in difficult cases where non-informed models struggle., Dans cette thèse, nous abordons le défi de l'utilisation d'interfaces cerveau-machine (ICM) sur l'application spécifique de la séparation de sources musicales qui vise à isoler les instruments individuels qui sont mélangés dans un enregistrement de musique. Ce problème a été étudié pendant des décennies, mais sans jamais considérer les ICM comme un moyen possible de guider et d'informer les systèmes de séparation. Plus précisément, nous avons étudié comment l'activité neuronale caractérisée par des signaux électroencéphalographiques (EEG) reflète des informations sur la source à laquelle on porte son attention et comment nous pouvons l'utiliser pour informer un système de séparation de sources.Tout d'abord, nous avons étudié le problème du décodage par l'EEG de l'attention auditive d'un instrument spécifique dans une pièce musicale polyphonique, en montrant que l'EEG suit les caractéristiques musicales pertinentes qui sont fortement corrélées avec la représentation temps-fréquence de la source à laquelle on porte l'attention et seulement faiblement corrélées avec les autres. Ensuite, nous avons exploité ce "contraste" pour informer un modèle de séparation de sources non supervisé basé sur une nouvelle variante de factorisation en matrices positives (NMF), appelée contrastive-NMF (C-NMF) et séparer automatiquement la source à laquelle on porte l'attention.La NMF non supervisée est une approche efficace dans de telles applications ne disposant pas ou peu de données d'apprentissage, comme c'est le cas dans des scénarios nécessitant des enregistrements EEG. En effet, les jeux de données EEG liés à la musique disponibles sont coûteux et longs à acquérir, ce qui exclut la possibilité d'aborder le problème par des approches d'apprentissage profond entièrement supervisées. Dans la dernière partie de la thèse, nous avons exploré des stratégies d'apprentissage alternatives. Plus précisément, nous avons étudié la possibilité d'adapter un modèle de séparation de sources de l'état de l'art à un mélange spécifique en utilisant les activations temporelles de sources dérivées de l'activité neuronale de l'utilisateur au moment du test. Cette approche peut être considérée comme étant " à adaptation unitaire" (one-shot), car l'adaptation agit uniquement sur une instance de chanson.Nous avons évalué les approches proposées sur les jeu de données MAD-EEG qui a été spécifiquement assemblé pour cette étude, obtenant des résultats encourageants, en particulier dans les cas difficiles où les modèles non informés sont mis à mal.

L’importance de nos capacités à nous orienter ou nous diriger est illustrée par nos capacités à retrouver notre chemin lorsque nous sommes perdus. Lorsqu’il doit s’orienter, l’être humain utilise spontanément des stratégies de navigation lui permettant de se rendre efficacement à destination. Chaque individu utilise instinctivement une stratégie soit allocentrique, soit egocentrique, selon la prédominance du volume de son hippocampe ou de celui de ses noyaux caudés. Bien que les stratégies allocentriques soient associées à un volume hippocampique plus important, les stratégies égocentriques tendent à être liées à son hypotrophie. Il existe des liens importants entre la stratégie adoptée et le volume hippocampique. Une activité et un volume important de matière grise dans l’hippocampe sont reliés à des stratégies de navigation allocentriques, alors qu’une faible activité et un faible volume sont reliés à l’utilisation de stratégies egocentriques (West et al., 2015; Iaria, Petrides, Dagher, Pike et Bohbot, 2003; Bohbot, Lerch, Thorndycraft, Iaria & Zijdenbos, 2007; Lerch et al., 2011; Etchamendy, Konishi, Pike, Marighetto, Bohbot, 2012; Konishi et al., 2013). Le but de ce mémoire est de démontrer que l’entrainement à des jeux vidéo de type « plateforme » permet de stimuler l’activité de l’hippocampe. À l’aide d’un électroencéphalogramme, cette étude cherche à observer l’activité fréquentielle des ondes thêta (4-8Hz), qui est reliée au fonctionnement hippocampique, mais également celle des ondes gamma (30-50Hz). Selon les hypothèses établies dans cette étude, il devrait y avoir une augmentation significative d’activité thêta (qui découle de l’activité hippocampique) sur les deux groupes expérimentaux, celle-ci devrait s’avérer significativement plus importante chez les participants utilisant instinctivement une stratégie allocentrique. Après avoir déterminé quelle stratégie est utilisée par chacun des 39 jeunes adultes neurotypiques qui ont été testés, leur activité cérébrale a été mesurée à l’aide d’un EEG pendant qu’ils jouaient à « Super Mario 64 » en périodes de quinze minutes entrecoupées de phases d’état de repos (Resting State). Nos résultats illustrent que les utilisateurs de stratégies allocentriques montrent une augmentation significative de l’activité thêta lors de niveaux actifs (incluant des objectifs faisant appel à la navigation) par rapport au niveau contrôle (mouvements répétitifs seulement, sans objectif de navigation clair) dans toutes les régions analysées (frontale, centrale, pariétale et occipitale). Les participants utilisant une stratégie egocentrique présentent également une augmentation significative de l’activité thêta dans les niveaux actifs par rapport au niveau contrôle, mais uniquement dans la région frontale. Ces résultats confirment que l’EEG peut être utilisé pour mettre en évidence l’activité cérébrale émise durant la navigation spatiale., The importance of our ability to orient ourselves or navigate in a given environment is pictured by our ability to find our way back when we are lost. As it must orientate itself in a given environment, the human being spontaneously uses navigational strategies to successfully arrive to its destination. Every individual instinctively uses a strategy that’s either allocentric or egocentric, depending upon which structure among the hippocampus or the caudate nucleus has the most predominant volume. As the allocentric strategies tend to be associated to a more important hippocampic volume, the egocentric strategies tend to be linked to a lesser one. There are important connections between the used strategy and one’s hippocampic volume. An important hippocampic grey matter volume and activity are associated to allocentric navigational strategies, as a lower volume and activity are associated to the use of egocentric strategies (West & al., 2015; Iaria, Petrides, Dagher, Pike & Bohbot, 2003; Bohbot, Lerch, Thorndycraft, Iaria & Zijdenbos, 2007; Lerch & al., 2011; Etchamendy, Konishi, Pike, Marighetto & Bohbot, 2012; Konishi & al., 2013). The goal of this master’s thesis is to demonstrate that platform video game training allows to stimulate hippocampic activity. Using an electroencephalogram, we have been monitoring the theta waveband frequential activity (4-8Hz), as we know it to be linked to hippocampic activity, but also, gamma wavebands (30-50Hz). As we estimate that there should be a significant augmentation of theta activity (which is influenced by hippocampic activity) on both experimental groups, it should be more important among the participants using instinctively an allocentric strategy. After determining which strategy is used by each of the 39 neurotypical young adults we have tested, we have measured their cerebral activity with an EEG while they were playing “Super Mario 64” in 15-minute periods separated by resting state phases. Our results show that the allocentric users have a theta activity augmentation when tested on active levels (which include navigation soliciting objectives) compared to the control level (repetitive movement, without definite navigation objectives) in all analyzed scalp region (frontal, central, parietal, occipital). Participants using an egocentric also show a significant augmentation of theta activity in the active levels compared to the passive ones but only in the frontal region. These results demonstrate that EEG can be used to highlight the different cerebral activities issued during spatial navigation and bring out the interest of this technique.

Many concerns are now expressed about harmfulness of radiofrequency fields emitted by mobile phones on health. Since the head and the skin are the most exposed organs, cerebral circulation, cutaneous microcirculation of the face and brain's electrical activity are specifically involved. To this purpose, we conducted two studies in healthy adult volunteers to assess cerebral blood flow velocity in middle cerebral arteries by transcranial Doppler and skin micro blood flow by laser Doppler flowmeter in the first one, and to detect any possible changes in brain electrical activity by electroencephalography in the second one. The radiofrequency exposure was carried out by two commercial mobile phones, a 'real' phone which emitted spectrum and heat at the same time and the other 'sham' phone which heated only without emission. The first study showed no effect of radiofrequencies on cerebral blood flow velocity in the middle cerebral arteries, however, a significant increase in skin micro blood flow during 'real' versus 'sham' exposure was observed while skin temperature increase was similar in both exposure sessions 'sham' and 'real'. Brain's electrical activity showed a decrease in the alpha frequency band (8-12 Hz) spectral power during and after 'real' versus 'sham' exposure.; De nombreuses craintes sont aujourd'hui formulées quant à la nocivité des champs de radiofréquences émis par les téléphones portables sur la santé. Etant donné que la tête et la peau sont les organes les plus exposés, la circulation sanguine cérébrale, la microcirculation cutanée au niveau du visage et l'activité électrique du cerveau sont spécifiquement concernées. A cet effet, nous avons mené deux études chez des volontaires adultes sains pour évaluer la vitesse du débit sanguin cérébral dans les artères cérébrales moyennes par Doppler transcrânien et le micro-débit sanguin cutané du visage par laser Doppler fluxmétrique dans la première étude ; et pour détecter d'éventuelles modifications dans l'activité électrique du cerveau par électroencéphalographie dans la deuxième. L'exposition aux radiofréquences était réalisée par deux téléphones issus du commerce, un 'réel' qui émettait des radiofréquences et chauffait en même temps et l'autre 'sham' qui chauffait seulement sans émission. La première étude n'a pas montré d'effet des radiofréquences sur la vitesse du débit sanguin cérébral au niveau des artères cérébrales moyennes, pourtant une augmentation significative du micro-débit sanguin cutané pendant l'exposition 'réelle' par rapport à l'exposition 'sham' a été observée alors que l'augmentation de la température de la peau était identique dans les deux sessions d'exposition 'sham' et 'réelle'. L'activité électrique du cerveau a présenté une diminution dans la puissance spectrale de la bande de fréquence alpha (8-12 Hz) pendant et après l'exposition 'réelle' par rapport à l'exposition 'sham'.

Many concerns are now expressed about harmfulness of radiofrequency fields emitted by mobile phones on health. Since the head and the skin are the most exposed organs, cerebral circulation, cutaneous microcirculation of the face and brain's electrical activity are specifically involved. To this purpose, we conducted two studies in healthy adult volunteers to assess cerebral blood flow velocity in middle cerebral arteries by transcranial Doppler and skin micro blood flow by laser Doppler flowmeter in the first one, and to detect any possible changes in brain electrical activity by electroencephalography in the second one. The radiofrequency exposure was carried out by two commercial mobile phones, a 'real' phone which emitted spectrum and heat at the same time and the other 'sham' phone which heated only without emission. The first study showed no effect of radiofrequencies on cerebral blood flow velocity in the middle cerebral arteries, however, a significant increase in skin micro blood flow during 'real' versus 'sham' exposure was observed while skin temperature increase was similar in both exposure sessions 'sham' and 'real'. Brain's electrical activity showed a decrease in the alpha frequency band (8-12 Hz) spectral power during and after 'real' versus 'sham' exposure.; De nombreuses craintes sont aujourd'hui formulées quant à la nocivité des champs de radiofréquences émis par les téléphones portables sur la santé. Etant donné que la tête et la peau sont les organes les plus exposés, la circulation sanguine cérébrale, la microcirculation cutanée au niveau du visage et l'activité électrique du cerveau sont spécifiquement concernées. A cet effet, nous avons mené deux études chez des volontaires adultes sains pour évaluer la vitesse du débit sanguin cérébral dans les artères cérébrales moyennes par Doppler transcrânien et le micro-débit sanguin cutané du visage par laser Doppler fluxmétrique dans la première étude ; et pour détecter d'éventuelles modifications dans l'activité électrique du cerveau par électroencéphalographie dans la deuxième. L'exposition aux radiofréquences était réalisée par deux téléphones issus du commerce, un 'réel' qui émettait des radiofréquences et chauffait en même temps et l'autre 'sham' qui chauffait seulement sans émission. La première étude n'a pas montré d'effet des radiofréquences sur la vitesse du débit sanguin cérébral au niveau des artères cérébrales moyennes, pourtant une augmentation significative du micro-débit sanguin cutané pendant l'exposition 'réelle' par rapport à l'exposition 'sham' a été observée alors que l'augmentation de la température de la peau était identique dans les deux sessions d'exposition 'sham' et 'réelle'. L'activité électrique du cerveau a présenté une diminution dans la puissance spectrale de la bande de fréquence alpha (8-12 Hz) pendant et après l'exposition 'réelle' par rapport à l'exposition 'sham'.

National audience; Une interface cerveau-machine (ICM) est un système permettant une communication à des patients souffrant de paralysie extrême. Pionniers pour imaginer des outils compensant leur handicap, ils se servent des sciences et technologie de l'information et de la communication dans leur intégration.