Guide du débutant sur l’interface cerveau-ordinateur et les réseaux neuronaux convolutifs

L’esprit peut-il se connecter directement à l’intelligence artificielle, aux robots et à d’autres esprits grâce aux technologies d’interface cerveau-ordinateur (ICC) pour transcender nos limites humaines ?

Pour certains, c’est une nécessité pour notre survie. En effet, nous aurions besoin de devenir des cyborgs pour être pertinents à l’ère de l’intelligence artificielle.

Définition

Interface cerveau-ordinateur (BCI) : dispositifs permettant à ses utilisateurs d’interagir avec des ordinateurs par le biais de l’activité cérébrale uniquement, cette activité étant généralement mesurée par ElectroEncéphaloGraphie (EEG).

Electroencéphalographie (EEG) : méthode physiologique de choix pour enregistrer l’activité électrique générée par le cerveau via des électrodes placées à la surface du cuir chevelu.

Imagerie par résonance magnétique fonctionnelle (IRMf) : mesure l’activité cérébrale en détectant les changements associés au flux sanguin.

Spectroscopie fonctionnelle dans le proche infrarouge (fNIRS) : utilisation de la spectroscopie dans le proche infrarouge (NIRS) à des fins de neuro-imagerie fonctionnelle. En utilisant la fNIRS, l’activité cérébrale est mesurée par le biais des réponses hémodynamiques associées au comportement des neurones.

Réseau neuronal évolutif (CNN) : un type de réseau neuronal artificiel utilisé dans la reconnaissance et le traitement des images qui est spécifiquement conçu pour traiter les données des pixels.

Cortex visuel : partie du cortex cérébral qui reçoit et traite les impulsions nerveuses sensorielles provenant des yeux

Histoire

Sarah Marsch, journaliste du Guardian, a déclaré  » Les interfaces cerveau-ordinateur (BCI) ne sont pas une idée nouvelle. Diverses formes de BCI sont déjà disponibles, depuis celles qui se placent sur le dessus de votre tête et mesurent les signaux cérébraux jusqu’aux dispositifs qui sont implantés dans votre tissu cérébral. » (source)

La plupart des BCI ont été initialement développées pour des applications médicales. Selon Zaza Zuilhof, Lead Designer chez Tellart, « Quelque 220 000 malentendants bénéficient déjà d’implants cochléaires, qui traduisent les signaux audio en impulsions électriques envoyées directement à leur cerveau. » (source)

L’article intitulé « La brève histoire des interfaces cerveau-ordinateur » nous donne de nombreuses informations liées à l’histoire de la BCI. En effet, l’article dit « Dans les années 1970, la recherche sur les BCI a commencé à l’Université de Californie, ce qui a conduit à l’émergence de l’expression interface cerveau-ordinateur. Aujourd’hui encore, la recherche et le développement des BCI se concentrent principalement sur les applications neuroprothétiques qui peuvent aider à restaurer la vue, l’ouïe et les mouvements endommagés. Le milieu des années 1990 a marqué l’apparition des premiers dispositifs neuroprothétiques pour les humains. La BCI ne lit pas l’esprit avec précision, mais détecte les plus petits changements dans l’énergie émise par le cerveau lorsque vous pensez d’une certaine manière. Une BCI reconnaît des modèles d’énergie/de fréquence spécifiques dans le cerveau.

Juin 2004 a marqué une évolution importante dans le domaine lorsque Matthew Nagle est devenu le premier humain à se faire implanter une BCI, le BrainGate™ de Cyberkinetics.

En décembre 2004, Jonathan Wolpaw et des chercheurs du Wadsworth Center du ministère de la Santé de l’État de New York ont présenté un rapport de recherche démontrant la capacité de contrôler un ordinateur à l’aide d’une BCI. Dans l’étude, les patients devaient porter une casquette contenant des électrodes pour capter les signaux EEG du cortex moteur – une partie du cerveau régissant le mouvement.

La BCI a eu une longue histoire centrée sur les applications de contrôle : curseurs, parties du corps paralysées, bras robotisés, composition de numéros de téléphone, etc.

Récemment, Elon Musk est entré dans l’industrie, annonçant un investissement de 27 millions de dollars dans Neuralink, une entreprise dont la mission est de développer une BCI qui améliore la communication humaine à la lumière de l’IA. Et Regina Dugan a présenté les plans de Facebook pour une technologie BCI qui change la donne et qui permettrait une communication numérique plus efficace. »

Selon John Thomas, Tomasz Maszczyk, Nishant Sinha, Tilmann Kluge et Justin Dauwels « Un système BCI a quatre composantes majeures : l’acquisition du signal, le prétraitement du signal, l’extraction des caractéristiques et la classification. » (source)

Pourquoi est-ce important ?

Selon Davide Valeriani, chercheur post-doctoral en interfaces cerveau-ordinateur à l’université d’Essex, « la combinaison des humains et de la technologie pourrait être plus puissante que l’intelligence artificielle. Par exemple, lorsque nous prenons des décisions basées sur une combinaison de perception et de raisonnement, les neurotechnologies pourraient être utilisées pour améliorer notre perception. Cela pourrait nous aider dans des situations telles que lorsque nous voyons une image très floue provenant d’une caméra de sécurité et que nous devons décider d’intervenir ou non. » (source)

Qu’est-ce que ces interfaces cerveau-ordinateur sont réellement capables de faire ?

Pour Zaza Zuilhof, Cela dépend de qui vous demandez et si vous êtes prêt ou non à subir une intervention chirurgicale. « Pour les besoins de cette expérience de pensée, supposons que les personnes en bonne santé n’utiliseront que des BCI non invasives, qui ne nécessitent pas de chirurgie. Dans ce cas, il existe actuellement deux technologies principales, l’IRMf et l’EEG. La première nécessite une machine massive, mais la seconde, avec les casques grand public comme Emotiv et Neurosky, est en fait devenue accessible à un public plus général. » (source)

.

Source

Cependant, La BCI peut également être un outil d’interaction prometteur pour les personnes en bonne santé, avec plusieurs applications potentielles dans le domaine du multimédia, de la RV ou des jeux vidéo parmi de nombreuses autres applications potentielles.

Davide Valeriani a déclaré que « le matériel EEG est totalement sûr pour l’utilisateur, mais enregistre des signaux très bruyants. Aussi, les laboratoires de recherche se sont surtout attachés à l’utiliser pour comprendre le cerveau et proposer des applications innovantes sans aucun suivi en produits commerciaux, jusqu’à présent… mais cela va changer.(source)

L’entreprise de Musk est la dernière en date. Sa technologie de « lacets neuronaux » consiste à implanter des électrodes dans le cerveau pour mesurer les signaux. Cela permettrait d’obtenir des signaux neuronaux de bien meilleure qualité que l’EEG – mais cela nécessite une intervention chirurgicale. Récemment, il a déclaré que les interfaces cerveau-ordinateur sont nécessaires pour confirmer la suprématie des humains sur l’intelligence artificielle. » (source)

Cette technologie est encore dangereuse ! En effet, nous avons fabriqué des ordinateurs et nous savons exactement comment ils fonctionnent et comment les « modifier ». Cependant, nous n’avons pas fabriqué nos cerveaux et nous ne savons toujours pas très bien comment ils fonctionnent. Et encore moins comment les « envahir » en toute sécurité et avec succès. Nous avons fait de grands progrès, mais pas encore assez.

Comment fonctionne votre cerveau aujourd’hui, et ce qui est à venir

En termes simples, votre cerveau est divisé en deux sections principales :

  • Le système limbique
  • Le néocortex.

Le système limbique est responsable de nos pulsions primaires, ainsi que de celles liées à la survie, comme manger et se reproduire. Notre néocortex est la zone la plus avancée, et il est responsable des fonctions logiques qui nous rendent bons en langues, en technologie, en affaires et en philosophie.

Le cerveau humain contient environ 86 milliards de cellules nerveuses appelées neurones, chacune étant individuellement reliée à d’autres neurones par des connecteurs appelés axones et dendrites. À chaque fois, que nous pensons, bougeons ou ressentons, les neurones sont à l’œuvre. En effet, le cerveau génère une énorme quantité d’activités neuronales. En gros, ce sont de petits signaux électriques qui se déplacent de neurones en neurones qui font le travail.

Il existe de nombreux signaux qui peuvent être utilisés pour la BCI. Ces signaux peuvent être divisés en deux catégories :
– Les pointes
– Les potentiels de champ

Nous pouvons détecter ces signaux, les interpréter et les utiliser pour interagir avec un dispositif.

.

Selon Boris Reuderink, consultant en apprentissage automatique chez Cortext, « L’un des plus gros problèmes des interfaces cerveau-ordinateur est que les signaux cérébraux sont faibles et très variables. C’est pourquoi il est difficile d’entraîner un classificateur et de l’utiliser le lendemain, et encore moins de l’utiliser sur un sujet différent. » (source)

Pour insérer le Neural Lace, une minuscule aiguille contenant le maillage enroulé est placée à l’intérieur du crâne. La maille est ensuite injectée et se dévoile lors de l’injection, englobant le cerveau.

L’intelligence artificielle ou l’apprentissage automatique a fait l’objet d’une grande attention pour le développement d’applications BCI afin de résoudre des problèmes difficiles dans plusieurs domaines, en particulier, les domaines médicaux et robotiques. L’IA/ML est depuis devenue l’outil le plus efficace pour les systèmes BCI. (source)

.

Tentons de développer un peu plus ces aspects ci-dessous. Chacun de ces aspects a son propre domaine de recherche.

Production de signaux
Il existe deux façons de produire ces signaux cérébraux :

.

Selon Sjoerd Lagarde, ingénieur logiciel chez Quintiq, « La génération active de signaux présente l’avantage de faciliter la détection des signaux, puisque vous avez le contrôle sur les stimuli ; Vous savez par exemple quand ils sont présentés. Cela est plus difficile dans le cas où vous ne faites que lire les ondes cérébrales du sujet. »

Détection des signaux
Il existe différentes façons de détecter les signaux cérébraux. Les plus connues sont l’EEG et l’IRMf, mais il en existe d’autres. L’EEG mesure l’activité électrique du cerveau, l’IRMf le flux sanguin dans le cerveau. Chacune de ces méthodes présente ses propres inconvénients et désavantages. Certaines ont une meilleure résolution temporelle (elles peuvent détecter l’activité cérébrale au moment où elle se produit), tandis que d’autres ont une meilleure résolution spatiale (elles peuvent localiser précisément l’activité).

L’idée reste largement la même pour les autres types de techniques de mesure.

Traitement du signal
L’un des problèmes que nous rencontrerons lorsque nous traiterons des données cérébrales, c’est que les données ont tendance à contenir beaucoup de bruit. En utilisant l’EEG, par exemple, des choses comme le grincement des dents apparaîtront dans les données, ainsi que les mouvements des yeux. Ce bruit doit être filtré.

Les données peuvent maintenant être utilisées pour détecter les signaux réels. Lorsque le sujet génère activement des signaux , nous sommes généralement conscients du type de signaux que nous voulons détecter. Un exemple est l’onde P300, qui est un potentiel lié à un événement et qui apparaît lorsqu’un stimulus peu fréquent et pertinent pour la tâche est présenté. Cette onde apparaîtra comme un pic important dans vos données et vous pourriez essayer différentes techniques d’apprentissage automatique pour détecter de tels pics.

Transduction du signal
Lorsque vous avez détecté les signaux intéressants dans vos données, vous voulez les utiliser d’une manière qui soit utile à quelqu’un. Le sujet pourrait par exemple utiliser la BCI pour contrôler une souris au moyen d’un mouvement imaginé. Un problème que vous rencontrerez ici est que vous devez utiliser les données que vous recevez du sujet aussi efficacement que possible, tout en gardant à l’esprit que les BCI peuvent faire des erreurs. Les BCI actuelles sont relativement lentes et font des erreurs de temps en temps (Par exemple, l’ordinateur pense que vous avez imaginé un mouvement de la main gauche, alors qu’en fait vous avez imaginé un mouvement de la main droite). » (source)

Dans le cas de la Dentelle Neurale, elle s’intègre au cerveau humain. Elle crée une symbiose parfaite entre l’humain et la machine.

Ces deux sections travaillent en symbiose l’une avec l’autre. Une couche d’IA ou une troisième interface pourrait se trouver au-dessus d’elles, nous branchant sur un monde très nouveau et avancé et nous donnant la possibilité de rester à égalité avec nos amis robots IA.

Cette connexion pourrait nous donner accès à un stockage de mémoire accru, à des capacités d’apprentissage automatique étonnantes et, oui, à une communication de type télépathique avec quelqu’un d’autre sans avoir besoin de parler.

« Vous avez une extension de machine de vous-même sous la forme de votre téléphone et de votre ordinateur et de toutes vos applications . . de loin, vous avez plus de pouvoir, plus de capacités que le président des États-Unis n’en avait il y a 30 ans », Elon Musk

Types de BCI

Selon Amit Ray, auteur de Compassionate Artificial Intelligence, « les BCI les plus sophistiquées sont les BCI « bidirectionnelles » (BBCI), qui peuvent à la fois enregistrer à partir du système nerveux et le stimuler.
Les interfaces cerveau-ordinateur peuvent être classées en trois en trois grands groupes :

Dans les techniques invasives, des dispositifs spéciaux doivent être utilisés pour capturer les données (signaux du cerveau), ces dispositifs sont insérés directement dans le cerveau humain par une chirurgie critique. Dans les techniques semi-invasives, les dispositifs sont insérés dans le crâne, sur le dessus du cerveau humain. En général, les dispositifs non invasifs sont considérés comme les plus sûrs et les moins coûteux. Toutefois, ces dispositifs ne peuvent capter que les signaux « plus faibles » du cerveau humain en raison de l’obstruction du crâne. La détection des signaux cérébraux est réalisée grâce à des électrodes placées sur le cuir chevelu.

Il existe plusieurs façons de développer une interface cerveau-ordinateur non invasive, comme l’EEG (électroencéphalographie), la MEG (magnétoencéphalographie) ou la MRT (tomographie par résonance magnétique). Une interface cerveau-ordinateur basée sur l’EEG est le type de BCI le plus utilisé dans les études. Les signaux EEG sont traités et décodés en signaux de commande, qu’un ordinateur ou un dispositif robotique perçoit aisément. L’opération de traitement et de décodage est l’une des phases les plus compliquées de la construction d’une BCI de bonne qualité. En particulier, cette tâche est si difficile que, de temps en temps, des institutions scientifiques et diverses sociétés de logiciels organisent des concours pour créer une classification des signaux EEG pour la BCI.

Réseau neuronal évolutif et BCI

Le RNE est un type de réseau neuronal IA basé sur le cortex visuel. Il a la capacité d’apprendre automatiquement les caractéristiques appropriées des données d’entrée en optimisant les paramètres de poids de chaque filtre à travers la propagation avant et arrière afin de minimiser l’erreur de classification.

Le cortex auditif humain est disposé selon une organisation hiérarchique, similaire au cortex visuel. Dans un système hiérarchique, une série de régions du cerveau effectue différents types de calculs sur les informations sensorielles au fur et à mesure qu’elles circulent dans le système. Les régions les plus précoces, ou « cortex visuel primaire », réagissent à des caractéristiques simples telles que la couleur ou la direction. Les étapes ultérieures permettent des tâches plus complexes comme la reconnaissance d’objets.

Un avantage de l’utilisation de la technique d’apprentissage profond est qu’elle nécessite un minimum de prétraitement puisque les paramètres optimaux sont appris automatiquement. Concernant les CNN, l’extraction de caractéristiques et la classification sont intégrées dans une seule structure et optimisées automatiquement. De plus, les données de séries temporelles fNIRS de sujets humains ont été introduites dans le CNN. Comme la convolution est effectuée de manière glissante, le processus d’extraction de caractéristiques du CNN conserve les informations temporelles des données de séries temporelles obtenues par fNIRS.

.

Source

Cependant, l’un des principaux problèmes de la recherche sur les ICB est la non-stationnarité des signaux cérébraux. Ce problème rend difficile pour un classificateur de trouver des modèles réels dans les signaux, ce qui entraîne de mauvaises performances de classification. » (source)

Comment pouvez-vous commencer à apprendre la BCI à partir de zéro ?

Hosea Siu, doctorant en ingénierie aérospatiale, a déclaré que  » Pour les interfaces directes « cerveau », vous avez besoin d’un ensemble d’électrodes EEG, et pour les interfaces du système nerveux périphérique, vous avez besoin d’électrodes EMG.

Une fois que vous pouvez obtenir ces données dans votre ordinateur, vous aurez besoin de faire un certain conditionnement du signal. Des choses comme le filtrage pour la fréquence du signal que vous recherchez, le filtrage du bruit environnemental (le bruit de 60 Hz des lignes électriques est courant aux États-Unis…).

Après, vous devez réfléchir à ce que vous essayez réellement de faire faire au système. Avez-vous besoin qu’il détecte un changement particulier dans vos schémas EEG lorsque vous pensez à la couleur bleue ? Ou bien avez-vous besoin qu’il détecte un changement dans votre EMG lorsque vous bougez un doigt ? Qu’en est-il de l’ordinateur ? Doit-il exécuter un programme ? Taper du texte ?

Pensez à la façon dont vous allez étiqueter vos données. Comment l’ordinateur saura-t-il initialement qu’un signal particulier est significatif ?

C’est l’apprentissage supervisé. Choisissez votre méthode de classification préférée, obtenez beaucoup de données étiquetées et entraînez votre système. Vous pouvez utiliser des méthodes comme la validation croisée pour vérifier si vos modèles formés font ce que vous pensez qu’ils sont censés faire.

Après tout cela, vous pourriez avoir quelque chose qui ressemble à une interface cerveau-ordinateur. » (source)

Où puis-je trouver des jeux de données pour l’apprentissage automatique sur les interfaces cerveau-ordinateur ?

Vous pouvez trouver plusieurs ensembles de données EEG accessibles au public sur le site Web suivant :

  • Base de données EEG gratuite données ERP accessibles au public
  • Interface cerveau-ordinateur de Berlin

Les progrès récents de l’intelligence artificielle et de l’apprentissage par renforcement avec la technologie d’interface neuronale et l’application de diverses méthodologies de traitement du signal nous ont permis de mieux comprendre puis d’utiliser l’activité cérébrale pour interagir avec des ordinateurs et d’autres appareils.

Pour en savoir plus