Home | english  | Impressum | Sitemap | Intranet | KIT
Portrait Monika Landgraf
Kontakt:
Monika Landgraf
Pressesprecherin, Leitung Presse

Tel: +49 721 608-47414
Fax: +49 721 608-43658
E-Mail

Abonnement der Presseinformationen

per RSS-Feed

per E-Mail

Presseinformation 063/2015

Spracherkennung aus Gehirnströmen

Aus Aktivitätsmustern auf der Gehirnoberfläche lassen sich gesprochene Sätze rekonstruieren / „Brain-to-Text“ vereint Kenntnisse aus den Neurowissenschaften, der Medizin und der Informatik
Mittels Elektrokortikographie wird Gehirnaktivität aufgezeichnet (blaue Kreise). Aus den Aktivitätsmustern (blau/gelb) lassen sich die gesprochenen Wörter erkennen (Bild: CSL/KIT)
Mittels Elektrokortikographie wird Gehirnaktivität aufgezeichnet (blaue Kreise). Aus den Aktivitätsmustern (blau/gelb) lassen sich die gesprochenen Wörter erkennen (Bild: CSL/KIT)

Sprache ist eine der Aufgaben der menschlichen Großhirnrinde (Kortex). Sprachprozesse drücken sich in Hirnströmen aus, die mittels Elektroden direkt am Kortex aufgezeichnet werden können. Nun ist es erstmals gelungen, aus diesen Strömen kontinuierlich gesprochene Laute, Wörter und ganze Sätze zu rekonstruieren und per Computer als Text wiederzugeben. Ihr Verfahren „Brain-to-Text“ stellen Forscher des KIT und des amerikanischen Wadsworth Centers nun in der Fachzeitschrift Frontiers in Neuroscience vor (doi: 10.3389/fnins.2015.00217).

 

„Schon lange wurde darüber spekuliert, ob die direkte Kommunikation zwischen Mensch und Maschine über Gehirnströme möglich ist“, erklärt Tanja Schultz, die mit Ihrem Team am Cognitive Systems Lab des KIT die vorliegende Studie durchgeführt hat. „Wir konnten nun zeigen, dass aus Gehirnströmen einzelne Sprachlaute und kontinuierlich gesprochene komplette Sätze erkannt werden können.“

 

Die Ergebnisse wurden durch die interdisziplinäre Zusammenarbeit von Forscherinnen und Forschern aus Informatik, Neurowissenschaften und Medizin möglich. In Karlsruhe wurden Methoden aus der Signalverarbeitung und der automatischen Spracherkennung angewendet. „Diese erlauben neben der Erkennung von Sprache aus Gehirnsignalen eine detaillierte Analyse der am Sprachprozess beteiligten Gehirnregionen und ihrer Interaktionen“, sagen Christian Herff und Dominic Heger, die im Rahmen ihrer Promotion das Brain-to-Text-System entwickelt haben.

 

Die aktuelle Arbeit ist weltweit die Erste, die kontinuierlich gesprochene Sprache erkennt und in Text transformiert. Dazu werden Informationen aus dem Kortex mit linguistischem Wissen und Algorithmen des maschinellen Lernens kombiniert, um die wahrscheinlichste Wortsequenz zu extrahieren. Derzeit arbeitet Brain-to-Text auf hörbar gesprochener Sprache, die Ergebnisse sind allerdings ein sehr wichtiger erster Schritt hin zur Erkennung gedachter Sprache.

 

Die Hirnströme wurden im Rahmen der Behandlung von 7 Epilepsie-Patienten, die freiwillig an den Experimenten teilnahmen, in den USA aufgezeichnet. Im Zuge ihrer neurologischen Behandlung wurde ihnen ein Elektrodennetz auf die Großhirnrinde gelegt (Elektrokortikographie (ECoG)). Während die Patienten Beispieltexte laut vorlasen, wurden die räumlich und zeitlich hoch aufgelösten ECoG-Signale aufgezeichnet. Diese wurden später in Karlsruhe analysiert und dienten als Basis für die Entwicklung von Brain-to-Text. Neben der reinen Grundlagenforschung und einem besseren Verständnis der hochkomplexen Sprachprozesse im Gehirn könnte Brain-to-Text ein Baustein sein, um Locked-in-Patienten zukünftig eine sprachliche Kommunikation zu ermöglichen.

 

Ein Video zur Funktionsweise von Brain-To-Text:
http://csl.anthropomatik.kit.edu/publikationen_2934.php

 

Die Studie online
http://journal.frontiersin.org/article/10.3389/fnins.2015.00217

 

 

Das Karlsruher Institut für Technologie (KIT) verbindet seine drei Kernaufgaben Forschung, Lehre und Innovation zu einer Mission. Mit rund 9 300 Mitarbeiterinnen und Mitarbeitern sowie 25 000 Studierenden ist das KIT eine der großen natur- und ingenieurwissenschaftlichen Forschungs- und Lehreinrichtungen Europas.

KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft

kes, 15.06.2015

Weiterer Kontakt:

Kosta Schinarakis
Presse, Kommunikation und Marketing, Themenscout
Tel.: +49 721 608-41956
Fax: +49 721 608-43658
E-Mail:schinarakis@kit.edu
Das Foto kann in druckfähiger Qualität angefordert werden unter: presseLyw5∂kit edu oder +49 721 608-47414. Die Presseinformation steht auch als PDF-Datei zur Verfügung.