2021-05 E-BRAiN Newsletter - „Ein Blick hinter den Kulissen: Neurovisuelle Exploration mit Roboterunterstützung“ - Warum ein Roboter mehr als nur Kühe zählen muss
Sehr geehrte Damen und Herren,
mit unserem fünften Newsletter in 2021 wollen wir Sie über einige der aktuellen Forschungsarbeiten am Lehrstuhl Softwaretechnik unter der Leitung von Prof. Dr. Peter Forbrig am Institut für Informatik der Universität Rostock informieren.
Als Neglect (von lateinisch: neglegere = nicht wissen, vernachlässigen) wird in der Neurologie eine Störung der Aufmerksamkeit bezeichnet, die durch eine Schädigung im Gehirn (Hirnläsion) hervorgerufen wird und die dadurch charakterisiert ist, dass der Betroffene die der Hirnläsion gegenüberliegende Seite seiner Umgebung bzw. des eigenen Körpers nicht oder nur schlecht wahrnimmt bzw. bei seinen Aktivitäten nicht ausreichend berücksichtigt. [1]
Durch Training kann der Patient lernen, das Handicap zu reduzieren. Abbildung 1 zeigt ein Beispiel für eines der aktuell 233 möglichen für die „Neurovisuellen Exploration“ im Projekt E-BRAiN. Ziel dieser Aufgabe ist es, das spontane visuelle Explorieren zu schulen, um das Ausmaß eines „Neglects“ zu reduzieren. Bei dieser Aufgabe soll der Patient nacheinander alle Zielreize einer Zielvorlage identifizieren. Dazu soll er alle Objekte eines bestimmten Typs auf einem 27 Zoll großen Touch-Monitor antippen. Findet der Patient die alle Objekte, wird ihm eine „schwierigere“ Vorlage gezeigt.
Abbildung 1: Beispielbild für den Zielreiz "Kühe" (© Thomas Platz)
Werden bestimmte Objekte nicht gefunden, dann wird vom Roboter ein Hinweis gegeben, in welchem Bereich noch nicht identifizierte Objekte zu finden sind. Welche Art von Zielvorlagen (Kühe, Fenster, Blumen…) kann ein Patient aus einer vorgegebenen Liste aussuchen. Mit dem oberen Bild allein könnte der Roboter aber noch nicht viel anfangen. In unserem E-BRAiN Projekt muss der humanoide Roboter wissen, wo sich Zielreize genau befinden und in welcher Ausdehnung, damit er „erkennt“, ob und welches Objekt vom Patienten angetippt wurde.
Eine sichere Methode ist das „Maskieren“ der einzelnen Zielreize in separaten Bildern. Wenn eine Zielvorlage wie oben 5 Zielreize/Kühe zeigt, so müssen auch 5 Kühe maskiert werden. Ziel ist es, den Zielreiz möglichst genau zu maskieren. Bei den vorliegenden Bildern musste dies per Hand erfolgen. Dies ist ein mühsamer Schritt der Zeit in Anspruch nimmt. Momentan wird jedes maskierte Objekt einzeln abgespeichert und bei Vorlagen mit vielen Zielreizen führt dies auch zu einer Ansammlung von Bilddateien (im oberen Beispiel: 1 Zielvorlage und 5 Maskenbilder).
Abbildung 2: Benötigte "Zielmaske" für den Roboter
Dieses Wissen, wo genau eine z.B. eine Kuh „anfängt“ und „aufhört“, benötigt unser Roboter-basiertes Therapiesystem E-BRAiN nicht nur für die Messung, ob alles richtig berührt wurde, sondern auch, um dem Patienten eine nützliche Hilfestellung geben zu können. Damit der humanoide Roboter adäquat helfen kann, muss er im Vorfeld wissen, wo die verbleibenden Zielreize sind. Für jedes maskierte Objekt wird in einer Liste notiert, in welchem der neun Rechtecke (siehe Abbildung 2) es sich hauptsächlich befindet.
Wurden alle Zielreize vom Patienten auf dem Touch-Screen berührt, geht es automatisch weiter mit der Sitzung. Wenn ein Patient allerdings nach einer bestimmten Zeit keine neuen Zielreize mehr findet, hilft der Roboter. Hier kommt der Einsatz des Roboters erst richtig zur Geltung, da dieser dem Patienten nun gestuft spezifische Hinweise gibt, wo die noch verbleibenden Zielreize zu finden sind. Zunächst kommt ein Hinweis, dass noch unberührte Zielreize vorhanden sind. Wenn nun nach einiger Zeit auch kein neuer Zielreiz berührt wurde, gibt der Roboter einen spezifischen Hinweis, um dem Patienten beim Explorieren zu helfen.Hierzu werden die Rechtecke aus Abbildung 2 auf berücksichtigte Zielreize überprüft. Wird ein unberührter Zielreiz in diesem Prüfungsablauf gefunden, wird dem Patienten verbal mitgeteilt, dass z.B. „unten links“ sich noch ein Objekt befindet. Neben dem Identifizieren von vorher charakterisierten Objekten in statischen Bildern gibt es für Neglect-Patienten auch Aufgaben zur Identifikation von Objekten, die sich von der Mehrheit der angezeigten Objekte unterscheiden (Abbildungen 3 und 4 illustrieren das Prinzip).
Abbildung 3: Identifikation eines von der Mehrheit farblich unterschiedlichen Objektes
Abbildung 4: Identifikation eines von der Mehrheit in der Form unterschiedlichen Objektes
Bisher wurden die Apps und die Unterstützung durch den humanoiden Roboter durch Testpersonen überprüft. Eine Evaluation mit Patienten kann hoffentlich demnächst bald erfolgen.
Ein Forschungsverbund mit Beteiligung der Universität und Universitätsmedizin Greifswald, Universität Rostock und Hochschule Neubrandenburg
Verbund-Koordinator Prof. Dr. med. Thomas Platz | Ansprechpartner Team der AG Neurorehabilitation |
Impressum | Datenschutz | Newsletter abmelden
ebrain-science.de
