Während einer Therapiesitzung muss der Patient eine Reihe von Übungen absolvieren. Vor jeder Übung erklärt der Roboter dem Patienten, wie er diese Übungen ausführen soll. Auch während der Übung gibt der Roboter Feedback und Hilfestellungen. Um optimales Feedback geben zu können, müssen die Aussagen des Roboters auf den aktuellen Kontext und den Patienten angepasst sein. Hierfür nutzen wir demografische Informationen (Name, Alter, ...), medizinische Informationen (betroffene Seite, Schwere der Lähmung, …), kognitive und kommunikative Fähigkeiten (Verständnis der Sprache, etc.) und die Performance des Patienten während einer Übung. 

Um dies zu ermöglichen, haben wir einen Zustandsautomaten („Moore“-Automat) erstellt, der durch die einzelnen Schritte einer Therapie führt. Basierend auf diesen Zuständen werden Texte ausgegeben. Diese Texte wurden zuvor in einem Manual festgelegt. Die Texte werden in jedem Zustand mithilfe des Tools „RosaeNLG“ generiert. Um die Natürlichkeit der Texte zu erhöhen, nutzen wir linguistische Referenzen. Was ist damit gemeint? Bei unserer „natürlichen“ Sprache nutzen wir nicht immer wieder die gleichen Ausdrücke, sondern machen solche „Referenzen“. Zum Beispiel sprechen wir in einem ersten Satz von der „Neglect-Therapie“ und sagen dann im nächsten Satz nur noch von „diese“ (als Referenz). Auch die Kommunikation des Roboters soll möglichst „natürlich“ wirken, also nutzen wir auch bei der technisch implementierten Kommunikation solche Referenzen. Diese können sich auf Objekte des aktuellen Zustandes, als auch auf Objekte aus vorherigen Zuständen beziehen. Da RosaeNLG zuvor nur auf Objekte innerhalb eines Zustandes referenzieren konnte, haben wir das Tool so erweitert, dass auch Objekte aus vorherigen Zuständen referenziert werden können. Diese Referenzen sind allerdings nur innerhalb einer bestimmten Zustandsmenge und einer bestimmten Zeit möglich. Die Zustandsmenge, in der Referenzen möglich sind, nennen wir Sektionen („section“). Der zeitliche Raum wird „temporal scope of referring expression“ genannt. Die Abbildung 2 zeigt dieses Konzept.

Zudem haben wir Sprachniveaus eingeführt, mit denen Menschen mit eingeschränktem Sprachverständnis geholfen werden soll. Angepasst an diese kommunikativen Fähigkeiten des Patienten weisen die generierten Texte unterschiedliche Komplexitäten auf. Aktuell nutzen wir zwei Sprachniveaus. Zum einen eine „elaborierte Sprache“ und zum anderen eine „leichte Sprache“. 

Da Texte im medizinischen Umfeld korrekt und fehlerfrei sein müssen, haben wir unser Tool RosaeNLG und unseren Zustandsautomaten erweitert, sodass diese alle möglichen Texte eines Dialoges ausgeben können. Alle Texte und weitere Ausgaben eines Zustandes werden dafür in eine PDF-Datei geschrieben, in der jede Seite einen einzelnen Zustand darstellt. Mithilfe dessen ist es möglich, dass Experten diese Dialoge auf ihre Korrektheit überprüfen können.

Die Umsetzung der Sprachsynthese wurde außerdem in einem Paper beschrieben und bei einem Workshop im Rahmen der NAACL 2021 eingereicht.