Smart Home Technologien können den Menschen in vielen Alltagssituationen unterstützen und zu einem selbstbestimmten und unabhängigen Leben beitragen. Sie bieten in diesem Zusammenhang verschiedene Komfortfunktionen, liefern Informationen und bietet durch die Möglichkeit der wechselseitigen Vernetzung technischer Arrangements vielfältige Möglichkeiten zur Individualisierung. Die Möglichkeiten Gegenstände zu bewegen oder zu manipulieren sind jedoch äußerst beschränkt. Serviceroboter bieten die Fähigkeit genau diese Aufgaben sehr flexibel zu übernehmen. Die Kombination bzw. Integration von Robotertechnologien in Smart Home Umgebungen bietet daher eine erweiterte Möglichkeit, vermittelt über den Roboter, Veränderungen in der physischen Welt vornehmen zu können.



Aus vorherigen Erfahrungen konnte identifiziert werden, dass die Interaktion zwischen dem Menschen und der Technik eine Schlüsselrolle hinsichtlich Akzeptanz, Usability aber auch Praxistauglichkeit einnimmt. So entstand der Wunsch ein selbstlernendes System zu entwickeln, das sich durch die Interaktion an den Menschen kontinuierlich anpasst und dabei auf bestehende, robotische Fähigkeiten zurückgreift. Zentrales Element, um dieses Ziel erreichen zu können, ist ein intuitives Dialogsystem sowie die nonverbale Kommunikation, die zusammen die Umsetzung der Interaktion realisieren.

Zu Beginn des Projektes wurde eine detaillierte Anforderungsanalyse mit der Zielgruppe durchgeführt um sowohl technische als auch nicht-technische Voraussetzungen für das Entwicklungskonzept zu erheben. Hierzu wurde ein umfangreicher Fragenkatalog mit dem Konsortium abgestimmt. Die Ergebnisse der Interviews wurden anschließend zu einem Anforderungskatalog zusammengeführt, welcher in einem gemeinsamen Workshop intensiv diskutiert und priorisiert wurde. Diese Diskussion hat die Entwicklung der zwei Szenarien maßgeblich beeinflusst. Feedback der Zielgruppe noch vor der eigentlichen Software-Entwicklung in das Projekt einfließen zu lassen, hat die Ausrichtung und Fokussierung auf die Bedürfnisse des Menschen sehr positiv beeinflusst.



Weiterhin wurden zu Projektbeginn ebenso ELSI-Anforderungen an die Konzeption und Entwicklung eines robotischen Systems zur Unterstützung älterer Menschen im Rahmen eines Experten-Workshops ermittelt. Auf der Grundlage dieser Vorarbeiten haben die technischen Partner in einem iterativen Prozess eine Gesamtsystemarchitektur entwickelt. In der obenstehende Abbildung sind die drei Ebenen des „Prozessmanagements“, der „Prozessausführung“ sowie „Taskausführung“ zu erkennen. Ebenso sind die „Datenbank“, das „Lernende Element“ sowie die Abhängigkeiten zu den anderen Komponenten dargestellt. Für die effiziente, gemeinsame Entwicklung eines komplexen Gesamtsystems verteilt über mehrere Partner, war diese initiale Abstimmung entscheidend. Diese strukturierte Entwicklung anhand der definierten Architektur hat die Effizienz und Qualität der Arbeiten deutlich erhöht.

Die ersten Versuche und Testungen lassen deutlich erkennen, dass die verbale Interaktion die zentrale und entscheidende Schnittstelle zwischen dem Menschen und der Technik ist. Über diese Interaktion entscheidet sich zum einen die Akzeptanz für ein Robotersystem, aber auch die Effizienz der Aufgabenerfüllung. AuRorA lernt durch die Interaktion mit dem Nutzer und passt entsprechend die Dialoge an, so dass im Dialog ein situations- und personenabhängig unterschiedliches Verhalten des Roboters entsteht. Dieser lernende Charakter dient als Grundlage für eine natürliche, intuitive Interaktion mit dem Robotersystem. Die Anpassungsfähigkeit des AuRorA-Systems wurde anhand der zwei sehr unterschiedlichen Szenarien demonstriert. Obwohl in dem Projekt keine Entwicklungen oder Innovationen im Bereich der Roboter-Fähigkeiten entstanden sind, konnte dennoch ein sehr innovatives Gesamtsystem aufgebaut werden, welches hinsichtlich der Flexibilität, Lernfähigkeit und Interaktionskonzepte weit über den bisherigen Stand der Technik hinausgeht.

Das AuRorA-Hotelszenario findet hauptsächlich im Empfangsbereich eines Hotels statt und zeichnet sich dadurch aus, dass es sehr viele, unterschiedliche Interaktionspartner gibt, die für relativ kurze Zeit mit dem System in Kontakt treten. Das System kann sich somit nicht auf eine einzelne Person einstellen, sondern muss sich an allgemeine Präferenzen der Hotelgäste anpassen. Bei den ersten Versuchen in der realen Hotelumgebung hatte sich gezeigt, dass die Navigation auch in einer solchen dynamischen Umgebung sehr gut funktioniert. Das Dialogsystem erzielte ebenfalls gute Ergebnisse trotz der Umgebungsgeräusche und Paul konnte sich über ein großes Interesse der Gäste und des Hotelpersonals freuen. Die Komponenten aller Partner arbeiteten insofern gut zusammen und die Behavior-Trees haben sich durch ihre modulare, rekursive Struktur als effektiv zur Modellierung der benötigten Fähigkeiten erwiesen.

Im Küchenszenario findet im Gegensatz zum Hotel eine längere Interaktion mit nur einem Menschen statt. Das System ist zunächst nicht angelernt. Durch den fragenden, proaktiven Charakter passt es sich jedoch schnell an die Präferenzen des Nutzers an und erlernt während des gemeinsamen Kochens individuelle Vorlieben. Die Mensch-Roboter-Kollaboration basiert auf einem Ansatz des verteilten Handelns im Soziotechnischen, so dass der Mensch auch Aufgaben übernehmen muss. Insgesamt leitet jedoch der Roboter durch den Kochvorgang und kann an vielen Stellen unterstützen. Die Erweiterung der Küche um die Linearachse erlaubt es dem robotischen Leichtbauarm den gesamten Arbeitsraum zu nutzen. Die synchrone Bewegung der Linearachse zusammen mit dem Roboter sowie der visuellen Anzeige der Bewegungen durch einen LED-Streifen ist eine sehr innovative Integration von Serviceroboter-Technologie in eine Smart Home Umgebung. Darüber hinaus wurde die Küche um ansteuerbare Schubladen und Gewürzmühlen erweitert. Jeweils 3 Kameras zur linken und rechten Seite an der Decke der Küche wurden zu einem Stereo System verbunden. Insgesamt 6 Kameras erfassen so den ganzen gemeinsamen Arbeitsraum in 3D.



Zur Erkennung der Objekte auf der Küchenoberfläche wurde eine Leistungsstarke KI-Komponente (Mask R-CNN nach (Kaiming, Gkioxari, Dollar, & Girshick, 2017)) in das AuRorA System integriert. Das Netzwerk detektiert und segmentiert antrainierte Objekte zuverlässig. Die Pixelkoordinaten der konvexen Detektionen werden mit Hilfe einer geordneten Punktewolke in das Roboter Koordinatensystem projiziert. Da das System ausschließlich Objekte auf der Küchenzeile manipulieren soll, wurden die objektspezifischen Punktewolken noch einmal auf eine Ebene (Küchenebene) projiziert. Um Töpfe, Dosen und weitere zylinderförmige

Objekte greifen zu können, wurden die Mittelpunkte der Objekte mithilfe eines Circlefits berechnet.

Die Müdigkeitserkennung mittels einer KI-Methode auf Basis der Herzratenvariabilität, funktioniert prinzipiell. Diese nonverbale Information kann der Roboter nutzen um zu entscheiden, wann er eine Aufgabe des Menschen übernehmen soll. Ziel von AuRorA war es nicht alle Aufgaben zu übernehmen, sondern gezielt zu unterstützen, so dass die Nutzer auch im Alter aktiv bleiben oder wenn möglich sogar aktiviert werden. Das angelernte System zeigt ein angepasstes Interaktionsverhalten und verdeutlicht den Mehrwert und die Flexibilität.

Das Kochen eines Gerichts wie Spaghetti mit Tomatensauce zeigt anschaulich die kombinatorische Herausforderung von realen Robotikanwendungen. Nicht nur die Zutaten für die Sauce können stark variieren, auch die Reihenfolgen und Mengenangaben erhöhen die Dimensionalität. Nimmt man die sprachliche Vielfalt hinzu, mit der eine solche Aufgabe beschrieben werden kann, wird die Herausforderung für die Interaktionsforschung deutlich: wie kann ein Roboter alle Möglichkeiten verstehen oder auch die persönlichen Vorlieben überhaupt erlernen? Die im Rahmen von AuRorA entwickelten lernenden Behavior-Trees können für solche Aufgaben verwendet werden und haben den Vorteil, dass sie bereits sehr modular aufgebaut sind. Damit verbunden ermöglichen sie eine Wiederverwendung im Rahmen weiterer Aufgaben und Entscheidungskombinationen.



Für weitere Arbeiten mit dem System, könnte die allgemeine Robustheit des Demonstrators erhöht, sowie die Flexibilität und Adaptivität, durch Erkennen weiterer Zustände und Nutzerintentionen gesteigert werden. Hierfür könnten z.B. neue, noch effektivere Lernstrategien für die neu entwickelten, lernenden Behavior-Trees entwickelt werden. Momentan noch vom Entwickler vordefinierte Roboterverhalten, könnten durch eine dynamische, on demand Erstellung neuer Behavior-Trees durch den Nutzer selbst übernommen werden. Dieser könnte so im Nachhinein das System weiter auf die eigenen Bedürfnisse anpassen. Semantik wurde in der aktuellen Implementierung unter anderem in einen auf ROS basierenden Object-Tracker ausgelagert, könnte jedoch zukünftig auch nativ in die Behavior-Trees übernommen werden. Auch durch eine stärkere Verzahnung der verteilten Sensorik könnten die Fähigkeiten des Systems weiter gesteigert werden. Denkbar wäre in diesem Zusammenhang auch eine Stress-Level-Erfassung mit einer KI über die Vitalparametern, ähnlich der Müdigkeitserkennung. Dies wäre jedoch ein weiterführendes Forschungsdesiderat für zukünftige Projekte im Bereich MTI. Spannend wäre ebenfalls, die Entwicklung einer Metrik für die Akzeptanz von Servicerobotik, die von den Interaktionsformen abhängt. Dadurch wäre es möglich beim Interaktionsdesign bereits die Bedürfnisse des Menschen zu erfassen und in den Entwicklungsprozess einfließen lassen zu können.