Die ersten Versuche und Testungen lassen deutlich erkennen, dass die verbale Interaktion die zentrale und entscheidende Schnittstelle zwischen dem Menschen und der Technik ist. Über diese Interaktion entscheidet sich zum einen die Akzeptanz für ein Robotersystem, aber auch die Effizienz der Aufgabenerfüllung. AuRorA lernt durch die Interaktion mit dem Nutzer und passt entsprechend die Dialoge an, so dass im Dialog ein situations- und personenabhängig unterschiedliches Verhalten des Roboters entsteht. Dieser lernende Charakter dient als Grundlage für eine natürliche, intuitive Interaktion mit dem Robotersystem. Die Anpassungsfähigkeit des AuRorA-Systems wurde anhand der zwei sehr unterschiedlichen Szenarien demonstriert. Obwohl in dem Projekt keine Entwicklungen oder Innovationen im Bereich der Roboter-Fähigkeiten entstanden sind, konnte dennoch ein sehr innovatives Gesamtsystem aufgebaut werden, welches hinsichtlich der Flexibilität, Lernfähigkeit und Interaktionskonzepte weit über den bisherigen Stand der Technik hinausgeht.

Das AuRorA-Hotelszenario findet hauptsächlich im Empfangsbereich eines Hotels statt und zeichnet sich dadurch aus, dass es sehr viele, unterschiedliche Interaktionspartner gibt, die für relativ kurze Zeit mit dem System in Kontakt treten. Das System kann sich somit nicht auf eine einzelne Person einstellen, sondern muss sich an allgemeine Präferenzen der Hotelgäste anpassen. Bei den ersten Versuchen in der realen Hotelumgebung hatte sich gezeigt, dass die Navigation auch in einer solchen dynamischen Umgebung sehr gut funktioniert. Das Dialogsystem erzielte ebenfalls gute Ergebnisse trotz der Umgebungsgeräusche und Paul konnte sich über ein großes Interesse der Gäste und des Hotelpersonals freuen. Die Komponenten aller Partner arbeiteten insofern gut zusammen und die Behavior-Trees haben sich durch ihre modulare, rekursive Struktur als effektiv zur Modellierung der benötigten Fähigkeiten erwiesen.

Im Küchenszenario findet im Gegensatz zum Hotel eine längere Interaktion mit nur einem Menschen statt. Das System ist zunächst nicht angelernt. Durch den fragenden, proaktiven Charakter passt es sich jedoch schnell an die Präferenzen des Nutzers an und erlernt während des gemeinsamen Kochens individuelle Vorlieben. Die Mensch-Roboter-Kollaboration basiert auf einem Ansatz des verteilten Handelns im Soziotechnischen, so dass der Mensch auch Aufgaben übernehmen muss. Insgesamt leitet jedoch der Roboter durch den Kochvorgang und kann an vielen Stellen unterstützen. Die Erweiterung der Küche um die Linearachse erlaubt es dem robotischen Leichtbauarm den gesamten Arbeitsraum zu nutzen. Die synchrone Bewegung der Linearachse zusammen mit dem Roboter sowie der visuellen Anzeige der Bewegungen durch einen LED-Streifen ist eine sehr innovative Integration von Serviceroboter-Technologie in eine Smart Home Umgebung. Darüber hinaus wurde die Küche um ansteuerbare Schubladen und Gewürzmühlen erweitert. Jeweils 3 Kameras zur linken und rechten Seite an der Decke der Küche wurden zu einem Stereo System verbunden. Insgesamt 6 Kameras erfassen so den ganzen gemeinsamen Arbeitsraum in 3D.



Zur Erkennung der Objekte auf der Küchenoberfläche wurde eine Leistungsstarke KI-Komponente (Mask R-CNN nach (Kaiming, Gkioxari, Dollar, & Girshick, 2017)) in das AuRorA System integriert. Das Netzwerk detektiert und segmentiert antrainierte Objekte zuverlässig. Die Pixelkoordinaten der konvexen Detektionen werden mit Hilfe einer geordneten Punktewolke in das Roboter Koordinatensystem projiziert. Da das System ausschließlich Objekte auf der Küchenzeile manipulieren soll, wurden die objektspezifischen Punktewolken noch einmal auf eine Ebene (Küchenebene) projiziert. Um Töpfe, Dosen und weitere zylinderförmige

Objekte greifen zu können, wurden die Mittelpunkte der Objekte mithilfe eines Circlefits berechnet.

Die Müdigkeitserkennung mittels einer KI-Methode auf Basis der Herzratenvariabilität, funktioniert prinzipiell. Diese nonverbale Information kann der Roboter nutzen um zu entscheiden, wann er eine Aufgabe des Menschen übernehmen soll. Ziel von AuRorA war es nicht alle Aufgaben zu übernehmen, sondern gezielt zu unterstützen, so dass die Nutzer auch im Alter aktiv bleiben oder wenn möglich sogar aktiviert werden. Das angelernte System zeigt ein angepasstes Interaktionsverhalten und verdeutlicht den Mehrwert und die Flexibilität.