GUIDE wird neuartige Technologien zur Erkennung von Arbeitskontext, Assistenz und Führung für den Einsatz in der Fertigungs- und Produktionsumgebung untersuchen. Das Projekt ist durch die Tatsache motiviert, dass suboptimale Ergebnisse von Interaktionen zwischen Mensch und Maschine (gemessen an Produktqualität und Fertigungseffizienz) mit (i) der kognitiven Belastung und dem Aufmerksamkeitsgrad des Fabrikarbeiters, (ii) der Häufigkeit und dem Grad von Störungen während des Fertigungsablaufs sowie (iii) Fehlanpassungen zwischen den Fähigkeiten des Arbeiters und der Aufgabenkomplexität korreliert sind. GUIDE wird versuchen, den Grad der kognitiven Belastung von menschlichen Arbeitern bei der Ausführung von Aufgaben zu modellieren und ist damit verwandt mit der Grundlagenforschung in den interdisziplinären Bereichen der Kognitionswissenschaft, der Informatik, der Industrieforschung und des Behaviorismus. Darüber hinaus wird GUIDE über aktuelle interaktive Assistenzsysteme hinausgehen, die sich hauptsächlich auf Anwesenheitserkennung und Kollisionsvermeidung beschränken, indem es nicht nur den Produktionsschritt erkennt, sondern auch die zugrundeliegende Motivation, den Grad des Engagements und das Ziel für eine optimale Unterstützung und Führung der Aktivität interpretiert. Schließlich zielt GUIDE darauf ab, kontextsensitives, multimodales Feedback und Anweisungen auszulösen, abhängig von der jeweils aktuellen Arbeitsaufgabe, anpassbar in der Modalität der Sinneskanäle sowie in Bezug auf das aktuelle Fähigkeitsniveau und den Wunsch des Arbeiters nach Anleitung.
Typische industrielle Arbeitsprozesse beinhalten Informationen aus einer Vielzahl von Quellen, die in der Regel über eine Vielzahl von Orten verteilt sind. Unerfahrene Arbeiter sind daher oft gezwungen, ihre Aufmerksamkeit zwischen der Ausführung der Fertigungsaufgaben und der Suche nach Informationen aus verschiedenen Quellen aufzuteilen - eine Aufgabe, die sich nachweislich negativ auf die kognitive Belastung auswirkt und letztlich zu einer geringeren Produktivität führt. Im Rahmen von DP1 wird GUIDE an der Entwicklung eines Prototyps eines kognitiven Kopfgeräts (HMD) mitwirken, das dem Arbeiter alle notwendigen Informationen direkt zur Verfügung stellt, wenn er sie benötigt. Konkret wird GUIDE eine Pipeline zur Datenvorverarbeitung und zum maschinellen Lernen bereitstellen, die auf der mobilen Verarbeitungseinheit des HMD ausgeführt wird. Die Forscher wollen dies erreichen, indem sie ein bereits zuvor entwickeltes Framework für die opportunistische Multi-Sensor-Fusion im Bereich der eingebetteten Aktivitätserkennung nutzen und es für die Anforderungen der mobilen Ausführung in Verbindung mit dem entwickelten HMD optimieren. Diese Pipeline wird in der Lage sein, Low-Level-Sensordaten zu nutzen und sie in High-Level-Klassifikationsergebnisse zu transformieren, die sich auf (i) industrielle Arbeitsschritte oder den (ii) aktuellen kognitiven Zustand des Benutzers beziehen. Das erstellte HMD wird zusammen mit dem Kontexterkennungs-Framework in modernste industrielle Arbeitsgeräte integriert.

Ziele

Das Ziel von GUIDE ist die Erkennung von und die Reaktion auf Bedrohungen für wünschenswerte Interaktionsergebnisse, wodurch eine Verschlechterung der Produktqualität und der Fertigungseffizienz verhindert werden soll. Konkret wird GUIDE (i) menschliche Faktoren wie den Vitalzustand (Müdigkeit, Fitness), Fähigkeiten und Erfahrung, kognitive Belastung (Stress), laufende soziale Interaktionen, Ablenkungen und periphere Unterbrechungen (Hintergrundgeräusche), (ii) die Komplexität und den Zustand des Workflows in Bezug auf Aktivitäten, Prozesse, Pünktlichkeit, Ausnahmebehandlung, Robustheit, (ii) Workflow-Komplexität und -Zustand in Bezug auf Aktivitäten, Prozesse, Pünktlichkeit, Ausnahmebehandlung, Robustheit und Qualitätssicherung, (iii) Gerätekomplexität und Mitarbeiterfähigkeiten, insbesondere bei der Interaktion mit komplexen Fertigungswerkzeugen, (iv) Unterstützung der menschlichen Entscheidungsfindung in Bezug auf komplexe Informationen (maschinen- oder workflowbezogen), unzuverlässige oder unsichere Situationen und Erzielung von Transparenz bezüglich angebotener Unterstützung, und (v) Minimierung der kognitiven Belastung. Dabei zielt GUIDE auf eine modulare, opportunistische Architektur zur Erkennung von Werkerzuständen, die dedizierte mobile Sensoren (Eye-Tracker, Körperhaltung und Handbewegungen) und Aktoren (visuell, vibrotaktil, auditiv) nutzt, und auf die Entwicklung von Feedback-Trigger-Mechanismen, die in der Lage sind, Werker während Fertigungs-, Montage- und Produktionsaufgaben zu unterstützen, zu warnen und zu erkennen.

Ansatz

GUIDE wird (i) auf State-of-the-Art-Methoden zur kognitiven Belastungsabschätzung aufbauen und diese weiterentwickeln, (ii) maschinelle Lern- und Erkennungsarchitekturen entwickeln, die auf industrielle Maschinen und Workflow-Prozesse zugeschnitten sind, (iii) auf existierenden opportunistischen Sensorarchitekturen aufbauen und (iv) Trigger für Arbeiter-Feedback-Mechanismen formulieren. Zu diesem Zweck wird GUIDE ein Maß für die kognitive Belastung und die menschliche Aufmerksamkeit ableiten und diese in eine benutzerzentrierte und neu gestaltete Version der Kontexterkennungskette einfließen lassen, erweitert um High-Level-Reasoning- und Erkennungsarchitekturen. Anschließend werden die fusionierten Entscheidungsklassen mit Workflow-Prozessmodellen abgeglichen, die aus domänenspezifischem Expertenwissen abgeleitet wurden, um so die Vorhersage und Unterstützung zu unterstützen.

Erwartete und erreichte Ergebnisse

GUIDE zielt auf die Entwicklung eines ganzheitlichen Frameworks ab, das in verschiedenen Anwendungsfällen der industriellen Fertigung und Produktion eingesetzt werden kann, wie es mit unseren jeweiligen Industriepartnern vereinbart wurde. Dieses Framework wird die folgenden Komponenten umfassen und aus ihnen bestehen: (i) ein Sensor-Fusionsmodul, das dazu dient, tragfähige Sensor-Ensembles auf opportunistische Weise zu erstellen. Dieses wird über die Ergebnisse des WorkIT-Projekts hinausgehen und mit der Kontexterkennungskette, wie sie im GUIDE-Projekt implementiert wurde, integriert werden, (ii) zweckmäßige Modelle der menschlichen Aufmerksamkeit und kognitiven Belastung, die jeweils auf bestehenden Forschungen aus den Bereichen Psychologie und Kognition basieren. (iii) eine Modellierungsmethodik für die Abstraktion von Workflow-Prozessen, die Experten-Domänenwissen, Aktivitätserkennung, Kontexterkennung und Vorhersage umfasst, (iv) ein Skill- und Erfahrungsmodul, das in der Lage ist, die Fähigkeiten der Mitarbeiter abzuleiten und den Erfahrungsgewinn zu modellieren, und (v) ein Feedback-Trigger-Modul, das den Bedarf an Feedback ermittelt und eine Empfehlung für die Feedback-Modalität formuliert, die im SeeIT-Projekt verwendet werden soll. Dieses Framework wurde in einen im Rahmen des Demonstratorprojekts 1 entwickelten Head-Mounted-Display-Prototyp integriert und exemplarisch eingesetzt. Zu Demonstrationszwecken bildet das hergestellte HMD zusammen mit dem Kontexterkennungs-Framework ein eigenständiges, visuelles Unterstützungs- und Leitsystem, das wir z.B. bei der Firma Fronius im Rahmen von Shopfloor-Studien eingesetzt haben. In Zusammenarbeit mit dem Geschwisterprojekt WorkIT wurden speziell für überwachte Methoden ausgefeilte maschinelle Lernpipelines entwickelt. Wir entwickelten sowohl eine klassische merkmalsbasierte maschinelle Lernpipeline als auch mehrschichtige tiefe neuronale Netze, basierend auf State-of-the-Art-Paradigmen wie CNN (z.B. UNet oder Inception) und RNNs in Form von LSTMs. Weiterhin untersuchten wir den kognitiven Zustand von Arbeitern, indem wir eine Blickanalyse-Pipeline aufbauten oder Daten einer am Handgelenk getragenen GSR-Einheit nutzten, die wir zu diesem Zweck zur Untersuchung der kognitiven Belastung während des Schweißens oder zur Erkennung von Fertigkeiten während des Schweißens verwendeten.

Status / Fortschritt

Dieses Projekt startete offiziell im Januar 2018. Darin arbeitet Pro²Future gemeinsam mit unseren Unternehmenspartnern Froni-us, KEBA, Wacker Neuson, Trumpf, dem Institut für Technische Informatik und dem Institut für Hochfrequenztechnik der TU Graz an der Erstellung von industriellen Arbeiterführungs- und Assistenzsystemen. Wir haben den Projekt-Kick-Off abgehalten und mit allen Unternehmenspartnern an ihren jeweiligen Standorten Meetings durchgeführt, um die Möglichkeiten und erfolgversprechendsten Ansätze vor Ort auszuloten. Anhand von Voruntersuchungen wurden die ersten Systemmodelle für die Führungs- und Assistenzarchitekturen definiert. Diese werden bis heute durch die im Projekt WorkIT gesammelten Daten und durch die Ergebnisse hinsichtlich der Feedback-Auslöser zum Projekt SeeIT erweitert.
Das im Rahmen des Geschwisterprojekts WorkIT entstandene Software-Framework für maschinelles Lernen umfasst bisher sowohl eine klassische, auf Features basierende maschinelle Lernpipeline als auch eine auf tiefen neuronalen Netzen basierende, darüber hinaus bietet das Gesamt-Toolkit auch Schnittstellen und Implementierungen zur Abstraktion des kognitiven Zustands eines Arbeiters. Die trainierten maschinellen Lernmodelle wurden für jede industrielle Anwendung unserer Firmenpartner trainiert und erstrecken sich auf alle Schritte der Kontexterkennungskette. Die entwickelten Werkzeuge und Komponenten müssen noch erweitert werden, um den Bedarf an adaptivem Feedback für Industriearbeiter zu erkennen. Bisher waren sie jedoch in der Lage, Aufgabenineffizienz und Leistungsschwankungen zu erkennen und Nutzungsinformationen zur Produktoptimierung zurückzugeben. Des Weiteren haben wir eine Blickanalyse-Pipeline implementiert, die zur Erstellung von Merkmalen aus einer mobilen Eye-Tracking-Einheit verwendet wird, die zur Erkennung des kognitiven Zustands des Arbeiters, d.h. des Fähigkeitsniveaus oder der kog-nitiven Belastung, untersucht werden. Bislang haben wir für den Firmenpartner Trumpf das Skill-Level beim Biegen und für Fronius die kognitive Belastung beim Schweißen untersucht. Zusätzlich haben wir in Verbindung mit der Pipeline für maschinelles Lernen und Multi-Sensor-Fusion von WorkIT und dem Feedback-System von SeeIT bereits eine neue Führungsschnittstelle für Novizen implementiert, die ihnen beim Metallbiegen hilft. Die Arbeit wird von den Key Investigators auf alle Anwendungsfälle ausgeweitet und zeigt die kognitive Reasoning-Fähigkeit von GUIDE.