Alleine im Jahr 2019 flog der ÖAMTC über 2.000 alpine Such- und Rettungseinsätze mit Helikoptern. Oft müssen vermisste oder verunglückte Personen in unwegsamen Gelände und aus der Luft gesucht und geborgen werden. Dabei kommen Wärmebildkameras zum Einsatz, die die Differenz von Körperwärme und Umgebungstemperatur detektieren. In dicht bewaldeten Gebieten ist das allerdings nicht mehr möglich, da Bäume und anderer Bewuchs den Untergrund zu stark verdecken. Bemannte Suchflüge werden so zu einer aufwendigen und zeitintensiven Herausforderung, die oft spät oder gar nicht zum Erfolg führt.

Autonome Drohnen werden in Zukunft vermehrt solche Sucheinsätze unterstützen, indem sie Suchgebiete vergrößern oder Suchzeiten verkürzen. Diese Drohnen müssen eigenständig, aber auch zuverlässig Personen finden können, bevor sie ein Rettungsteam zur Bergung alarmieren. Fortschritte im Bereich der Künstlichen Intelligenz legen dabei grundlegende Meilensteine, lösen das Problem alleine aber nicht.  

Das Team um Prof. Oliver Bimber vom Institut für Computergrafik der JKU hat nun einen weltweit einzigartigen Drohnen-Prototyp präsentiert, der dieser Aufgabe gewachsen ist. Die Drohne versucht nicht, wie üblich Personen in einzelnen Wärmebildern zu detektieren, da diese oft ganz oder teilweise verdeckt sind. Stattdessen kombiniert sie mehrere Einzelaufnahmen zu einem Integralbild, das zur Klassifikation genutzt wird. Da die Integralbilder Verdeckungen deutlich reduzieren, werden mithilfe von modernen Deep-Learning-Verfahren Personen mit einer Wahrscheinlichkeit von weit über 90% korrekt erkannt -- trotz starker Verdeckung. Die gleichen Verfahren erreichen in herkömmlichen Einzelbildern lediglich eine Erkennungsrate von unter 25%. Da für diesen Einsatzzweck bisher keinerlei Daten existieren, die es erlauben ein Deep-Learning-Verfahren zu trainieren, musste das Team in den letzten Monaten eine eigene Datenbasis erstellen, die nun der Öffentlichkeit frei zur Verfügung steht. Viele Studierende und Mitarbeiter*innen der JKU halfen hier als Probanden aus. 

Die Ergebnisse der ersten Feldstudien und die grundlegende Erkenntnis, dass sich im Fall von Verdeckungen Bildkombinationen signifikant besser zur Klassifikation eignen als Einzelaufnahmen, werden nun im renommierten Journal Nature Machine Intelligence publiziert. Sie finden nicht nur Anwendung für zivile Such- und Rettungseinsätze, sondern auch in anderen Bereichen wie Überwachungsaufgaben der Polizei oder des Militärs, bei autonomen Fahrzeugen oder Wildbeobachtungen. Aktuell arbeitet das Team an der Verbesserung des Verfahrens, um Suchgeschwindigkeit und -radius weiter zu erhöhen.

Gefördert wird das Grundlagenforschungsprojekt durch den Österreichischen Wissenschaftsfonds (FWF) und durch das Land Oberösterreich gemeinsam mit dem Ministerium für Bildung, Wissenschaft und Forschung (BMBWF) über das Linz Institute of Technology (LIT).