Der bisherige Stand der Technik beruht darauf, Bilddaten in unterschiedlichen Wellenlängen aufzunehmen, um daraus anwendungsspezifische Messungen zu unterstützen. Heutige Fernerkundungstechnologie von Satelliten, Flugzeugen und Drohnen beruhen darauf.

Dabei wird neben dem sichtbaren Spektrum auch das nahe Infrarotspektrum genutzt, um z.B. den Vitalzustand von Vegetation abzuschätzen, während das weite Infrarotspektrum Wärmequellen ausfindig macht. Klassische Multispektralaufnahmen haben das Problem, dass – z.B. durch Wald – verdeckte Objekte nicht erfasst werden können.

JKU Technologie sorgte für Durchbruch
Das bereits 2018 an der JKU entwickelte Abtastverfahren, Airborne Optical Sectioning (AOS), ermöglicht allerdings durch die Kombination vieler Einzelaufnahmen das Wegrechnen von Verdeckung in Echtzeit, und somit das Sichtbarmachen von eigentlich unsichtbaren Objekten unter dichter Vegetation. Gezeigt wurde das Potenzial von AOS bereits in Bereichen wie der Suche nach Vermissten, Wildbeobachtung, Waldbranderkennung, und Archäologie.

All diese multispektralen Bilddaten, egal ob reguläre Einzelbilder oder verdeckungsfeie AOS Aufnahmen, beinhalten ganz unterschiedliche und oft wichtige Einzelinformationen. Während z.B. normale Aufnahmen im sichtbaren Spektrum eine örtliche Referenz durch erkennbare Bewaldungsstrukturen geben, aber verdeckte Objekte unterhalb der Baumkronen nicht erkennbar sind, liefern die AOS Aufnahmen genau diese – verliert dabei aber die wichtige Orientierungshilfe. „Auch die Daten in unterschiedlichen Spektralbändern, wie Wärmebild oder Nah-Infrarot, liefern ganz unterschiedliche Informationen. Diese Bilddaten mit Hilfe einfacher Bildverarbeitung zu ermitteln würde zur Unterdrückung und im schlimmsten Fall zum Verlust der wesentlichen Details führen“, erklärt Univ.-Prof. Oliver Bimber (JKU Institut für Computergrafik). Gemeinsam mit seinem Team ist es ihm nun gelungen, die wichtigsten Informationen aus all diesen Kanälen in einem einzigen Bild weitgehend verlustfrei zu kombinieren.

Die Frage, welche Informationen nun wirklich wichtig sind, liefert ein neuartiges KI-Verfahren. Die entwickelte Bildfusion (engl. image fusion) ist, gemessen an dem heutigen Stand der Technik, die international Leistungsfähigste und bietet ein breites Anwendungspotenzial.

Die Abbildung unten zeigt die Anwendung des neuen Verfahrens auf unterschiedliche Bildkanäle und Bereiche, wie z.B. Suche und Rettung, Waldbranderkennung und -Überwachung, und die Beobachtung und das Zählen von brütenden Reiherpopulationen.