Mixed-Reality-(MR)-Technologien entwickeln sich zunehmend zu einem zentralen Enabler für die nächste Generation von Unterstützungssystemen im Brandschutz. Durch die Kombination aus immersiver Visualisierung, künstlicher Intelligenz und Echtzeitdatenintegration bieten sie das Potenzial, Situationsbewusstsein, Entscheidungsfindung und Sicherheit in hochdynamischen und gefährlichen Einsatzumgebungen grundlegend zu verbessern.

An der Schnittstelle von menschenzentrierter KI und Einsatzunterstützung untersuchen die folgenden zwei Forschungsprojekte, wie MR Feuerwehrkräfte sowohl während des Einsatzes als auch in der Vorbereitung unterstützen kann. Während ein Projekt auf multimodale Entscheidungsunterstützung unter extremen Bedingungen im Einsatz abzielt, fokussiert das andere auf KI-gestützte Pre-Incident-Briefings zur Verbesserung von Vorbereitung und strategischer Planung vor dem Einsatz. Gemeinsam tragen sie zur Entwicklung intelligenter, kontextsensitiver Unterstützungssysteme bei, die Leistungsfähigkeit und Sicherheit im Feuerwehrwesen nachhaltig stärken.

X-MINDER

Multimodale Entscheidungsunterstützung in der Einsatzbewältigung

Dauer: 1–2 Jahre

Abstract

Feuerwehreinsätze erfordern eine schnelle Wahrnehmungs-Handlungs-Kopplung unter Bedingungen extremer Unsicherheit, eingeschränkter Sicht und hoher kognitiver Belastung. In solchen Umgebungen sind traditionelle Trainings- und Unterstützungssysteme im Einsatz oft nicht ausreichend, um eine zeitgerechte, kontextbezogene Entscheidungsunterstützung zu gewährleisten.

Mixed-Reality-(MR)-Technologien bieten neue Möglichkeiten zur Verbesserung des Situationsbewusstseins; jedoch basieren die meisten aktuellen Systeme primär auf visuellen Overlays und berücksichtigen keine verkörperten sensorischen Rückmeldungen, die die physische Intensität von Brandumgebungen widerspiegeln.

Dieses Projekt entwickelt und evaluiert ein KI-gestütztes multimodales MR-System für die Unterstützung von Feuerwehreinsätzen, das Echtzeit-Gefahrenerkennung, erklärbare künstliche Intelligenz (Explainable AI, XAI) und thermisches haptisches Feedback integriert. Ziel ist es, die menschliche Wahrnehmung durch räumlich verankerte Visualisierung und distanzbasierte thermische Reize zu erweitern und so ein intuitiveres Verständnis von Umgebungsrisiken in Situationen mit eingeschränkter Sicht zu ermöglichen.

Die Studie trägt zur Entwicklung menschenzentrierter Technologien für die Einsatzbewältigung bei, die künstliche Intelligenz mit verkörperter Interaktion verbinden und so sicherere und effektivere operative Entscheidungen unterstützen.

Forschungsziele

Das Projekt verfolgt folgende zentrale Ziele:

• Entwicklung multimodaler MR-Systeme:
  Gestaltung und Implementierung von MR-Schnittstellen, die visuelle Erweiterung, KI-basierte Gefahrenerkennung und thermisches haptisches Feedback für eine immersive Einsatzunterstützung integrieren.
• Integration erklärbarer KI (XAI):
  Entwicklung transparenter KI-Modelle, die interpretierbare Ergebnisse der Gefahrenerkennung liefern, um Vertrauen und Situationsverständnis in Hochrisikoumgebungen zu fördern.
• Verkörperte sensorische Erweiterung:
  Untersuchung der Rolle thermischer Haptik zur Verbesserung der Distanzwahrnehmung, des räumlichen Verständnisses und der Entscheidungsfindung bei eingeschränkter Sicht.
• Evaluation der operativen Leistung:
  Durchführung kontrollierter experimenteller Studien mit professionellen Feuerwehrkräften zur Bewertung der Auswirkungen auf Navigationsgenauigkeit, Gefahrenerkennung und kognitive Belastung.
• Menschenzentriertes Systemdesign:
  Entwicklung von Gestaltungsprinzipien für MR-Systeme, die mit kognitiven, wahrnehmungsbezogenen und physischen Anforderungen in Einsatzkontexten übereinstimmen.

Erwartete Auswirkungen

Das Projekt soll die Effektivität und Sicherheit von Feuerwehreinsätzen verbessern, indem es das Situationsbewusstsein und die Entscheidungsunterstützung in komplexen Umgebungen stärkt.

Durch die Integration von KI, MR-Visualisierung und thermischem haptischem Feedback ermöglicht das System eine intuitivere Wahrnehmung von Gefahren und erhöht die Reaktionsgenauigkeit unter Stress und bei eingeschränkter Sicht.

Darüber hinaus leistet das Projekt einen Beitrag zur menschenzentrierten Gestaltung von KI in sicherheitskritischen Anwendungsfeldern und fördert die Entwicklung der nächsten Generation von Einsatzunterstützungssystemen, die kognitive Unterstützung mit verkörperter Interaktion verbinden.

Insgesamt tragen die Ergebnisse zu erhöhter Sicherheit im Einsatz, schnelleren Entscheidungen und einer verbesserten Trainingsqualität für Feuerwehrkräfte bei.

Kontakt
Dr. Sara Scheffer
E-Mail: sara.scheffer@tuwien.ac.at
© TU Wien

FIREBRIEF

KI- und MR-gestütztes Pre-Incident-Briefing für Feuerwehreinsätze

Dauer: 1–2 Jahre

Abstract

Ein effektives Pre-Incident-Briefing ist entscheidend für Situationsbewusstsein und Einsatzbereitschaft bei Feuerwehreinsätzen. Aktuelle Briefing-Praktiken basieren jedoch häufig auf statischen Karten, fragmentierten Gebäudedokumentationen und einer begrenzten Integration von Echtzeitdaten.

Dieses Projekt entwickelt ein KI-gestütztes Mixed-Reality-(MR)-System für Pre-Incident-Briefings, das Internet-of-Things-(IoT)-Sensordaten, Building Information Modeling (BIM) und Echtzeit-Gefahreninformationen in einer immersiven räumlichen Umgebung integriert.

Das System ermöglicht es Feuerwehrkräften, Gebäudestrukturen vor dem Einsatz in MR zu erkunden und dabei kontextbezogene Informationen zu erhalten, darunter Belegungsabschätzungen, Brandschutzeinrichtungen, Gefahrenzonen sowie sensorgestützte Umweltbedingungen. Komponenten erklärbarer KI unterstützen die Interpretation von Risikofaktoren und die Generierung datenbasierter Handlungsempfehlungen.

Ziel ist es, die Vorbereitung zu verbessern, die kognitive Belastung beim Betreten des Einsatzortes zu reduzieren und die strategische Entscheidungsfindung vor und während des Einsatzes zu stärken.

Forschungsziele

Das Projekt verfolgt folgende zentrale Ziele:

• Entwicklung MR-basierter Briefing-Umgebungen:
  Gestaltung immersiver Pre-Incident-Briefing-Tools, die Gebäudemodelle, IoT-Sensordatenströme und KI-generierte Situationsanalysen kombinieren.
• Integration von Echtzeit-IoT- und Umweltdaten:
  Zusammenführung verteilter Sensornetzwerke mit räumlichen Gebäudemodellen zur Bereitstellung aktueller Informationen zu Brandrisiken, Belegung und Umweltbedingungen.
• Erklärbare KI zur Entscheidungsunterstützung:
  Entwicklung interpretierbarer KI-Module, die komplexe Sensor- und Modelldaten in umsetzbare Erkenntnisse für Einsatzkräfte übersetzen.
• Unterstützung räumlicher und kognitiver Vorbereitung:
  Untersuchung, wie MR-basierte Briefings das räumliche Verständnis, die Routenplanung und die kognitive Einsatzbereitschaft vor dem Betreten von Einsatzorten verbessern.
• Evaluation in praxisnahen Szenarien:
  Bewertung der Systemwirksamkeit in simulierten Briefing-Szenarien mit professionellen Feuerwehrkräften, mit Fokus auf Situationsbewusstsein und Entscheidungssicherheit.

Erwartete Auswirkungen

Das Projekt wird voraussichtlich die Vorbereitung und die Qualität der Entscheidungsfindung in Feuerwehreinsätzen durch ein verbessertes Situationsbewusstsein vor dem Einsatz deutlich steigern.

Durch die Integration von IoT-Daten, Gebäudemodellen und KI-gestützter Analyse in MR-Umgebungen erhalten Einsatzkräfte ein umfassendes und räumlich verankertes Verständnis von Einsatzorten bereits vor dem Eintreffen.

Dies führt zu einer verbesserten Einsatzplanung, reduzierter Unsicherheit beim Betreten und erhöhter Sicherheit sowohl für Einsatzkräfte als auch für betroffene Personen.

Langfristig trägt das Projekt zur Entwicklung intelligenter, datengetriebener Systeme für die Einsatzvorbereitung bei, die schnellere, sicherere und fundiertere Interventionsstrategien ermöglichen.

Kontakt
Dr. Sara Scheffer
E-Mail: sara.scheffer@tuwien.ac.at
© TU Wien