OFA-X: Explainable Visual Question Answering

Das Projekt „OFA-X“ beschäftigt sich mit der Interpretierbarkeit von Neuronalen Netzen zur multimodalen Bildverarbeitung. Ziel ist es, aufbauend auf der Seminararbeit der Antragssteller „Visual Explanation of Multimodal Transformer Models“, eine wissenschaftliche Forschungsarbeit zu erstellen und bei der CVPR 2023 (Conference on Computer Vision and Pattern Recognition) einzureichen. Hierbei handelt es sich um eine der renommiertesten Konferenzen im Fachbereich der bildverarbeitenden Neuronalen Netze. Unter Nutzung eines hochaktuellen Ansatzes soll dafür ein neues KI-Modell trainiert werden, welches beliebige Fragen zu Bildern beantwortet und eine textuelle Erklärung für seine Ausgabe liefert. Weitere Details zur Relevanz des Themas finden Sie in der detaillierten Projektbeschreibung.

Forschungsgruppe

Lukas Braach

Björn Plüster

Mentor

Prof. Dr. Stefan Wermter

Dr. Jae Hee Lee