Multimodal Learning- An App to Improve Human Reading with Active Eye-Tracking

Ziel unseres Projekts ist es, Menschen beim Lernen einer Sprache zu unterstützen. In unserer vernetzten Welt gibt es viele Gründe, Sprachen zu lernen – von beruflichen über sozialen bis hin zu politischen. Dafür wollen wir eine App umsetzten, mit der Nutzer:innen Fließtexte zu verschiedenen Themen lesen können. Diese vorab aufbereiteten Texte werden mit Hilfe von Machine Learning analysiert und Abschnitte um je ein passendes, kontextbezogenes Bild ergänzt. Die App soll durch Eye-Tracking gesteuert werden, um eine barrierefreie Nutzung zu ermöglichen. Zudem soll festgestellt werden, ob es Verständnisprobleme gibt: schaut ein/e Nutzer:in längere Zeit auf ein Wort, wird dieses unterstützend im Bild hervorgehoben. So soll ein intuitives Lernen gefördert werden.

Forschungsgruppe

Ali Ebrahimi Pourasad

Daniel Djahangir

Robert Geislinger

Mentor

Prof. Dr. Chris Biemann