Generative KI-Systeme, insb. Chatbots auf Basis großer Sprachmodelle (Large Language Models, LLMs), können Antworten erzeugen, die sprachlich überzeugend wirken, auch wenn sie inhaltlich falsch sind. Solche fehlerhaften Ausgaben werden u.a. als Halluzinationen bezeichnet und lassen sich für Nutzende kaum von korrekten Antworten unterscheiden. Daraus ergibt sich ein zweiseitiges Risiko: Übervertrauen begünstigt die ungeprüfte Übernahme fehlerhafter Ausgaben, Untervertrauen führt dazu, dass ein leistungsfähiges System gemieden oder nur eingeschränkt genutzt wird (Parasuraman & Riley, 1997).

Die Forschung zu Trust in Automation bestimmt das Gestaltungsziel deshalb nicht als möglichst hohes, sondern als kalibriertes Vertrauen, das der tatsächlichen Leistungsfähigkeit eines Systems entspricht (Lee & See, 2004). Inwieweit die Gestaltung von Interface und User Experience zu einer solchen Kalibrierung beitragen kann, ist für generative KI-Systeme bislang nur in Ansätzen untersucht. Gestaltungsleitlinien aus Forschung und Praxis bieten zwar Orientierung (z. B. Amershi et al., 2019), ihre Wirkung auf das Vertrauen der Nutzenden ist jedoch nicht vollständig empirisch geprüft.

Das Promotionsvorhaben setzt an dieser Lücke an. Technische Ansätze zielen darauf, die Zuverlässigkeit der Modelle selbst zu verbessern. Das Vorhaben untersucht dagegen, wie die Gestaltung von Interface und User Experience Nutzende darin unterstützen kann, ihr Vertrauen an der tatsächlichen Zuverlässigkeit eines Systems auszurichten. Daraus ergibt sich die folgende leitende Fragestellung:

Welche Gestaltungsentscheidungen in der User Experience generativer KI-Systeme unterstützen die Kalibrierung von Nutzervertrauen?

Das Vorhaben folgt dem Ansatz der Design Science Research (Hevner et al., 2004) und ist entlang der Phasen des Double Diamond aufgebaut. Der Problemraum wird aus zwei Perspektiven erschlossen: (1) durch Interviews mit Unternehmen, die KI-Systeme entwickeln, und (2) durch Nutzerstudien zu Glaubwürdigkeit, Vertrauen und Frustration. Darauf aufbauend werden Gestaltungsansätze in qualitativen und experimentellen Studien untersucht. Die Ergebnisse werden zu einem Design-Framework verdichtet, der anschließend von einschlägigen Fachleuten aus KI-Entwicklung und -Design bewertet wird. Das Framework verbindet Designprinzipien mit einem Katalog empirisch untersuchter Design Patterns. Es unterstützt Designer dabei, Vertrauenssignale in KI-Interfaces gezielt einzusetzen. Das Ziel dabei ist kalibriertes statt maximales Vertrauen.

• Amershi, S., Weld, D., Vorvoreanu, M., Fourney, A., Nushi, B., Collisson, P., Suh, J., Iqbal, S., Bennett, P. N., Inkpen, K., Teevan, J., Kikin-Gil, R., & Horvitz, E. (2019). Guidelines for human-AI interaction. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ACM. https://doi.org/10.1145/3290605.3300233 
• Hevner, A. R., March, S. T., Park, J., & Ram, S. (2004). Design science in information systems research. MIS Quarterly, 28(1), 75–105. https://dl.acm.org/doi/10.5555/2017212.2017217 
• Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80. https://doi.org/10.1518/hfes.46.1.50_30392 
• Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886 

Arbeitstitel: Nutzerzentrierte Gestaltung für kalibriertes Vertrauen in KI. Ein Design-Framework für die User Experience generativer KI-Systeme
Doktorand: Alexander Rossner, M. Eng.
Institution: Promotionszentrum Angewandte Informatik (PZAI)
Erstbetreuer: Prof. Dr. Ralf Dörner, Hochschule RheinMain
Zweitbetreuer: Prof. Dr. Sven Pagel, Hochschule Mainz
Laufzeit: seit 15.10.2021, derzeit in der Abschlussphase

Calibrated Trust, Trust in Automation, Human-AI Interaction, Generative AI, LLM-based Chatbots, Conversational User Interfaces, Design Patterns, Design Science Research

Alexander Rossner, M.Eng.
Doktorand | Teamleiter UI/UX Research
Forschungsgruppe WIMM

Hochschule Mainz
Lucy-Hillebrand-Str. 2
55128 Mainz
Raum: A0.18

T: +49 6131 628-3323
E: alexander.rossner@hs-mainz.de
W: wimm.hs-mainz.de | ux4ai.hs-mainz.de