Designing Conversational Learning Companions from a Value-centered Perspective

Schlimbach, Ricarda

doi:10.24355/dbbs.084-202408280809-0

Published

Designing Conversational Learning Companions from a Value-centered Perspective

English
German

With the increasing application of conversational AI in education, the role of conversational Learning Companions in enhancing students' learning process has gained significant attention worldwide. Technological advancements in artificial intelligence have already transformed the way we interact with information technology, from chatbots assisting in customer service to voicebots supporting us in daily life. Conversational agents leverage human patterns and design elements to engage with us, employing natural language and human-like appearances. In this dissertation, we explore the potential value of bonding Learning Companions, specifically focusing on the value-in-interaction, the value-in-use perceived by the human interactors and the co-created value between students and conversational AI in facilitating learning via positive and recurring interactions. Through a rigorous application of the Design Science Research Paradigm in several iterations, this research project incorporates multiple cycles of interviews, interdisciplinary workshops, prototype design and mixed method evaluations complemented by real-world testing with (German and international) universities or further education students from diverse disciplines. The research results encompass design knowledge on various abstraction levels (i.e., design principles, design features, situational artifacts) centered around different value layers that are crucial for nurturing effective interactions between students and their artificial conversation partners. Moreover, we approach the appendant Interactions-as-a-Service within the educational domain, offering practical insights from prototype testing in real learning scenarios and presenting an unconventional, value-driven theoretical perspective on designing Learning Companions as valuable dialogue systems.

More precisely, this dissertation comprises a series of papers that comprehensively address various aspects of the underlying value of a Learning Companion’s design. Paper 1 introduces a teaching framework for Design Science Research, actively involving higher education students as co-creators in the research project. The subsequent Papers 2 to 4 delve into the fundamental concept of value-in-interaction in Learning Companions, with each paper focusing on a specific value layer: Value in Relatedness (Paper 2) to emphasize on power distance influencing relatedness between different cultural user groups, Matching Value (Paper 3) to highlight the potential of individualization in learning, and Service Value (Paper 4) in showcasing the Interaction-as-a-Service taking the example of bonding and time managing Learning Companions. To address ethical considerations, Paper 5 explores design features aimed at ensuring ethically responsible design practices, mitigating the potential for value co-destruction arising from e.g., biased data exchange between the Learning Companion and interacting students. Synthesizing the research findings, Paper 6 contributes value-centered design knowledge for Learning Companions across different levels of abstraction. Building upon this knowledge base, Paper 7 presents a refined Learning Companion and examines its impact on improving students’ time management, motivation to study and ultimately learning performance in a longitudinal study throughout a semester. Finally, Paper 8 investigates the concept of value co-creation between humans and conversational AI by integrating the design knowledge into an ideation companion for creating business models in entrepreneurship education.

Conclusively, this dissertation contributes new insights into the value-driven design of conversational Learning Companions. It proves their positive impact on learning facilitation, but also highlights challenges in their ethically responsible design and technology adoption and the great need for adaptation to different contexts and user groups.

Mit der zunehmenden Anwendung von natürlich-sprachigen Informationssystemen (insbesondere mit generativer KI) im Bildungsbereich hat deren Rolle bei der Verbesserung des Lernprozesses von Studierenden weltweit erhebliche Aufmerksamkeit erlangt. Technologische Fortschritte in der künstlichen Intelligenz haben bereits die Art und Weise verändert, wie wir mit Informationstechnologie interagieren. Conversational Agents nutzen menschliche Muster und Gestaltungselemente, um mit uns zu interagieren, indem sie natürliche Sprache verwenden und ein menschenähnliches Erscheinungsbild aufweisen. In dieser Dissertation wird das Design von Chatbots als Lernbegleiter erforscht, die speziell auf die Wertentfaltung in der Interaktion, den wahrgenommenen Wert in der Nutzung durch die menschlichen Interaktionspartner und den gemeinsam geschaffenen Wert zwischen Studierenden und ihren künstlichen Interaktionspartnern abzielen. Gemeinsames Lernen soll durch positive und wiederkehrende Interaktionen gefördert werden. Durch die vielseitige Anwendung des gestaltungsorientierten Forschungsparadigmas (DSR) in zahlreichen Iterationen integriert dieses Forschungsprojekt mehrere Zyklen von Interviews, interdisziplinären Workshops, Prototypendesigns und Mixed-Method-Evaluationen, ergänzt durch Tests mit (deutschen und internationalen) Studierenden aus unterschiedlichen Bildungsinstitutionen. Die Forschungsergebnisse umfassen Gestaltungswissen auf verschiedenen Abstraktionsebenen (d.h. Designprinzipien, Designmerkmale, situative Artefakte), die sich auf verschiedene Wertebenen konzentrieren und für die Entwicklung effektiver Interaktionen zwischen Studierenden und ihren künstlichen Gesprächspartnern von entscheidender Bedeutung sind. Darüber hinaus betrachten wir diese Interaktionen als einen Service im Bildungsbereich und bieten praktische Erkenntnisse aus der Prototypentestung in realen Lernszenarien sowie eine unkonventionelle, wertorientierte theoretische Perspektive auf die Gestaltung von Lernbegleitern als wertvolle Dialogsysteme. Das Rahmenwerk fußt dabei auf dem aktuellen Forschungsstand zu Conversational Agents im Bildungskontext und erarbeitet Wertdimensionen, die für deren Gestaltung wichtig erscheinen.

Konkret umfasst diese Dissertation acht kontextualisierte wissenschaftliche Beiträge, die verschiedene Aspekte des generierten Wertes durch einen Lernbegleiter untersuchen. Beitrag 1 stellt ein Lehrkonzept für DSR vor, welches eine aktive Einbeziehung von Studierenden als Co-Kreatoren in das Forschungsprojekt ermöglicht. Die nachfolgenden Paper 2 bis 4 widmen sich dem Interaktionswert von Lernbegleitern, wobei jeder Beitrag einen spezifischen Wert der eng verknüpften Wertebenen betont: Den Beziehungswert (Beitrag 2) zur Hervorhebung des Einflusses von Machtdistanz auf die Beziehung zum Lernbegleiter kontrastierend zwischen verschiedenen kulturellen Nutzergruppen, den Matchingwert (Beitrag 3) zur Betonung des Potenzials der Individualisierung im Lernen, sowie den Servicewert (Beitrag 4) zur Untersuchung der Interaktion als Dienstleistung am Beispiel von motivierenden Lernbegleitern zur Unterstützung des Zeitmanagements im berufsbegleitenden Studium. Beitrag 5 erarbeitet ethisch verantwortungsbewusste Gestaltungsmerkmale mit der Zielgruppe, um potenzielle Wertzerstörung durch beispielsweise den Austausch von diskriminierenden Daten zwischen dem Lernbegleiter und den interagierenden Studierenden zu vermeiden. Durch die Zusammenführung der Forschungsergebnisse trägt Paper 6 wertorientiert Designwissen für Lernbegleiter auf verschiedenen Abstraktionsebenen bei. Aufbauend auf dieser Wissensbasis präsentiert Beitrag 7 einen technisch ausgereifteren Lernbegleiter und untersucht dessen Auswirkungen auf die Verbesserung des Zeitmanagements, der Lernmotivation und letztendlich des Lernerfolgs in einer semesterbegleitenden Feldstudie. Daran anknüpfend untersucht Beitrag 8 das Konzept der gemeinsamen Wertschaffung zwischen menschlichen Interaktionspartnern mit der künstlichen Intelligenz, indem es das Gestaltungswissen in einen Lernbegleiter für die Geschäftsmodellentwicklung integriert.

Zusammenfassend trägt diese Dissertation neue Erkenntnisse zur wertorientierten Gestaltung von virtuellen Lernbegleitern bei. Sie belegt ihren positiven Einfluss auf die Lernförderung im Feldexperiment, weist jedoch auch auf Herausforderungen bei der ethisch verantwortungsbewussten Gestaltung und Technologieadaption hin sowie auf den großen Bedarf der Anpassung an unterschiedliche Kontexte und Nutzergruppen mit hohem weiteren Forschungsbedarf.