Enhancing chatbot-assisted study program orientation

Dieing, Thilo I. ; Scheffler, Marc ; Cohausz, Lea

PDF
Workshop_Chatbot.pdf - Angenommene Version
Download (351kB)

DOI:	https://doi.org/10.18420/delfi2024-ws-32
URL:	https://dl.gi.de/items/2639a4e5-fde7-450e-ad22-e6c...
URN:	urn:nbn:de:bsz:180-madoc-678551
Dokumenttyp:	Konferenzveröffentlichung
Erscheinungsjahr:	2024
Buchtitel:	Workshopband der 22. Fachtagung Bildungstechnologien (DELFI) : 09.09.-11.09.2024, Fulda, Deutschland
Seitenbereich:	223-232
Veranstaltungstitel:	EduRS 2024 - Recommender Systems in Education, Workshop bei der DELFI 2024, 23. Fachtagung Bildungstechnologien (DELFI)
Veranstaltungsort:	Fulda, Germany
Veranstaltungsdatum:	09.09.24
Herausgeber:	Kiesler, Natalie ; Schulz, Sandra
Ort der Veröffentlichung:	Bonn
Verlag:	Gesellschaft für Informatik (GI)
Verwandte URLs:	https://dl.gi.de/items/68f50ea1-b70a-4fc... https://www.fernuni-hagen.de/forschung/s... https://delfi-tagung.de/programm/worksho...
Sprache der Veröffentlichung:	Englisch
Einrichtung:	Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Practical Computer Science II: Artificial Intelligence (Stuckenschmidt 2009-)
Lizenz:	Creative Commons Namensnennung 4.0 International (CC BY 4.0)
Fachgebiet:	004 Informatik
Freie Schlagwörter (Englisch):	chatbot , study program recommendation , LLM , RAG , CASPO
Abstract:	As university dropout rates increase, implementing innovative solutions is crucial to reduce attrition. Aligning students’ interests with their study programs enhances academic success, satisfaction, and retention. This paper presents a novel approach using open-source Large Language Models (LLM) and Retrieval-Augmented Generation (RAG) to develop a semi-open-domain knowledge chatbot. The chatbot generates informed responses and recommendations to diverse student queries by retrieving relevant data while maintaining ethical standards and avoiding biased responses. When testing five model combinations on 70 prompts partially from real study advisors, results demonstrate that the RAG approach with the Mixtral LLM and RoBERTa embedding model offers superior performance. Our method for handling critical user prompts further indicates a significantly improved response quality. These findings advance service-oriented chatbots in education, aiming to reduce student attrition through accurate and helpful program recommendations.