Feedback

Implizites tutorielles Wissen in der KI-gestützten automatisierten Patientenedukation am Beispiel pflegender Angehöriger

ORCID
0000-0001-8178-5118
Affiliation/Institute
Peter L. Reichertz Institut für Medizinische Informatik
Wolff, Dominik

Motivation: Die niedrige Gesundheitskompetenz auf Bevölkerungsebene stellt ein Problem globaler Gesundheitssysteme dar. Niedrige Gesundheitskompetenz ist unter anderem mit höheren Hospitalisierungs- und Mortalitätsraten assoziiert. Gleichzeitig übernimmt die Bevölkerung eine Hauptrolle im deutschen Pflegesystem. Die Pflege durch Angehörige stellt die größte Säule des Pflegesystems und damit einen wichtigen Bestandteil des deutschen Gesundheitswesens dar. Die Pflegesituation ist für die meisten Angehörigen mit erheblichen Belastungen verbunden, wobei fehlendes Wissen und fehlende Informationen besonders stark zur Belastung beitragen. Auf Seiten pflegender Angehöriger existiert ein großer Bedarf an auf die persönliche Pflegesituation individualisiertem Wissen. Dieser Informationsbedarf kann nur begrenzt durch medizinisch Tätige gedeckt werden. In Domänen außerhalb des Gesundheitswesens werden bereits automatisierte Lehrsysteme, wie beispielsweise intelligente tutorielle Systeme, eingesetzt. Typisch für diese Systeme ist die Personalisierung der Wissensvermittlung mittels künstlicher Intelligenz. Sie existieren hauptsächlich in stark strukturierten Wissensvermittlungsdomänen, wie der universitären oder schulischen Lehre, bei denen explizite Lehrpläne vorliegen. Für die Patientenedukation ist das tutorielle Wissen, beispielsweise die Auswahl wichtiger Themen für einen Lernenden, häufig implizit. Es können keine allgemein gültigen Regeln für die Personalisierung der Lehre benannt werden. Für einen bestimmten Lernenden kann jedoch eine Personalisierung der Lehre durch beteiligte Experten erfolgen. In der Literatur wird dieses implizite tutorielle Wissen kaum berücksichtigt. In dieser Arbeit wird ein Verfahren zur Erfassung und Implementierung dieses impliziten tutoriellen Wissens in einem intelligenten tutoriellen System im Rahmen des Projektes Mobile Care Backup (MoCaB) am Beispiel pflegender Angehöriger entwickelt und evaluiert.

Methode: Der Stand der Forschung wird durch zwei systematische Literaturreviews erhoben und dargestellt. Ein Review fokussiert implizites tutorielles Wissen in intelligenten tutoriellen Systemen, während das zweite Review das weiter gefasste Thema der Verknüpfung symbolorientierter künstlicher Intelligenz mit Soft Computing zur Personalisierung der Wissensvermittlung in automatisierten Lehrsystemen betrachtet. Beide Literatursuchen erfolgen im Web of Science.

Für die Wissenserhebung und Implementierung in einer tutoriellen Strategie wird zwischen formalisierbarem und nicht formalisierbarem impliziten tutoriellen Wissen unterschieden. Das formalisierbare Wissen wird erhoben, indem Experten die Items von ausgewählten Assessmenttools der Lehrdomäne für die einzelnen zu vermittelnden Themen gewichten. Aus diesen Gewichtungen und den vom Lernenden ausgefüllten Assessmenttools wird mittels einer Scoringfunktion die Wichtigkeit der einzelnen Themen sowie eine Reihenfolge für den Lernenden bestimmt. Das System wird umfassend nach dem Vorbild einer etablierten Evaluationsmethodik wissensbasierter Systeme begutachtet. Die Evaluation umfasst eine frühe Prototypentestung, die Evaluation der Inferenzmaschine, der Validität sowie der Funktionalität. Letztere erfolgt in einer vierwöchigen Feldstudie mit 18 pflegenden Angehörigen in ihrem häuslichen Alltag.

Das nicht formalisierbare implizite tutorielle Wissen wird durch Sternebewertungen der Themen von pflegenden Angehörigen erhoben. Zur Erweiterung der tutoriellen Strategie um das nicht formalisierbare Wissen wird ein Soft Computing Modell, genauer ein künstliches neuronales Netz, eingesetzt. In einem ersten Training wird die auf formalisierbarem impliziten Wissen basierende tutorielle Strategie auf das künstliche neuronale Netz übertragen, um in einem zweiten Training um das nicht formalisierbare Wissen erweitert zu werden. Da die Sternebewertungen nur Reihenfolgeninformationen enthalten, wird das künstliche neuronale Netz für das zweite Training um eine Learning to Rank Komponente erweitert. Die so angepasste tutorielle Strategie wird hinsichtlich des Bedarfs der Anwender evaluiert.

Ergebnisse: Das erste Literaturreview erzielte keine Treffer. Es zeigt, wie wenig Beachtung implizitem tutoriellen Wissen im Bereich der intelligenten tutoriellen Systeme zuteilwird. In der weiter gefassten automatisierten Lehre werden vermehrt Daten durch Soft Computing Methoden vorverarbeitet, um anschließend mittels einer symbolorientierten künstlichen Intelligenz zu schlussfolgern. Die Verknüpfung von Fuzzy Logik mit einer Ontologie erscheint zielführend, kann jedoch kein implizites Wissen abbilden. Die Verknüpfung von symbolischer künstlicher Intelligenz mit Soft Computing Modellen erfolgt hauptsächlich zwischen den Modellen eines intelligenten tutoriellen Systems.

Als Assessments zum Erheben des formalisierbaren impliziten Wissens werden der Caregiver Burden Inventory und das Neue Begutachtungs Assessment verwendet. Die Verknüpfung der Assessments ermöglicht von spezifischen Belastungen auf mögliche Auslöser der Belastung zu schlussfolgern und zielgerichtet personalisiertes Wissen anzubieten. Für die 86 Themen des MoCaB-Systems wurden 8.686 Gewichtungen von drei projektinternen Pflegefachkräften erhoben. Zu 34 Themen konnte kein formalisierbares implizites Wissen erhoben werden. Sie werden den Lernenden anhand eines Lehrplans zur Verfügung gestellt. Die Evaluation der tutoriellen Leistung des Systems, realisiert durch die Verknüpfung des entwickelten Ansatzes und einer Ontologie, verlief positiv. Das System verfügt über eine gute Nutzbarkeit sowie hohe interne und externe Validität. Während der Evaluationen konnten einige wenige Inkonsistenzen in der Wissensbasis aufgedeckt und behoben werden. Die Probanden der Feldstudie bewerten die Personalisierungsleistung des Systems sehr positiv. Das formalisierbare implizite und das explizite tutorielle Wissen sind jedoch nicht hinreichend. Es existieren weitere für die Probanden wichtige Themen.

Die auf formalisierbarem impliziten Wissen basierende tutorielle Strategie wurde erfolgreich auf ein künstliches neuronales Netz übertragen und mit Nutzendenbewertungen angepasst. Hierzu wurden 520 Bewertungen von den Probanden der Feldstudie erhoben. Das nachtrainierte Netz wurde positiv evaluiert. Vereinzeltes Fehlverhalten des Systems entsteht durch monotones Bewertungsverhalten einzelner Nutzer. Im Vergleich zu den Nutzendenbewertungen erzielt das System eine Sensitivität von 0,9546 und eine Spezifität von 0,9809. Die zuvor nicht vorgeschlagenen jedoch wichtigen Themen werden durch das erweiterte System als relevant klassifiziert. Mittels der angepassten tutoriellen Strategie kann ebenfalls keine Personalisierung der 34 Themen, zu denen kein formalisierbares implizites tutorielles Wissen erhoben wurde, erfolgen.

Diskussion und Ausblick: Die Ergebnisse zeigen, dass implizites Wissen eine entscheidende Rolle bei der personalisierten Patientenedukation einnimmt. Über die entwickelten Verfahren kann sowohl formalisierbares als auch nicht formalisierbares implizites Wissen in ein intelligentes tutorielles System integriert werden. Die auf formalisierbarem Wissen basierende tutorielle Strategie wurde ausgiebig evaluiert, unter anderem in einer der größten deutschen Feldstudien zur Technikunterstützung im Pflegealltag, und kann zur Personalisierung der Edukation pflegender Angehöriger eingesetzt werden. Dabei ist allerdings zu beachten, dass das formalisierbare Wissen alleinig nicht genügt und nicht alle relevanten Themen abgedeckt werden. Das auf nicht formalisierbarem impliziten Wissen basierende System stellt einen Proof-of-Concept dar. Hier sollte eine größere Studie, beispielsweise zusammen mit einem national agierenden Versorger, sowie die Beurteilung der angepassten tutoriellen Strategie durch Pflegefachkräfte erfolgen. Die 34 nicht zu personalisierenden Themen beschreiben Grundlagenwissen, welches für alle betroffenen Pflegenden relevant ist. Die Arbeit ist ein erster wichtiger Schritt zur Etablierung intelligenter tutorieller Systeme in der Patientenedukation. Für die Zukunft ist unter anderem die Etablierung der entwickelten Verfahren in anderen Patientenedukationsdomänen geplant.

Motivation: Population’s low health literacy is a challenge for global health systems. Among other consequences, low health literacy is associated with higher hospitalization and mortality rates. At the same time, the population is playing a major role in the German nursing system. Care provided by family members is the largest pillar of the nursing system and thus an important component of the German healthcare system. For most relatives, the care situation is associated with significant burdens, with a lack of knowledge and information contributing particularly strongly to the burden. Family caregivers show a great need for knowledge that is individualized to the personal care situation. This need for information can only be met to a limited extent by medical professionals. In domains other than healthcare, automated teaching systems, such as intelligent tutoring systems, are successfully applied. Typically, these systems employ artificial intelligence to personalize the transfer of knowledge. Still, such systems exist mainly in highly structured knowledge transfer domains, such as academic or classroom teaching, in which explicit curricula are present. For patient education, tutorial knowledge, such as how to select important topics for a learner, is often tacit. No general rules for personalizing the teaching can be named. Nevertheless, for a specific learner, personalization of teaching can be accomplished by involved experts. In the literature, this tacit tutorial knowledge is hardly considered. In this thesis, a method for the acquisition and implementation of tacit tutorial knowledge in an intelligent tutoring system is developed and evaluated within the project Mobile Care Backup (MoCaB) using family caregivers as an example.

Method: The state of research is assessed and presented by two systematic literature reviews. One review focuses on tacit tutorial knowledge in intelligent tutoring systems, while the second review considers the broader topic of combining symbol-oriented artificial intelligence with soft computing to personalize the knowledge transfer in automated teaching systems. Both literature reviews are conducted on the Web of Science.

For knowledge elicitation and implementation in a tutorial strategy, a distinction is made between formalizable and non-formalizable tacit tutorial knowledge. The formalizable knowledge is elicited by experts assigning weights to the items of selected assessment tools of the taught domain for all individual topics to be covered. The individual importance of topics for a specific learner is determined by a scoring function from these weights and the learner’s filled in assessments. The system is comprehensively assessed following the model of an established evaluation methodology for knowledge-based systems. The evaluation includes early prototype testing, evaluation of the inference engine, of the validity as well as of the functionality. The latter is realized in a four-week field study with 18 family caregivers in their everyday domestic routine.

The non-formalizable tacit tutorial knowledge is elicited by learners’ star ratings of read topics. For extending the tutorial strategy with the non-formalizable knowledge, a soft computing model, more precisely an artificial neural network, is used. In a first training, the tutorial strategy which is based on formalizable tacit knowledge is transferred to the artificial neural network to be extended by the non-formalizable knowledge in a second training. Since the star ratings only contain ranking information, a learning-to-rank component is appended to the artificial neural network for the second training. The adapted tutorial strategy is evaluated with respect to the learners' needs.

Results: The first literature review did not produce any matches. This demonstrates how little attention is paid to tacit tutorial knowledge in the field of intelligent tutoring systems. In the broader field of automated tutoring, data is increasingly preprocessed by soft computing methods to subsequently reason using symbol-oriented artificial intelligence. A combination of fuzzy logic with an ontology appears to be target-oriented, but is unable to represent tacit knowledge. The combination of symbolic artificial intelligence and soft computing is primarily achieved between the models of an intelligent tutoring system.

The Caregiver Burden Inventory and the Neues Begutachtungs Assessment are used as assessment tools to collect formalizable tacit knowledge within the nursing domain. Combining the two enables to infer from specific burdens to possible causes and to provide precise personalized knowledge. For the 86 topics of the MoCaB system, 8.686 weightings were collected from three project-internal nursing professionals. However, no formalizable tacit knowledge could be elicited for 34 topics. They are provided to the learners based on a curriculum. The system’s tutorial capacity, which is realized by combining the developed approach with a preexisting ontology, was positively evaluated. The system shows good usability as well as high internal and external validity. During these evaluations, a small number of inconsistencies in the knowledge base were detected and resolved. The subjects of the field study review the personalization capabilities of the system very positively. However, the formalizable tacit tutorial knowledge together with the ontology’s explicit tutorial knowledge is not sufficient. Further topics are of importance for the subjects.

The tutorial strategy based on formalizable tacit knowledge was successfully transferred to an artificial neural network and adapted with user ratings. For this, 520 ratings were collected from the field study’s subjects. The retrained network was evaluated positively. Sporadic misbehavior of the system emerges from monotonous rating behavior of individual learners. In comparison to the user ratings, the system achieves a sensitivity of 0,9546 and a specificity of 0,9809. The adapted tutorial strategy as well fails to personalize the 34 topics for which no formalizable tacit tutorial knowledge was collected.

Discussion and Outlook: The results show that tacit tutorial knowledge plays a crucial role in personalized patient education. By the developed methodology, both formalizable and non-formalizable tacit knowledge can be used in an intelligent tutoring system. The tutorial strategy based on formalizable knowledge has been evaluated extensively, including one of the largest German field studies on technology support in everyday care, and can be used to personalize the education of caregiving relatives. However, it should be noted that formalizable knowledge alone is not sufficient and does not cover all relevant topics. The system based on non-formalizable tacit knowledge represents a proof of concept. Here, a larger study should be conducted, for example together with a nationally operating provider. Furthermore, the adapted tutorial strategy needs to be evaluated together with nursing professionals. The 34 topics that cannot be personalized describe basic knowledge that is relevant to all affected family caregivers. The work is a first important step towards the establishment of intelligent tutoring systems in patient education. Future plans include transferring the developed methodology in other patient education domains.

Cite

Citation style:
Could not load citation form.

Access Statistic

Total:
Downloads:
Abtractviews:
Last 12 Month:
Downloads:
Abtractviews:

Rights

Use and reproduction: