Wie erklärbare KI Patientenentscheidungen unterstützt

KI in der Medizin hat ein Ziel: Transparenz. Erklärbare KI (XAI) zeigt nicht nur Ergebnisse, sondern auch, wie diese zustande kommen. Das stärkt das Vertrauen von Ärzten und Patienten und erfüllt rechtliche Vorgaben wie die DSGVO.

Wichtige Punkte:

• Definition: Erklärbare KI macht Entscheidungen nachvollziehbar, z. B. durch Tools wie SHAP, LIME und Grad-CAM.
• Relevanz: Ärzte und Patienten können Entscheidungen besser verstehen und gemeinsam fundierte Behandlungspläne erstellen.
• Probleme mit Black-Box-KI: Undurchsichtige Systeme schaffen Misstrauen und erschweren die Anwendung in der Praxis.
• Rechtliche Anforderungen: DSGVO und MDR fordern Transparenz und menschliche Aufsicht bei KI-gestützten Entscheidungen.
• Anwendungsbeispiele: Uro-Onkologie, Dermatologie und Radiologie profitieren bereits von XAI-Tools.

Erklärbare KI verbindet moderne Algorithmen mit verständlicher Kommunikation – für bessere Entscheidungen und mehr Vertrauen.

3 Minuten KI für Ärztinnen und Ärzte – KI ist eine Blackbox. Oder doch nicht? I 190

Methoden und Tools für erklärbare KI in der Patientenversorgung

Um KI im Gesundheitswesen nutzbar zu machen, braucht es Werkzeuge, die komplexe Algorithmen verständlich machen – sowohl für Ärzte als auch für Patienten. Diese Transparenz ist entscheidend, um Vertrauen in den klinischen Alltag zu bringen.

Überblick über erklärbare Algorithmen

Erklärbare Algorithmen sind das Rückgrat transparenter KI-Systeme in der Medizin. Modelle wie Entscheidungsbäume und lineare Regression punkten durch ihre einfache Nachvollziehbarkeit, da sie ihre Entscheidungslogik offenlegen. Während diese Modelle für viele Fragestellungen gut geeignet sind, stoßen sie bei komplexeren Aufgaben an ihre Grenzen. Hier kommen hybride Ansätze ins Spiel, die hohe Genauigkeit mit interpretierbaren Strukturen kombinieren.

Auf dieser Basis bauen spezialisierte Tools wie SHAP, LIME und Grad-CAM auf, die in den nächsten Abschnitten genauer betrachtet werden.

Erklärbarkeits-Tools: SHAP, LIME und Grad-CAM

SHAP (SHapley Additive exPlanations) zeigt, wie stark einzelne Merkmale die Vorhersagen eines Modells beeinflussen. Ein bemerkenswertes Beispiel stammt aus Mainz: Forschende des DFKI setzten SHAP im Juni 2025 in der Uro-Onkologie ein. Das System analysierte über 90 klinische Parameter bei 2.497 Urothelkarzinom-Fällen und generierte personalisierte Therapieempfehlungen ^[1].

LIME (Local Interpretable Model-agnostic Explanations) erklärt Vorhersagen auf lokaler Ebene. Ein Projekt des Deutschen Krebsforschungszentrums nutzte LIME, um ein Hautkrebs-Diagnosesystem zu entwickeln. Dieses zeigte präzise auf, welche Merkmale von Hautläsionen die KI-Diagnose beeinflussten ^[2].

Grad-CAM (Gradient-weighted Class Activation Mapping) findet vor allem in der medizinischen Bildgebung Anwendung. Es hebt relevante Bildbereiche hervor – etwa auf Röntgen-, MRT- oder CT-Aufnahmen – und zeigt, welche Regionen für die KI-Entscheidung entscheidend waren ^[2].

Praktische Anwendungen im Gesundheitswesen

Die Anwendung dieser Tools zeigt bereits in verschiedenen medizinischen Bereichen ihre Stärken. Sie machen KI-Entscheidungen transparent und unterstützen so die Entscheidungsfindung bei Patienten.

In der Onkologie hat der Einsatz von SHAP, wie in der Uro-Onkologie demonstriert, dazu beigetragen, die Verbindung zwischen Patientenmerkmalen und Therapieempfehlungen besser zu verstehen.

In der Radiologie hilft Grad-CAM, relevante Bereiche in Bildaufnahmen hervorzuheben. Radiologen können so die Entscheidungsgrundlagen der KI leichter nachvollziehen ^[2].

Ein weiteres Beispiel findet sich in der Dermatologie. Hier werden die Tools kombiniert: SHAP analysiert relevante Patientendaten, LIME erklärt die entscheidenden Merkmale von Hautläsionen, und Grad-CAM visualisiert die relevanten Bildbereiche. Diese Zusammenarbeit verbessert die Hautkrebsdiagnose deutlich ^[2].

Erklärbare KI für patientenzentrierte Entscheidungsunterstützung

Erklärbare KI (XAI) ermöglicht es Patienten, ihre Gesundheitsentscheidungen aktiv mitzugestalten, indem sie komplexe Zusammenhänge verständlich und transparent darstellt. Dieser Ansatz stärkt die Zusammenarbeit zwischen Patienten und Ärzten und fördert die Selbstbestimmung.

Gemeinsame Entscheidungsfindung mit XAI

Erklärbare KI übersetzt komplizierte medizinische Daten in klare, verständliche Informationen, die von Patienten und Ärzten gemeinsam genutzt werden können. Diese Transparenz verbessert die Kommunikation und schafft eine vertrauensvolle Grundlage für gemeinsame Entscheidungen.

Ein Beispiel dafür liefert eine Kooperation der Universitätsmedizin Mainz und des DFKI aus dem Jahr 2025. Dabei wurde die SHAP-Methode in 2.497 Fällen eingesetzt, um Entscheidungsgrundlagen offenzulegen ^[1].

„Mit dem zunehmenden wissenschaftlichen Wissen müssen mehr Parameter berücksichtigt werden, und dieses System kann mit minimalem Zeitaufwand eine zusätzliche Behandlungsmeinung liefern." – Prim. Priv.-Doz. Dr. Thomas Höfner, Abteilung für Urologie und Andrologie, Ordensklinikum Linz ^[1].

Dank dieser Transparenz konnten Patienten die Behandlungslogik nachvollziehen und fundierte Entscheidungen über ihre Therapie treffen. Statt lediglich Empfehlungen zu folgen, wurden sie zu aktiven Partnern im Entscheidungsprozess.

Individuelle Anpassung der Erklärungen

Damit erklärbare KI wirklich effektiv ist, müssen die Erklärungen auf die unterschiedlichen Bedürfnisse und das Vorwissen der Patienten zugeschnitten sein. Das bedeutet, dass die Kommunikation flexibel und verständlich gestaltet werden muss.

Eine Studie ergab, dass 70,2 % der Patienten erklärbare KI-Lösungen im Gesundheitswesen begrüßen ^[3]. Gleichzeitig zeigte die COMFORT-Studie, dass Menschen mit geringerer Gesundheitskompetenz oft skeptischer gegenüber KI sind ^[3].

„Die Ergebnisse zeigen, dass Erklärbarkeit von Anfang an mitgedacht werden muss. Die Akzeptanz steigt, wenn Patienten nachvollziehen, wie KI zu einer Entscheidung gelangt." – Dr. Felix Busch, Assistenzarzt an der TUM ^[3].

Erfolgreiche Strategien setzen auf einfache Sprache, visuelle Darstellungen und praxisnahe Informationen. Regelmäßige Rückmeldungen der Patienten helfen dabei, die Kommunikation weiter zu verbessern.

Beispiele für Patientenunterstützung

Ein gelungenes Beispiel ist das iKNOW-Tool, das in der genetischen Beratung bei erblich bedingtem Brust- und Eierstockkrebs zum Einsatz kommt. Es macht komplexe Risikoinformationen verständlich und ermöglicht personalisierte Bewertungen sowie Therapieempfehlungen – unter Berücksichtigung der individuellen Präferenzen und Privatsphäre ^[8].

Diese Beispiele verdeutlichen, wie erklärbare KI nicht nur die medizinische Qualität verbessert, sondern Patienten auch echte Selbstbestimmung ermöglicht. Sie verstehen nicht nur, welche Empfehlungen gegeben werden, sondern auch die Gründe dahinter – und können so eigenständig über ihre Gesundheit entscheiden.

sbb-itb-49a712f

Ethische und rechtliche Anforderungen für erklärbare KI in Deutschland

Im deutschen Gesundheitswesen unterliegt der Einsatz von erklärbarer KI strengen rechtlichen und ethischen Vorgaben. Diese sind essenziell, um sowohl das Vertrauen von Patienten als auch von medizinischem Fachpersonal zu gewährleisten und den verantwortungsvollen Umgang mit KI-Systemen sicherzustellen.

Regulatorische Anforderungen für Transparenz

Die Datenschutz-Grundverordnung (DSGVO) bildet die Grundlage für den Einsatz von KI im Gesundheitswesen. Insbesondere Artikel 22 der DSGVO garantiert Patienten das Recht, nicht ausschließlich durch automatisierte Entscheidungen benachteiligt zu werden. Das bedeutet: Menschliche Aufsicht ist zwingend erforderlich.

Der Europäische Gerichtshof (EuGH) hat diese Regelung durch seine Urteile zur automatisierten Entscheidungsfindung konkretisiert. Entscheidungen, die durch KI getroffen werden, müssen nachvollziehbar und überprüfbar sein.

Darüber hinaus stuft die Medizinprodukte-Verordnung (MDR) KI-Systeme im Gesundheitsbereich als Medizinprodukte ein. Diese Systeme müssen strenge Anforderungen in Bezug auf Sicherheit, Leistung und insbesondere die Nachvollziehbarkeit der Algorithmen erfüllen.

Das kommende EU-KI-Gesetz wird diese Regelungen weiter ausbauen. KI-Systeme werden nach ihrem Risikograd eingestuft, wobei Hochrisiko-Anwendungen, wie sie im Gesundheitswesen häufig vorkommen, besonders strenge Vorgaben hinsichtlich Transparenz und Rechenschaftspflicht erfüllen müssen.

Neben den gesetzlichen Rahmenbedingungen spielen ethische Prinzipien eine ebenso wichtige Rolle.

Ethische Grundsätze für erklärbare KI

Rechtliche und ethische Leitlinien sorgen dafür, dass Erklärbarkeit nicht nur ein technisches Ziel bleibt, sondern ein zentraler Bestandteil der Patientenversorgung wird. Autonomie, Fairness und Transparenz sind die Grundpfeiler eines verantwortungsvollen Einsatzes von KI im Gesundheitswesen.

„Transparenz ist entscheidend für KI-Systeme im Gesundheitswesen, um sicherzustellen, dass Patienten informierte Entscheidungen über ihre Behandlung treffen können." – Professor Timo Ropinski, Universität Ulm ^[6]

Eine Umfrage ergab, dass 70 % der Mediziner der Meinung sind, KI-Systeme sollten ihre Empfehlungen erklären können, um Vertrauen und Verantwortlichkeit zu stärken ^[10]. Dies unterstreicht die Bedeutung der Patientenautonomie: Patienten müssen verstehen, wie KI-gestützte Empfehlungen entstehen, um fundierte Entscheidungen treffen zu können.

Im Juli 2024 veröffentlichte das Bundesgesundheitsblatt Leitlinien für den verantwortungsvollen Einsatz von KI-basierten klinischen Entscheidungsunterstützungssystemen. Diese Empfehlungen, die vom BMBF gefördert wurden, betonen die Bedeutung von Transparenz und die aktive Einbindung von Patienten in Entscheidungsprozesse ^[9].

„Die Integration erklärbarer KI in klinische Arbeitsabläufe ist wesentlich für die Aufrechterhaltung der Patientenautonomie und des Vertrauens." – Bundesgesundheitsblatt ^[9]

Integration in klinische Arbeitsabläufe

Die praktische Einführung erklärbarer KI erfordert gut durchdachte Strategien, die sowohl rechtliche als auch ethische Standards berücksichtigen. Dabei spielen interdisziplinäre Teams aus Ethikern, Datenwissenschaftlern und Medizinern eine Schlüsselrolle.

Das Höchstleistungsrechenzentrum Stuttgart startete im Juni 2024 ein Projekt, das sich mit den ethischen Aspekten von KI in der Medizin befasst. Der Schwerpunkt liegt auf der Nachvollziehbarkeit von KI-Algorithmen, um das Vertrauen von Ärzten und Patienten zu stärken ^[10].

„Ärzte sollten KI eher als Werkzeug denn als primären Mechanismus zur Entscheidungsfindung nutzen." – Luka Poslon, Gastwissenschaftler am Höchstleistungsrechenzentrum Stuttgart ^[10]

Zur erfolgreichen Integration gehören regelmäßige Schulungen für medizinisches Fachpersonal, damit diese die Funktionsweise und Auswirkungen von KI-Systemen besser verstehen. Zudem müssen klare Protokolle für die informierte Einwilligung entwickelt werden, die erklären, wie KI-Systeme arbeiten und welche Rolle sie bei Behandlungsentscheidungen spielen.

Ein weiteres Beispiel ist das KEMAI-Graduiertenprogramm der Universität Ulm, das 2025 startet. Es untersucht die Schnittstellen zwischen KI, Medizin und Ethik mit dem Ziel, die Erklärbarkeit von KI-Systemen in der klinischen Praxis zu verbessern und das Verständnis bei Medizinern und Patienten zu fördern ^[6].

Die Integration erklärbarer KI ist nicht nur eine gesetzliche Verpflichtung, sondern auch entscheidend für die Patientensicherheit und das Vertrauen in moderne Medizintechnik.

Vorteile und Grenzen erklärbarer KI im Gesundheitswesen

Erklärbare KI bringt sowohl Chancen als auch Herausforderungen mit sich. Eine sorgfältige Abwägung ist entscheidend, um ihr Potenzial im Gesundheitswesen voll auszuschöpfen.

Vorteile erklärbarer KI

Die Prinzipien von Transparenz und Patientenautonomie zeigen, wie erklärbare KI in der Praxis überzeugen kann – aber auch, welche Herausforderungen sie mit sich bringt.

Vertrauen und Akzeptanz sind zentrale Vorteile. 90 % der Patienten geben an, dass sie sich durch den Einsatz von KI-Tools stärker in ihre Gesundheitsentscheidungen eingebunden fühlen. Das stärkt ihr Verantwortungsgefühl gegenüber den eigenen Behandlungsplänen ^[7].

Ein Beispiel: Forscher des Deutschen Krebsforschungszentrums entwickelten Anfang 2024 ein erklärbares KI-System zur Melanom-Diagnose. Dieses führte zu einem deutlichen Anstieg des Vertrauens und der diagnostischen Genauigkeit bei den beteiligten Klinikern ^[2].

Patientenaufklärung profitiert ebenfalls von erklärbarer KI. Das Evidence-Based Decision Support Tool in Multiple Sclerosis (EBDiMS) stellte Langzeitprognosen bereit, die 95 % der Patienten als verständlich und nützlich bewerteten ^[7].

Auch rechtliche Anforderungen werden durch die Transparenz solcher Systeme unterstützt. Die DSGVO verlangt interpretierbare algorithmische Entscheidungen, was durch erklärbare KI erleichtert wird ^[2].

Doch trotz dieser Vorteile stehen der Einsatzbereitschaft von erklärbarer KI auch einige Hürden im Weg.

Grenzen und Herausforderungen

Technische Komplexität ist eine der größten Herausforderungen. 70 % der Gesundheitsfachkräfte äußern Bedenken, ob KI-Systeme ihre Entscheidungen klar und verständlich erklären können ^[4].

„Die Herausforderung liegt darin, sicherzustellen, dass KI-Systeme nicht nur genau, sondern auch interpretierbar und vertrauenswürdig für Kliniker und Patienten sind."
– Dr. Timo Ropinski, Universität Ulm ^[5]

Informationsüberflutung kann vor allem für Patienten problematisch sein. 60 % der Patienten bevorzugen einfache, leicht verständliche Erklärungen gegenüber technischen Details ^[10]. Zu viele Informationen können sie verwirren und ihre Entscheidungsfindung erschweren.

Ein weiteres Problem sind Verzerrungen und Diskriminierung. KI-Systeme spiegeln oft die Vorurteile wider, die in ihren Trainingsdaten enthalten sind. Dies kann zu unfairen Behandlungsempfehlungen für bestimmte Patientengruppen führen.

„Patienten verdienen es, die Begründung hinter KI-gestützten Empfehlungen zu verstehen, was ein Gleichgewicht zwischen technischen Details und Zugänglichkeit erfordert."
– Dr. Birte Glimm, KEMAI-Projekt ^[9]

Vergleich: Vorteile und Grenzen

Die Einführung erklärbarer KI im Gesundheitswesen erfordert eine ausgewogene Strategie. Regelmäßige Schulungen, benutzerfreundliche Gestaltung und eine konsequente Überwachung auf Verzerrungen sind entscheidend, um sowohl die Vorteile zu nutzen als auch die Herausforderungen zu bewältigen.

Fazit: Die Zukunft erklärbarer KI in der Patientenversorgung

Um KI in der Medizin sinnvoll einzusetzen, sind Transparenz und Nachvollziehbarkeit unverzichtbar. Diese Prinzipien bilden die Grundlage für die positiven Entwicklungen, die wir sowohl in der Statistik als auch in der Regulierung des Gesundheitswesens beobachten.

Laut einer Umfrage wünschen sich 70,2 % der Patienten erklärbare KI-Anwendungen ^[3]. Diese Nachfrage treibt innovative Projekte an. Ein Beispiel dafür ist ein im Juni 2025 vorgestelltes XAI-System (Explainable Artificial Intelligence) der Universitätsmedizin Mainz und des Deutschen Forschungszentrums für Künstliche Intelligenz. Dieses System unterstützt die Uro-Onkologie, indem es Behandlungsempfehlungen auf Basis von über 90 klinischen Parametern erstellt und diese mithilfe der SHAP-Methode für Ärzte verständlich darstellt ^[1].

„KI-Systeme sollten Menschen stärken und ihnen ermöglichen, informierte Entscheidungen zu treffen."
– Europäische Kommission ^[11]

Auch gesetzliche Vorgaben wie die DSGVO und die MDR verlangen nachvollziehbare algorithmische Entscheidungen ^{[1] [2]}.

Interdisziplinäre Programme wie das KEMAI-Projekt der Universität Ulm erforschen die Verknüpfung von KI, Ethik und Medizin ^[5]. Professor Timo Ropinski beschreibt das Ziel präzise:

„Wir wollen keine Diagnosemaschine, sondern ein Entscheidungsunterstützungssystem. Die Diagnose soll weiterhin vom Arzt gestellt werden." ^[5]

Solche Projekte bereiten den Weg für eine neue Generation von KI-Lösungen, die sich stärker an den Bedürfnissen der Patienten orientieren.

Studien zeigen, dass erklärbare KI das Vertrauen von Klinikern stärkt. Eine Untersuchung von Titus Brinker am Deutschen Krebsforschungszentrum im Januar 2024 belegt, dass ein erklärbares KI-System zur Melanom-Diagnose das Vertrauen von Dermatologen in ihre Entscheidungen erhöht.

„Die Ergebnisse zeigen, dass XAI das diagnostische Vertrauen der Kliniker stärken und das Potenzial hat, die Akzeptanz von KI-Methoden zu erhöhen."
– Titus Brinker, Deutsches Krebsforschungszentrum ^[2]

Um den Durchbruch erklärbarer KI zu ermöglichen, sind kontinuierliche Schulungen für medizinisches Personal, eine patientenzentrierte Gestaltung und der Einsatz von Tools wie SHAP und LIME entscheidend.

Dr. Sven Jungmann vermittelt in seinen Vorträgen praxisorientierte Ansätze zur Umsetzung dieser Prinzipien. Seine Schulungen und Vorträge zur digitalen Gesundheit und künstlichen Intelligenz bieten wertvolle Einblicke in technologische Entwicklungen und zeigen, wie erklärbare KI effektiv im Gesundheitswesen eingesetzt werden kann.

Zukünftig könnten verständliche KI-Systeme Patienten aktiv in medizinische Entscheidungen einbinden – ein wichtiger Schritt hin zu einem modernen Gesundheitswesen.

FAQs

Wie unterstützen SHAP, LIME und Grad-CAM die Transparenz von KI-Entscheidungen in der Medizin?

SHAP, LIME und Grad-CAM sind Werkzeuge, die dabei helfen, die Entscheidungen von Künstlicher Intelligenz (KI) in der Medizin transparenter und nachvollziehbarer zu machen.

SHAP (SHapley Additive exPlanations) zeigt auf, welche spezifischen Patientenmerkmale besonders stark zu einer Entscheidung der KI beigetragen haben. Dadurch können Ärzte die Entscheidungslogik der KI besser nachvollziehen und ihre eigenen Entscheidungen auf einer solideren Basis treffen.

Auch LIME und Grad-CAM zielen darauf ab, die Arbeitsweise von KI verständlicher zu machen. LIME liefert lokale Erklärungen, indem es spezifische Vorhersagen analysiert, während Grad-CAM visuell darstellt, welche Bereiche in medizinischen Bildern die KI bei ihrer Analyse berücksichtigt hat. Diese Ansätze stärken das Vertrauen in den Einsatz von KI in der Gesundheitsversorgung und tragen zu mehr Transparenz bei.

Welche rechtlichen und ethischen Aspekte sind bei der Nutzung von erklärbarer KI im Gesundheitswesen zu beachten?

Die Einführung von erklärbarer KI im Gesundheitswesen bringt besondere Herausforderungen mit sich, insbesondere in Bezug auf rechtliche und ethische Vorgaben. Es ist entscheidend, dass die Entscheidungswege der KI klar und nachvollziehbar gestaltet werden, um das Vertrauen sowohl der Patienten als auch des medizinischen Personals zu gewinnen.

Im ethischen Kontext steht die Patientenautonomie an oberster Stelle. Patienten sollten aktiv in Entscheidungsprozesse eingebunden werden, wobei ihre individuellen Werte und Präferenzen berücksichtigt werden müssen. Dennoch bleibt die endgültige Verantwortung für Behandlungsentscheidungen stets bei den behandelnden Ärztinnen und Ärzten. Ein weiterer zentraler Punkt ist der Schutz sensibler Gesundheitsdaten sowie die Sicherheit der eingesetzten KI-Systeme. Patienten müssen umfassend über den Einsatz von KI-Technologie informiert werden und ihre Einwilligung geben, bevor diese in der Behandlung Anwendung findet.

Wie profitieren Patienten von erklärbarer KI im Vergleich zu herkömmlichen Black-Box-KI-Systemen?

Erklärbare KI (XAI) bringt für Patienten klare Vorteile im Vergleich zu traditionellen Black-Box-KI-Systemen. Sie gibt Ärzten die Möglichkeit, die Entscheidungsprozesse der KI besser nachzuvollziehen. Das stärkt das Vertrauen in Diagnosen und Behandlungsempfehlungen erheblich.

Ein weiterer Pluspunkt ist die größere Transparenz: Patienten können besser verstehen, wie und warum bestimmte Entscheidungen getroffen wurden. Das erleichtert nicht nur die Akzeptanz von KI in der Medizin, sondern fördert auch eine informierte und partnerschaftliche Zusammenarbeit zwischen Ärzten und Patienten.

Verwandte Blogbeiträge

• Ärzte vs. Patienten: Vertrauen in KI aus zwei Perspektiven
• Wie generative KI Ärzte bei Diagnosen unterstützt
• 5 Wege, wie KI Ärzte zu Führungskräften macht
• Wie generative KI Gesundheitsrisiken vorhersagt