Interview FUTURE-AI: Vertrauenswürdige KI im Gesundheitswesen!
Das Projekt FUTURE-AI zielt darauf ab, die Lücke zwischen KI-Forschung und klinischer Anwendung im Gesundheitswesen zu schließen. Es bietet Richtlinien für die Entwicklung vertrauenswürdiger KI-Tools, die auf sechs Leitprinzipien und 30 Best Practices basieren.
Das Projekt FUTURE-AI zielt darauf ab, die Lücke zwischen KI-Forschung und klinischer Anwendung im Gesundheitswesen zu schließen. Es bietet Richtlinien für die Entwicklung vertrauenswürdiger KI-Tools, die auf sechs Leitprinzipien und 30 Best Practices basieren.
Forschende von Helmholtz Munich, darunter Prof. Julia Schnabel und Dr. Georgios Kaissis, arbeiten in einem Team, bestehend aus 117 Fachleuten aus 50 Ländern, an diesem internationalen Projekt.
In diesem Interview beschreibt Julia Schnabel die Notwendigkeit und das Ziel des Projekts.
"Neue und bezahlbare Lösungen sollen Kliniken helfen, Krankheiten früher zu erkennen, Behandlungen besser zu planen und Patienten besser zu versorgen."
Prof. Julia Schnabel, Direktorin des Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich
Welches Ziel verfolgt das FUTURE-AI-Konsortiums?
JS: Das FUTURE-AI-Konsortium vereint 117 Experten und Expertinnen aus 50 Ländern auf allen Kontinenten. Ziel ist es, internationale Leitlinien für vertrauenswürdige KI im Gesundheitswesen strukturiert und ganzheitlich zu definieren.
Welches sind die Herausforderungen für eine vertrauenswürdige KI im Gesundheitswesen?
JS: Trotz umfangreicher KI-Forschung im Gesundheitswesen haben nur wenige Tools den Sprung in die klinische Praxis geschafft. Grund dafür sind anhaltende klinische, technische, sozio-ethische und rechtliche Herausforderungen, die auf begrenztes Vertrauen und ethische Bedenken zurückzuführen sind. Diese betreffen potenzielle Fehler mit Patientenschäden, Vorurteile und zunehmende Gesundheitsungleichheiten, mangelnde Transparenz und Verantwortlichkeit sowie Datenschutz- und Sicherheitsprobleme.
Welche Leitlinien hat FUTURE-AI?
JS: FUTURE-AI bietet einen risikoinformierten Rahmen, um einige dieser Herausforderungen zu bewältigen, und konzentriert sich auf sechs Leitprinzipien:
Fairness, Universalität, Nachvollziehbarkeit, Benutzerfreundlichkeit, Robustheit, Erklärbarkeit.
Diese Prinzipien helfen dabei, Verzerrungen, Datenvariationen und sich entwickelnde Herausforderungen während des gesamten KI-Lebenszyklus zu adressieren – von der Gestaltung und Entwicklung über die Bewertung bis hin zur Implementierung.
"Die FUTURE-AI-Richtlinien werden zu KI-Tools führen, die konzeptionell vertrauenswürdig, transparent und medizinisch einsatzbereit sind und damit einen Wettbewerbsvorteil bei der behördlichen Zulassung bieten."
Prof. Julia Schnabel
Was ist der Schlüssel zur Entwicklung und Implementierung von FUTURE-AI?
JS: Entscheidend ist die frühzeitige Einbindung von Stakeholdern in die Entwicklungsphase des medizinischen KI-Lebenszyklus und der Aufbau von Vertrauen in der Patientengemeinschaft und der Öffentlichkeit. Das FUTURE-AI-Papier ist ein erster Schritt zu einem dynamischen Rahmenwerk, das Einblicke in die Regulierung medizinischer KI bietet. Obwohl die Empfehlungen noch nicht vollständig in regulatorische Verfahren integriert sind, verschafft eine frühe Umsetzung der Leitlinien einen Wettbewerbsvorteil bei der Zulassung.
Welchen Effekt hat Internationalität und Interdisziplinarität von FUTURE-AI auf die Leitlinien?
JS: Die internationale und hoch interdisziplinäre Zusammenarbeit führte zu einer internationalen Konsensrichtlinie, die Stimmen aus verschiedenen Ländern zusammenbringt und unterschiedliche Disziplinen (Datenwissenschaft, medizinische Forschung, klinische Medizin, Computertechnik, medizinische Ethik, Sozialwissenschaften) sowie Gesundheitsdatenbereiche (Radiologie, Genomik, mobile Gesundheit, elektronische Gesundheitsakten, Chirurgie, Pathologie) einbezieht.
Über einen Zeitraum von 24 Monaten wurde durch einen angepassten und hoch iterativen Delphi-Umfrageansatz die sechs Leitprinzipien und eine Reihe von Empfehlungen entwickelt und verfeinert, bevor ein Konsens (weniger als 5 Prozent Meinungsverschiedenheiten) erreicht wurde. Dabei haben wir unsere eigenen Leitprinzipien – insbesondere Fairness, Transparenz und Robustheit – eingehalten, um eine so vielfältige Gruppe internationaler Expert und Expertinnen in unserem Konsortium zusammenzubringen und deren Konsensansicht einzuholen.
"Der FUTURE-AI-Rahmen bietet die notwendige dynamische Flexibilität und einige allgemeinere Empfehlungen – beispielsweise für die frühzeitige Einbindung von Stakeholdern, den Datenschutz, das Risikomanagement, die Evaluierungsplanung, die Einhaltung gesetzlicher Vorschriften sowie den Umgang mit ethischen, sozialen und ökologischen Herausforderungen"
Prof. Julia Schnabel
In welchen realen Gesundheitsbereichen tragen die sechs Leitprinzipien bereits zu einer verlässlichen KI bei?
JS: Nicht alle sechs Leitprinzipien sind für jedes medizinische KI-Tool erforderlich. Zum Beispiel hilft das Fairness-Prinzip Entwicklungsteams dabei, potenzielle Verzerrungen frühzeitig zu erkennen, um eine gleichbleibende Leistung des KI-Tools für alle Patientengruppen – einschließlich unterrepräsentierter und benachteiligter Gruppen – zu gewährleisten. Diese Verzerrungen können durch individuelle Patientenmerkmale wie Alter, Geschlecht oder ethnische Zugehörigkeit sowie durch Unterschiede im Datenursprung (Bildscanner, Krankenhäuser) verursacht werden.
Es ist wichtig, dass ein medizinisches KI-Tool für die gesamte Zielgruppe funktioniert und nicht bei unterrepräsentierten Untergruppen versagt. Fairness steht in engem Zusammenhang mit Universalität (Generalisierbarkeit) und Robustheit (Leistungsfähigkeit unter erwarteten oder unerwarteten Datenvariationen).
"Mit fortschrittlichen Deep-Learning-Techniken arbeiten wir an der Schnittstelle zwischen Privatsphäre-wahrender und sicherer Künstlicher Intelligenz. Mein Team und ich entwickeln die nächste Generation von KI-Algorithmen mit Fokus auf Datenschutz, Robustheit und Sicherheit für medizinische Anwendungen.”
Dr. Georgios Kaissis, Leiter der Forschungsgruppe “Reliable AI”, Helmholtz Munich
Erfahren Sie mehr über Prof. Julia Schnabel, Dr. Georgios Kaissis und ähnliche Forschung
Prof. Julia Schnabel ist Direktorin des Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich.
Kontakt: julia.schnabel@helmholtz-munich.de
Dr. Georgios Kaissis ist Leiter der Forschungsgruppe “Reliable AI” bei Helmholtz Munich
Kontakt: georgios.kaissis@helmholtz-munich.de
Forschung & News:
- Future-AI: FUTURE-AI: International Consensus Guideline for Trustworthy and Deployable AI in Healthcare
- Julia Schnabel leitet neues Institut für Maschinelles Lernen in der Biomedizinischen Bildgebung
- Podcast: AI-Ready Healthcare (Nur auf Englisch verfügbar)
- Verantwortungsvoller Einsatz von Künstlicher Intelligenz in der Medizin: Neue Ad hoc-AG der BAdW in Kooperation mit Helmholtz Munich gestartet
Letzte Aktualisierung: März 2025.