Regulation Künstlicher Intelligenz
„Guidance and Quality Criteria on AI Prediction Algorithms in Medical Devices“ ist ein Überblicksbericht aus dem August 2020, der zentrale Leitlinien und Qualitätskriterien für KI-basierte Vorhersagealgorithmen im Gesundheitswesen zusammenfasst. Der Bericht strukturiert den Lebenszyklus solcher Algorithmen in sechs Phasen – von Datenvorbereitung über Entwicklung und Validierung bis hin zu Implementierung und Anwendung – und betont dabei Aspekte wie Datenqualität, Bias, Generalisierbarkeit, Transparenz sowie klinische Wirkung. Ziel ist es, eine Orientierung für die sichere, effektive und regulierungskonforme Nutzung von KI in medizinischen Softwareprodukten zu bieten.
Der Artikel „Availability of Evidence for Predictive Machine Learning Algorithms in Primary Care“ untersucht systematisch die Verfügbarkeit von Evidenz für prädiktive Machine-Learning-Algorithmen in der Primärversorgung. Die Autoren identifizieren 43 Algorithmen, von denen viele auf kardiovaskuläre Erkrankungen und Diabetes ausgerichtet sind. Insgesamt zeigt sich eine erhebliche Lücke in der öffentlich zugänglichen Evidenz über den gesamten Lebenszyklus dieser Systeme hinweg, insbesondere in den Phasen Vorbereitung und Impact-Bewertung. Während Entwicklungs- und Validierungsdaten häufiger berichtet werden, fehlen oft Informationen zu Implementierung, Monitoring und klinischem Nutzen. Algorithmen aus wissenschaftlicher Literatur weisen dabei mehr verfügbare Evidenz auf als solche aus regulatorischen Datenbanken (z. B. FDA oder CE). Die Studie betont die Notwendigkeit transparenter und standardisierter Berichterstattung, etwa durch Anwendung der niederländischen AIPA-Leitlinie, um Vertrauen, Nachvollziehbarkeit und eine breitere Implementierung von KI-Systemen in der Primärversorgung zu fördern.
Der Beitrag „A Collaborative Best Practice Guide for Promoting AI Vendor Transparency in Health Care — The HAIP AI Vendor Disclosure Framework“ beschreibt einen strukturierten Ansatz zur Verbesserung der Transparenz bei der Beschaffung von KI-Systemen im Gesundheitswesen. Im Mittelpunkt steht ein von der Health AI Partnership entwickeltes Rahmenwerk, das fünf zentrale Informationsbereiche definiert: Systemfunktionen, Leistungsfähigkeit, Datenmanagement, Integrationsanforderungen und Lebenszyklusmanagement. Ziel ist es, die bislang oft unzureichenden und uneinheitlichen Angaben von Anbietern zu standardisieren und damit fundiertere, sicherere Beschaffungsentscheidungen zu ermöglichen. Das Framework adressiert bestehende Defizite in der Bewertung von KI-Systemen, stärkt die Vergleichbarkeit von Angeboten und fördert Vertrauen sowie Verantwortlichkeit zwischen Anbietern und Gesundheitseinrichtungen. Gleichzeitig werden Herausforderungen bei der Umsetzung betont, insbesondere begrenzte Ressourcen und fehlende Expertise in kleineren Organisationen, was potenziell bestehende Ungleichheiten verstärken kann.
Der Perspective-Artikel „Mapping AI regulation in health care with the Health & AI Policy Index“ beschreibt die zunehmende Fragmentierung der Regulierung von KI im Gesundheitswesen. Auf Basis des Health & AI Policy Index (HAPI) analysieren die Autoren 240 gesundheitsbezogene KI-Politiken bis Januar 2026. Die Analyse zeigt, dass Transparenz- und Governance-Vorgaben dominieren, während verbindliche klinische Regeln weiterhin selten sind. Regulatorische Anforderungen richten sich vor allem an Gesundheitsanbieter, Behörden und Entwickler. Gleichzeitig nimmt die Zahl beteiligter Institutionen und Regelwerke seit 2024 stark zu, was die Governance-Landschaft komplexer macht.
„Overcoming regulatory barriers to the implementation of AI agents in healthcare“ ist ein Kommentar in Nature Medicine (2025), der sich mit regulatorischen Herausforderungen beim Einsatz autonomer KI-Agenten im Gesundheitswesen befasst. Der Beitrag betont die Notwendigkeit, bestehende, statische Zulassungsmodelle durch adaptive und flexiblere Aufsichts- und Steuerungsmechanismen zu ergänzen, um Sicherheit und Implementierbarkeit zu gewährleisten.
Disparate privacy risks from medical AI untersucht Datenschutzrisiken medizinischer KI-Modelle auf Ebene einzelner Patientinnen und Patienten. Die Studie zeigt, dass aggregierte Datenschutzmetriken individuelle Risiken deutlich unterschätzen können, dass größere Modelle das Risiko erfolgreicher Membership-Inference-Angriffe erhöhen und dass insbesondere unterrepräsentierte Patientengruppen überproportional betroffen sind. Die Ergebnisse sprechen für patientenbezogene Datenschutzbewertungen sowie den Einsatz von Differential Privacy zum Schutz sensibler Gesundheitsdaten.
„Bernie Sanders diskutiert mit internationalen KI-Forschern über Risiken künstlicher Intelligenz“ thematisiert die möglichen gesellschaftlichen und existenziellen Folgen unregulierter KI-Entwicklung. Im Mittelpunkt stehen Warnungen führender Wissenschaftler vor Kontrollverlust, Arbeitsplatzverlusten, Manipulation durch KI-Systeme sowie die Forderung nach internationaler Zusammenarbeit zwischen den USA und China zur Regulierung von KI-Technologien.
“Don’t Give Up on Democratizing AI for the Wrong Reasons” untersucht die konzeptionellen und normativen Herausforderungen der Demokratisierung von Künstlicher Intelligenz. Der Beitrag identifiziert acht verbreitete Denkfehler („Traps“) und zeigt, warum AI-Demokratisierung nicht auf bloßen Zugang zu Technologien reduziert werden sollte, sondern echte gesellschaftliche Beteiligung, Kontrolle und Verantwortung erfordert.
„Dissecting racial bias in an algorithm used to manage the health of populations“ (2019) analysiert Verzerrungen in einem weit verbreiteten Gesundheits-Risikoalgorithmus in den USA. Die Studie zeigt, dass bei gleicher Risikoeinstufung schwarze Patient:innen systematisch kränker sind als weiße Patient:innen, da der Algorithmus Gesundheitskosten statt tatsächlicher Krankheitslast vorhersagt. Dadurch entstehen strukturelle Verzerrungen in der Zuweisung medizinischer Versorgungsprogramme, die sich jedoch durch eine geeignete Wahl der Zielvariable (Label) deutlich reduzieren lassen.
„Big Data Governance Needs More Collective Responsibility: The Role of Harm Mitigation in the Governance of Data Use in Medicine and Beyond“ analysiert zentrale Governance-Lücken im Umgang mit datengetriebenen Risiken im Gesundheitswesen und darüber hinaus. Der Beitrag zeigt, dass bestehende rechtliche Rahmenwerke wie die DSGVO strukturell nicht ausreichen, um systemische und schwer kausal zuordenbare Schäden durch Big Data zu adressieren. Vorgeschlagen wird daher ein ergänzender Ansatz der Schadensminderung durch sogenannte Harm Mitigation Bodies (HMBs), die Betroffenen Unterstützung und teilweise finanzielle Entschädigung ermöglichen sollen.
Der Titel „Two decades of growth and trends in the FDA authorization of digital medical devices“ analysiert die Entwicklung digitaler Medizinprodukte in den USA anhand von FDA-Zulassungen zwischen 2005 und 2024. Die Studie zeigt einen deutlichen Anstieg softwarebasierter Medizinprodukte und erhebliche Unterschiede zwischen medizinischen Fachgebieten. Mithilfe einer neu entwickelten Textanalyse von fast 48.000 FDA-Dokumenten schaffen die Autoren erstmals eine systematische Datengrundlage zur langfristigen Beobachtung der Digitalisierung des US-Medizinproduktemarkts.
Der Beitrag „A New CMS Payment Model for AI-Delivered Behavioral Health Care“ diskutiert einen neuen Vergütungsansatz für KI-gestützte Leistungen in der psychiatrischen Versorgung. Im Mittelpunkt steht die Frage, wie Gesundheitssysteme auf die zunehmende Nutzung generativer KI und KI-Chatbots im Bereich der psychischen Gesundheit reagieren können. Die Autoren argumentieren, dass geeignete Erstattungsmodelle notwendig sind, um qualitativ hochwertige, sichere und klinisch integrierte KI-Anwendungen zu fördern und gleichzeitig den wachsenden Versorgungsbedarf im Bereich der psychischen Gesundheit zu adressieren.
“Map of Internet Territories” beschreibt die physische und geopolitische Infrastruktur des Internets und macht die materiellen, ökologischen und sozialen Dimensionen digitaler Technologien sichtbar. Die Kartografie zeigt Zusammenhänge zwischen Rohstoffabbau, Infrastruktur, Überwachung, algorithmischer Macht und digitalem Kolonialismus. Ziel ist es, Machtverhältnisse im digitalen Raum verständlicher zu machen und Diskussionen über Klima-, Umwelt- und Gerechtigkeitsfragen anzuregen.
„When AI Colludes: Clinical Reliability of Training and Preference Data as a Trustworthy-AI Criterion“ ist ein in JMIR Mental Health veröffentlichter Preprint, der die Zuverlässigkeit von Trainings- und Präferenzdaten in KI-Systemen aus klinischer Perspektive untersucht. Der Beitrag argumentiert, dass menschliche kognitive Verzerrungen sowie Nutzerpräferenzen die Datenbasis von KI-Systemen systematisch beeinflussen können. Daraus werden Implikationen für die klinische Validität und Governance von KI in der psychischen Gesundheitsversorgung abgeleitet.
„Explainability, Transparency, and Accountability in AI Systems“ synthetisiert die Literatur zu Erklärbarkeit, Transparenz und Rechenschaftspflicht für eingesetzte KI-Systeme. Zentrale Ergebnisse sind: Post-hoc-Methoden wie LIME und SHAP sind verfügbar, garantieren jedoch weder Treue, Stabilität noch Verständlichkeit und sind anfällig für adversarielle Manipulation; regulatorische Transparenzpflichten (EU AI Act Art. 86, GDPR) übersteigen die aktuellen technischen Fähigkeiten und erzeugen eine Implementierungslücke; die Erklärung agentischer KI erfordert die Nachvollziehbarkeit von Handlungssequenzen statt einzelner Vorhersagen und stellt eine offene Forschungsgrenze dar. Praktiker benötigen integrierte Kontrollarchitekturen aus technischen XAI-Methoden, Audit-Trails, sinnvoller menschlicher Aufsicht und kontinuierlichem Monitoring.
„Algorithmic audit in external control: an assessment matrix for artificial intelligence systems in public administration“ stellt eine acht Dimensionen umfassende algorithmische Audit-Matrix für Rechnungshöfe und externe Kontrollinstanzen vor. Die Matrix übersetzt Anforderungen an Legalität, Transparenz, Erklärbarkeit, menschliche Aufsicht und Nichtdiskriminierung in prüfbare Kriterien, Risiken, Mindestevidenzen und Leitfragen und verortet sich dabei explizit auf der Seite der externen Kontrolle von KI-Systemen der Verwaltung, nicht der KI als Prüfungswerkzeug. Illustrierte Anwendungsfälle aus Steuerverwaltung, Sozialleistungen und öffentlicher Beschaffung sowie internationale Bezüge (GAO, europäische SAIs) untermauern die praktische Anwendbarkeit.
“Provenance-First AI Architectures: Designing Replayable Systems for Computational Accountability” stellt ein architektonisches Rahmenwerk vor, das Provenienz als primäre Designbeschränkung behandelt. Das Paper definiert vier notwendige Bedingungen für Replayability – Erhaltung des Computation Records, Trennung von Computation und Präsentation, Integritätsschutz und unabhängige Auditierbarkeit – sowie vier architektonische Invarianten. Es argumentiert, dass Governance letztlich ein Architekturproblem ist, da Systeme ohne provenance-first Design die Evidenzanforderungen konsequenter Verantwortlichkeit nicht erfüllen können.
„Three Classes of AI Accountability Systems: A Taxonomy of Opaque, Explainable, and Replayable Architectures“ stellt eine formale Taxonomie vor, die AI-Systeme nach ihrer strukturellen Fähigkeit zur Rechenschaftspflicht klassifiziert. Class I (Opaque) erzeugt keine erhaltenen Accountability-Evidenzen, Class II (Explainable) rekonstruiert Evidenzen nachträglich, Class III (Replayable) bewahrt Evidenzen während der Berechnung vor dem Output. Die drei Klassen entsprechen den irreduziblen Zuständen absent, reconstructed und preserved und bilden eine strikte Hierarchie, in der höhere Klassen Accountability-Eigenschaften erfüllen, die unteren Klassen nicht zugänglich sind. Die Taxonomie dient Systemdesignern, Regulatoren und Auditoren als Klassifikationsrahmen für Accountability-Fähigkeiten und nicht als Qualitätsranking.
“The Need for Regulatory Certainty on Medical AI: Lessons From the OpenEvidence Geoblocking in the EU and UK Over the EU AI Act” analysiert die Folgen der vorübergehenden Nichtverfügbarkeit von OpenEvidence in der EU und im Vereinigten Königreich im Kontext des EU AI Act. Der Beitrag zeigt, dass insbesondere regulatorische Überschneidungen und Unsicherheiten die Einführung medizinischer KI erschweren können. Als zentrale Perspektive wird eine harmonisierte Regulierung mit klaren Anforderungen an Transparenz, Auditierbarkeit, Verantwortlichkeit und Patientensicherheit vorgeschlagen.
Chat GPT Is Eating the World bietet einen Überblick über aktuelle Entwicklungen rund um Künstliche Intelligenz mit besonderem Fokus auf rechtliche, wirtschaftliche und gesellschaftliche Auswirkungen. Die Seite bündelt Nachrichten zu KI-Modellen, Urheberrechtsstreitigkeiten, Regulierungsinitiativen, Rechenzentren, Unternehmensstrategien sowie internationalen Entwicklungen und ergänzt diese durch verschiedene Übersichten und Fall-Tracker zu laufenden KI-Verfahren.
Die Stellungnahme „Pacing the Frontier“ fasst die Position von 1.224 Beschäftigten führender KI-Unternehmen zusammen, die eine koordinierte Verlangsamung der Entwicklung von Frontier-KI als mögliche sicherheitspolitische Option fordern. Im Mittelpunkt stehen die Risiken einer beschleunigten automatisierten KI-Forschung, der internationale Wettbewerbsdruck sowie die Forderung nach technischen und regulatorischen Mechanismen, mit denen Regierungen und Unternehmen das Entwicklungstempo bei Bedarf gemeinsam steuern können.
„AI-designed viral genomes“ beschreibt die sicherheitsrelevanten Folgen generativer KI für die Synthese vollständiger viraler Genome. Die Autoren betonen, dass die technische Fähigkeit zur KI-gestützten Konstruktion viraler Genome inzwischen vorhanden ist, während geeignete Governance- und Sicherheitsmechanismen noch nicht ausreichend entwickelt sind.
„American Medical Association Shares Framework to Address the Escalating Risk of Physician Deepfakes“ beschreibt die wachsenden Risiken KI-generierter Deepfakes, die Ärztinnen und Ärzte imitieren und zur Täuschung, für betrügerische Gesundheitswerbung oder zur Verbreitung unbelegter Behandlungsempfehlungen eingesetzt werden. Die American Medical Association schlägt ein sieben Prinzipien umfassendes Rahmenwerk vor, das unter anderem geschützte ärztliche Identitäten, verpflichtende Transparenz und Kennzeichnung, eine ausdrückliche Einwilligung sowie gemeinsame Verantwortung von Plattformen, Gesundheitseinrichtungen und KI-Anbietern vorsieht. Der Beitrag betont zudem den Bedarf an durchsetzbaren gesetzlichen Regelungen und möglichst einheitlichen bundesweiten Vorgaben in den USA.
„Medical negligence in the age of statistically superior AI“ untersucht die haftungsrechtlichen Folgen des zunehmenden Einsatzes leistungsfähiger KI-Systeme in der medizinischen Diagnostik. Der Beitrag entwickelt ein zweistufiges Transparenzmodell und zeigt, dass eine rechtliche Pflicht zur Nutzung oder Befolgung von KI nicht allein aus deren statistischer Überlegenheit folgt. Stattdessen sind regulatorische Zulassung, institutionelle Empfehlung sowie nachvollziehbare Transparenz und Interpretierbarkeit die entscheidenden Voraussetzungen für einen verantwortungsvollen KI-Einsatz in der klinischen Praxis.
„Shadow AI in Swedish Health Care: Qualitative Analysis of Physicians’ Free-Text Answers“ untersucht die Nutzung nicht offiziell zugelassener KI-Werkzeuge durch Ärztinnen und Ärzte in der schwedischen Gesundheitsversorgung. In einer Befragung von 357 Ärztinnen und Ärzten wurden vier zentrale Nutzungsbereiche identifiziert: klinische Arbeit und Entscheidungsunterstützung, administrative Tätigkeiten, Forschung und berufliche Weiterbildung sowie technisches Interesse. Die Ergebnisse zeigen einen Zielkonflikt zwischen praktischen Effizienzgewinnen und Wissenszugang einerseits sowie Datenschutz-, Sicherheits-, Organisations- und Regulierungsrisiken andererseits.
„Bundesweit einzigartiges KI-Reallabor für Gesundheitsversorgung startet“ beschreibt den Start der SAINDBOX – AI Health Sandbox BW am Bosch Health Campus. Das Reallabor soll Unternehmen, Versorgungseinrichtungen, Wissenschaft und Aufsichtsbehörden ermöglichen, KI-Anwendungen unter praxisnahen und regulatorisch abgesicherten Bedingungen zu erproben. Ein zentraler Anwendungsfall ist die KI-gestützte Patientensteuerung in Hausarztpraxis, fachärztlicher Versorgung und Notaufnahme.
Der Text erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit und stellt keine Rechtsberatung dar. Anmerkungen können in der rechten Seitenleiste mit Hypothes.is sozialem Annotierungswerkzeug oder am unteren Ende einer Seite mit GitHub Giscus Diskussionen hinterlassen werden.