Große Sprachmodelle
Klinische Sicherheit und Halluzinationsraten
„A Framework to Assess Clinical Safety and Hallucination Rates of LLMs for Medical Text Summarisation“ stellt ein Framework vor, das die klinische Sicherheit von Large Language Models bei der Zusammenfassung medizinischer Texte bewertet. Im Fokus der Schadensdefinition und -einteilung stehen Fehler wie Halluzinationen und Omissions, die in major und minor kategorisiert werden: Major-Fehler wirken sich auf die Diagnose oder das Management des Patienten aus und bergen potenzielles Harm, während minor-Fehler keinen relevanten Einfluss auf die Patientensicherheit haben. Die Schadenseinteilung orientiert sich an Protokollen für medizinische Geräte und kombiniert die Wahrscheinlichkeit eines Fehlers mit seiner Konsequenz (z. B. Anzahl betroffener Patienten und Schweregrad), um ein Risiko-Level zu ermitteln. Dies ermöglicht eine risikobasierte Bewertung und Priorisierung kritischer Fehler in der klinischen Anwendung. In der untersuchten Studie betrug die Häufigkeit von Halluzinationen in den generierten klinischen Notizen 1,47 % der Sätze, wobei 44 % dieser Halluzinationen als major eingestuft wurden und potenziell die Diagnose oder das Patientenmanagement beeinträchtigen könnten. Im Vergleich dazu traten Omissions-Fehler häufiger auf, mit einer Rate von 3,45 % der relevanten Sätze aus den Transkripten, von denen etwa 16,7 % major waren und klinisch bedeutsame Informationen ausließen. Durch iterative Optimierungen von Prompts und Workflows konnten in den besten Experimenten die Raten majorer Halluzinationen und Omissions unter die in der Literatur berichteten Werte für menschlich erstellte Notizen gesenkt werden, die durchschnittlich mindestens einen Fehler und vier Omissions pro Notiz aufweisen. Dies unterstreicht, dass Omissions-Fehler in der klinischen Textzusammenfassung tendenziell häufiger vorkommen als Halluzinationen, letztere jedoch ein höheres Risiko für schwere klinische Konsequenzen bergen.
Agentische KI
MedAgentBench v2 Improving Medical LLM Agent Design untersucht, wie sich das Design eines klinischen KI‑Agents in einer FHIR‑konformen elektronischen Patientenakte durch gezieltes Prompt‑Engineering, spezialisierte Werkzeuge und eine Memory‑Komponente verbessern lässt. Der Beitrag beschreibt, wie neue Tools für strukturierte FHIR‑Interaktionen, Rechenoperationen und formatierte Ausgabe zusammen mit einem überarbeiteten Systemprompt die Erfolgsrate des auf GPT‑4.1 basierenden Agents auf 91 % ohne und 98 % mit Memory steigern. Zudem werden 300 zusätzliche, mehrschrittige klinische Aufgaben entwickelt, um Generalisierbarkeit und Grenzen des Ansatzes zu evaluieren und Anforderungen für eine verantwortliche Einführung agentischer KI in realen Versorgungsszenarien zu skizzieren.
Weiteres
Die Studie „Evaluating the performance of general purpose large language models in identifying human facial emotions“ untersuchte die Fähigkeit dreier führender Large Language Models (GPT-4o, Gemini 2.0 Experimental und Claude 3.5 Sonnet), menschliche Gesichtsausdrücke anhand des NimStim-Datensatzes korrekt zu erkennen. GPT-4o und Gemini 2.0 Experimental erreichten eine nahezu perfekte Übereinstimmung mit den Ground-Truth-Labels (Cohen’s Kappa 0,83 bzw. 0,81) und lagen insgesamt im Bereich oder teilweise über der Leistung menschlicher Beurteiler. Alle Modelle zeigten insbesondere bei den Kategorien calm/neutral, happy und surprise gute Ergebnisse, wiesen jedoch deutliche Schwierigkeiten bei der Erkennung von fear auf, das häufig als surprise fehlklassifiziert wurde. Claude 3.5 Sonnet erreichte mit Kappa 0,70 und 74 % Gesamtgenauigkeit eine deutlich geringere Übereinstimmung. Die Leistung der Modelle variierte weder systematisch nach Geschlecht noch nach Ethnie der dargestellten Personen.
Die Studie „Performance of Large Language Models Under Input Variability in Health Care Applications: Dataset Development and Experimental Evaluation“ von Saubhagya Joshi und Kollegen wurde am 20. Februar 2026 in JMIR AI (Band 5, e83640) veröffentlicht. Sie untersucht die Robustheit von drei Large Language Models gegenüber variierenden Eingaben im Gesundheitsbereich, indem sie einen neu entwickelten Datensatz mit drei Arten menschlicher Störungen (Redaktionen, Homophone und typografische Fehler) in unterschiedlichen Intensitätsstufen nutzt und diese auf drei gesundheitsbezogene Aufgaben anwendet. Entgegen den Erwartungen zeigten die Modelle eine bemerkenswerte Widerstandsfähigkeit: In über der Hälfte der Fälle (55,92 %) blieb die Leistung stabil oder verbesserte sich sogar, insbesondere bei geringen Störungsgraden, während Redaktionen (z. B. durch Datenschutz oder kognitive Einschränkungen) den stärksten negativen Einfluss hatten. Die Ergebnisse unterstreichen die Notwendigkeit, LLM-basierte Anwendungen im Gesundheitswesen gezielt auf reale Eingabevariabilität auszulegen, und stellen den begleitenden Datensatz als Ressource für weitere Robustheitsforschung zur Verfügung.
„UKL-GPT – Interne KI-Plattform“ (kma-online) Das Universitätsklinikum Leipzig hat UKL-GPT als eigene, datenschutzkonforme KI-Lösung gestartet, die im hauseigenen Rechenzentrum betrieben wird. Die Plattform durchsucht knapp 8700 Dokumente aus dem Dokumentenmanagementsystem roXtra, unterstützt bei der Textgenerierung und dient als zentrale digitale Assistenz für alle Berufsgruppen. Entwickelt in Kooperation mit der Firma 4K Analytics, basiert sie auf einem Datathon aus dem Jahr 2024 und wurde nach einer Pilotphase klinikweit freigegeben. Langfristig soll UKL-GPT weitere interne Quellen integrieren und zur zentralen Schnittstelle für Verwaltung und medizinische Prozesse werden.
Die Analyse „LLM-assisted systematic review of large language models in clinical medicine“ von Sully F. Chen und Kollegen, veröffentlicht am 3. März 2026 in Nature Medicine, untersucht die wissenschaftliche Evidenz zu Large Language Models (LLMs) in der klinischen Medizin. Zwischen Januar 2022 und September 2025 wurden 4.609 peer-reviewte Studien identifiziert, was etwa 3,2 Publikationen pro Tag entspricht. Nur 1.048 Studien nutzten echte Patientendaten, davon lediglich 19 prospektive randomisierte kontrollierte Studien; die Mehrheit basierte auf simulierten Szenarien (1.857) oder prüfungsartigen Aufgaben (1.704). ChatGPT und andere OpenAI-Modelle dominierten mit 65,7 % der evaluierten Modelle. In 1.046 direkten Vergleichen übertrafen LLMs Menschen in 33 % der Fälle, abhängig von Realitätsnähe und Aufgabenart. Die Autoren betonen den Mangel an rigoroser, patientenzentrierter Evidenz und fordern größere prospektive Studien vor einer klinischen Einführung.
„Clinician input steers frontier AI models toward both accurate and harmful decisions“ untersucht, wie ärztliche Beiträge das Verhalten großer Sprachmodelle in klinischen Entscheidungssituationen verändern. Die Autorinnen und Autoren kombinieren NEJM-Fallberichte mit realen Interaktionen und zeigen, dass fachkundige klinische Kontextinformation die diagnostische Treffergenauigkeit und Übereinstimmung mit Expert:innen deutlich erhöht, während irreführende oder unvollständige ärztliche Argumente Modelle systematisch zu falschen Diagnosen und potenziell schädlichen Handlungsempfehlungen verleiten können.
„Introducing the Perplexity Health Advisory Board“ ist ein Blogbeitrag von Perplexity, der am 19. März 2026 veröffentlicht wurde. Der Text kündigt die Einrichtung des Perplexity Health Advisory Board an, einer kleinen Gruppe aus praktizierenden Ärzt:innen, Forscher:innen und Gesundheitstechnologie-Expert:innen. Dieses Gremium soll sicherstellen, dass zukünftige Produktentscheidungen, Inhaltsqualität, Patientensicherheit und klinische Prozesse evidenzbasierter Medizin entsprechen. Gleichzeitig werden die ersten vier Mitglieder vorgestellt: Dr. Eric Topol, Dr. Devin Mann, Dr. Wendy Chung und Tim Dybvig. Ergänzend werden neue Konnektoren für persönliche Gesundheitsdaten in Perplexity Health erwähnt, die als Basis für weitere Innovationen dienen sollen.
„ChatGPT Gesundheit ist da“ ist ein am 7. Januar 2026 veröffentlichtes Angebot von OpenAI, das einen eigenen, besonders geschützten Bereich innerhalb von ChatGPT für Gesundheits- und Wohlbefindensfragen bereitstellt. Das System ermöglicht es Nutzerinnen und Nutzern, elektronische Patientenakten und ausgewählte Wellness‑Apps zu verknüpfen, um personalisierte, kontextbezogene Erläuterungen zu Befunden, Vorbereitung auf Arzttermine sowie Empfehlungen zu Lebensstil, Ernährung und Training zu erhalten. Es ist ausdrücklich als unterstützendes Informations‑ und Orientierungsangebot konzipiert, das die ärztliche Versorgung ergänzt, Gesundheitsdaten technisch und organisatorisch streng von anderen Chats trennt und Gespräche in diesem Bereich nicht zum Training der zugrunde liegenden Modelle verwendet.
Der Artikel „New model, old risks: sociodemographic bias and adversarial hallucinations vulnerability in GPT-5“ untersucht erneut die Sicherheit klinischer Anwendungen von GPT-5. Die Autoren berichten, dass weiterhin systematische Unterschiede in Entscheidungen nach soziodemografischen Merkmalen bestehen und das Modell anfällig für adversariale Halluzinationen bleibt, weshalb sie kontinuierliche und verpflichtende Sicherheitsprüfungen empfehlen.
Der Artikel „Automation Bias in Large Language Model–Assisted Diagnostic Reasoning among Physicians Trained in AI Literacy — A Randomized Clinical Trial“ untersucht den Einfluss von Automationsbias auf ärztliche Entscheidungsprozesse. In einer randomisierten Studie zeigte sich, dass selbst nach AI-Schulung fehlerhafte KI-Vorschläge die diagnostische Genauigkeit signifikant reduzieren, was relevante Risiken für die klinische Anwendung von Sprachmodellen verdeutlicht.
Der Artikel „LLM-assisted systematic review of large language models in clinical medicine“ analysiert systematisch den rasanten Anstieg von Studien zu großen Sprachmodellen (LLMs) in der klinischen Medizin seit 2022. Die Auswertung von über 4.600 Arbeiten zeigt, dass trotz hoher Publikationsdynamik nur ein kleiner Teil auf realen Patientendaten basiert und lediglich 19 randomisierte kontrollierte Studien existieren. Die meisten Untersuchungen nutzen simulierte Szenarien oder Wissensabfragen, wodurch die Aussagekraft für die klinische Praxis begrenzt bleibt. LLMs übertreffen Menschen vor allem bei standardisierten Wissensaufgaben, jedoch deutlich seltener in realitätsnahen klinischen Kontexten. Die Autoren identifizieren methodische Defizite wie kleine Stichproben, mangelnde Datentransparenz und eine starke Fokussierung auf proprietäre Modelle. Insgesamt wird ein strukturierter Forschungsfahrplan gefordert, der stärker auf realweltliche Daten, größere Studien und patientenzentrierte Evidenz abzielt.
„The Rise of Thinking Machines: A Review of Artificial Intelligence in Contemporary Communication“ ist ein Übersichtsartikel von Mohammad Javad Gholami und Taqi Al Abdwani aus dem Jahr 2024. Die Autoren analysieren die wachsende Rolle von KI-Systemen in der menschlichen Kommunikation, darunter Sprachassistenten, Chatbots, Smart Replies, Sentiment-Analysen und Übersetzungstechnologien. Der Beitrag beleuchtet sowohl Potenziale wie Effizienz, Personalisierung und Barrierefreiheit als auch Herausforderungen in den Bereichen Datenschutz, Transparenz, Vertrauen, Verzerrungen und ethische Verantwortung.
„Thinking Machines: Mathematical Reasoning in the Age of LLMs“ analysiert den aktuellen Stand großer Sprachmodelle (LLMs) im Bereich mathematischer Argumentation. Die Autoren vergleichen traditionelle mathematische Problemlösung mit formalisierten Beweisen in Theorembeweisern und zeigen, dass LLMs bei natürlicher mathematischer Sprache deutlich erfolgreicher sind als bei streng formalen Beweisen. Zudem werden Benchmarks, Autoformalisation, Reinforcement Learning und aktuelle Systeme wie DeepSeek-R1, Minerva, Kimina-Prover und DeepSeek-Prover untersucht. Die Arbeit kommt zu dem Schluss, dass heutige LLMs mathematische Denkprozesse überzeugend nachbilden können, jedoch weiterhin Schwierigkeiten haben, formale Zustände, langfristige Beweisstrukturen und echtes logisches Verständnis zuverlässig zu verwalten.
„From Algorithms to Thinking Machines: The New Digital Power“ von Domenico Talia (2023) analysiert die Grundlagen von Algorithmen, Daten, Big Data, maschinellem Lernen und Künstlicher Intelligenz sowie deren Einfluss auf Gesellschaft, Wirtschaft und Politik. Das Buch erläutert verständlich die Funktionsweise digitaler Systeme und diskutiert Themen wie Automatisierung, Arbeitswelt, soziale Kontrolle, Wertorientierung von KI, ethische Fragen und den Einsatz algorithmischer Entscheidungsverfahren durch Unternehmen und Staaten.
„A systematic review of the limitations of large language models in generating healthcare content“ analysiert systematisch die Grenzen großer Sprachmodelle im Gesundheitsbereich. Die Studie identifiziert insbesondere Probleme bei Genauigkeit, Halluzinationen, Bias, mangelnder klinischer Nuancierung sowie ethischen und regulatorischen Fragen. Zudem betonen die Autor:innen, dass viele Output-Fehler auf unzureichende oder verzerrte Trainingsdaten zurückgehen.
„Medicine as an Information Industry in the Age of Language Models“ (NEJM AI, 2026) ist ein Editorial von Jeffrey M. Drazen und Charlotte J. Haug. Der Text beschreibt Medizin als informationsgetriebenes System, in dem Large Language Models (LLMs) den Übergang von reiner Informationssuche hin zur kontextsensitiven Synthese markieren. Gleichzeitig werden epistemische Risiken betont, insbesondere fehlende Transparenz, begrenzte Rechen- und Begründungsqualität sowie die Gefahr scheinbar plausibler, aber nicht evidenzbasierter Aussagen. Die Rolle von Kliniker:innen und Fachjournalen verschiebt sich dadurch hin zu stärkerer Qualitätskontrolle und Validierung von Wissensgrundlagen im Kontext KI-gestützter Entscheidungsprozesse.
Die Studie „First, do NOHARM: towards clinically safe large language models“ untersucht die klinische Sicherheit großer Sprachmodelle (LLMs) im medizinischen Kontext anhand des neuen Benchmarks NOHARM. Analysiert wurden 31 KI-Modelle auf Basis von 100 realen ärztlichen Konsultationsfällen aus zehn medizinischen Fachgebieten. Die Ergebnisse zeigen, dass selbst leistungsstarke Modelle weiterhin relevante Risiken für potenziell schwere Patientenschäden aufweisen, insbesondere durch Unterlassungsfehler wie das Nichtempfehlen wichtiger diagnostischer Maßnahmen. Die Sicherheitsleistung korrelierte nur begrenzt mit bestehenden KI- und Medizin-Benchmarks. Multi-Agenten-Ansätze mit mehreren unterschiedlichen Modellen reduzierten die Fehlerquote signifikant. Die Arbeit betont, dass klinische Sicherheit eine eigenständige Bewertungsdimension für medizinische KI-Systeme darstellt.
Artificial intelligence in medicine: How it works, how it fails ist ein Übersichtsbeitrag zur Funktionsweise moderner KI-Systeme in der Medizin. Der Text erklärt zentrale Konzepte wie Large Language Models, Training, Bias, Halluzinationen und Retrieval-Augmented Generation und ordnet deren klinische Relevanz sowie Grenzen ein. Der Fokus liegt auf Chancen und Risiken beim Einsatz von KI in der Versorgung.
Die Studie “Reliability of LLMs as medical assistants for the general public: a randomized preregistered study” untersucht die Zuverlässigkeit von Large Language Models (LLMs) wie GPT-4o, Llama 3 und Command R+ als medizinische Assistenten für Laien. In einem randomisierten Experiment mit 1.298 Teilnehmern zeigten LLMs allein hohe Genauigkeit (bis zu 94,9 % bei der Identifikation relevanter Erkrankungen), doch in der Interaktion mit Nutzern sanken die Werte signifikant unter das Niveau der Kontrollgruppe (Internet-Suche oder eigenes Wissen). Die Ergebnisse unterstreichen Herausforderungen bei der menschlichen Interaktion und die Notwendigkeit realer Nutzertests vor dem Einsatz in der Gesundheitsversorgung.
Der Text erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit und stellt keine Rechtsberatung dar. Anmerkungen können in der rechten Seitenleiste mit Hypothes.is sozialem Annotierungswerkzeug oder am unteren Ende einer Seite mit GitHub Giscus Diskussionen hinterlassen werden.