Große Sprachmodelle
Klinische Sicherheit und Halluzinationsraten
„A Framework to Assess Clinical Safety and Hallucination Rates of LLMs for Medical Text Summarisation“ stellt ein Framework vor, das die klinische Sicherheit von Large Language Models bei der Zusammenfassung medizinischer Texte bewertet. Im Fokus der Schadensdefinition und -einteilung stehen Fehler wie Halluzinationen und Omissions, die in major und minor kategorisiert werden: Major-Fehler wirken sich auf die Diagnose oder das Management des Patienten aus und bergen potenzielles Harm, während minor-Fehler keinen relevanten Einfluss auf die Patientensicherheit haben. Die Schadenseinteilung orientiert sich an Protokollen für medizinische Geräte und kombiniert die Wahrscheinlichkeit eines Fehlers mit seiner Konsequenz (z. B. Anzahl betroffener Patienten und Schweregrad), um ein Risiko-Level zu ermitteln. Dies ermöglicht eine risikobasierte Bewertung und Priorisierung kritischer Fehler in der klinischen Anwendung. In der untersuchten Studie betrug die Häufigkeit von Halluzinationen in den generierten klinischen Notizen 1,47 % der Sätze, wobei 44 % dieser Halluzinationen als major eingestuft wurden und potenziell die Diagnose oder das Patientenmanagement beeinträchtigen könnten. Im Vergleich dazu traten Omissions-Fehler häufiger auf, mit einer Rate von 3,45 % der relevanten Sätze aus den Transkripten, von denen etwa 16,7 % major waren und klinisch bedeutsame Informationen ausließen. Durch iterative Optimierungen von Prompts und Workflows konnten in den besten Experimenten die Raten majorer Halluzinationen und Omissions unter die in der Literatur berichteten Werte für menschlich erstellte Notizen gesenkt werden, die durchschnittlich mindestens einen Fehler und vier Omissions pro Notiz aufweisen. Dies unterstreicht, dass Omissions-Fehler in der klinischen Textzusammenfassung tendenziell häufiger vorkommen als Halluzinationen, letztere jedoch ein höheres Risiko für schwere klinische Konsequenzen bergen.
Agentische KI
MedAgentBench v2 Improving Medical LLM Agent Design untersucht, wie sich das Design eines klinischen KI‑Agents in einer FHIR‑konformen elektronischen Patientenakte durch gezieltes Prompt‑Engineering, spezialisierte Werkzeuge und eine Memory‑Komponente verbessern lässt. Der Beitrag beschreibt, wie neue Tools für strukturierte FHIR‑Interaktionen, Rechenoperationen und formatierte Ausgabe zusammen mit einem überarbeiteten Systemprompt die Erfolgsrate des auf GPT‑4.1 basierenden Agents auf 91 % ohne und 98 % mit Memory steigern. Zudem werden 300 zusätzliche, mehrschrittige klinische Aufgaben entwickelt, um Generalisierbarkeit und Grenzen des Ansatzes zu evaluieren und Anforderungen für eine verantwortliche Einführung agentischer KI in realen Versorgungsszenarien zu skizzieren.
Weiteres
Die Studie „Evaluating the performance of general purpose large language models in identifying human facial emotions“ untersuchte die Fähigkeit dreier führender Large Language Models (GPT-4o, Gemini 2.0 Experimental und Claude 3.5 Sonnet), menschliche Gesichtsausdrücke anhand des NimStim-Datensatzes korrekt zu erkennen. GPT-4o und Gemini 2.0 Experimental erreichten eine nahezu perfekte Übereinstimmung mit den Ground-Truth-Labels (Cohen’s Kappa 0,83 bzw. 0,81) und lagen insgesamt im Bereich oder teilweise über der Leistung menschlicher Beurteiler. Alle Modelle zeigten insbesondere bei den Kategorien calm/neutral, happy und surprise gute Ergebnisse, wiesen jedoch deutliche Schwierigkeiten bei der Erkennung von fear auf, das häufig als surprise fehlklassifiziert wurde. Claude 3.5 Sonnet erreichte mit Kappa 0,70 und 74 % Gesamtgenauigkeit eine deutlich geringere Übereinstimmung. Die Leistung der Modelle variierte weder systematisch nach Geschlecht noch nach Ethnie der dargestellten Personen.
Die Studie „Performance of Large Language Models Under Input Variability in Health Care Applications: Dataset Development and Experimental Evaluation“ von Saubhagya Joshi und Kollegen wurde am 20. Februar 2026 in JMIR AI (Band 5, e83640) veröffentlicht. Sie untersucht die Robustheit von drei Large Language Models gegenüber variierenden Eingaben im Gesundheitsbereich, indem sie einen neu entwickelten Datensatz mit drei Arten menschlicher Störungen (Redaktionen, Homophone und typografische Fehler) in unterschiedlichen Intensitätsstufen nutzt und diese auf drei gesundheitsbezogene Aufgaben anwendet. Entgegen den Erwartungen zeigten die Modelle eine bemerkenswerte Widerstandsfähigkeit: In über der Hälfte der Fälle (55,92 %) blieb die Leistung stabil oder verbesserte sich sogar, insbesondere bei geringen Störungsgraden, während Redaktionen (z. B. durch Datenschutz oder kognitive Einschränkungen) den stärksten negativen Einfluss hatten. Die Ergebnisse unterstreichen die Notwendigkeit, LLM-basierte Anwendungen im Gesundheitswesen gezielt auf reale Eingabevariabilität auszulegen, und stellen den begleitenden Datensatz als Ressource für weitere Robustheitsforschung zur Verfügung.
„UKL-GPT – Interne KI-Plattform“ (kma-online) Das Universitätsklinikum Leipzig hat UKL-GPT als eigene, datenschutzkonforme KI-Lösung gestartet, die im hauseigenen Rechenzentrum betrieben wird. Die Plattform durchsucht knapp 8700 Dokumente aus dem Dokumentenmanagementsystem roXtra, unterstützt bei der Textgenerierung und dient als zentrale digitale Assistenz für alle Berufsgruppen. Entwickelt in Kooperation mit der Firma 4K Analytics, basiert sie auf einem Datathon aus dem Jahr 2024 und wurde nach einer Pilotphase klinikweit freigegeben. Langfristig soll UKL-GPT weitere interne Quellen integrieren und zur zentralen Schnittstelle für Verwaltung und medizinische Prozesse werden.
Die Analyse „LLM-assisted systematic review of large language models in clinical medicine“ von Sully F. Chen und Kollegen, veröffentlicht am 3. März 2026 in Nature Medicine, untersucht die wissenschaftliche Evidenz zu Large Language Models (LLMs) in der klinischen Medizin. Zwischen Januar 2022 und September 2025 wurden 4.609 peer-reviewte Studien identifiziert, was etwa 3,2 Publikationen pro Tag entspricht. Nur 1.048 Studien nutzten echte Patientendaten, davon lediglich 19 prospektive randomisierte kontrollierte Studien; die Mehrheit basierte auf simulierten Szenarien (1.857) oder prüfungsartigen Aufgaben (1.704). ChatGPT und andere OpenAI-Modelle dominierten mit 65,7 % der evaluierten Modelle. In 1.046 direkten Vergleichen übertrafen LLMs Menschen in 33 % der Fälle, abhängig von Realitätsnähe und Aufgabenart. Die Autoren betonen den Mangel an rigoroser, patientenzentrierter Evidenz und fordern größere prospektive Studien vor einer klinischen Einführung.
„Clinician input steers frontier AI models toward both accurate and harmful decisions“ untersucht, wie ärztliche Beiträge das Verhalten großer Sprachmodelle in klinischen Entscheidungssituationen verändern. Die Autorinnen und Autoren kombinieren NEJM-Fallberichte mit realen Interaktionen und zeigen, dass fachkundige klinische Kontextinformation die diagnostische Treffergenauigkeit und Übereinstimmung mit Expert:innen deutlich erhöht, während irreführende oder unvollständige ärztliche Argumente Modelle systematisch zu falschen Diagnosen und potenziell schädlichen Handlungsempfehlungen verleiten können.
„Introducing the Perplexity Health Advisory Board“ ist ein Blogbeitrag von Perplexity, der am 19. März 2026 veröffentlicht wurde. Der Text kündigt die Einrichtung des Perplexity Health Advisory Board an, einer kleinen Gruppe aus praktizierenden Ärzt:innen, Forscher:innen und Gesundheitstechnologie-Expert:innen. Dieses Gremium soll sicherstellen, dass zukünftige Produktentscheidungen, Inhaltsqualität, Patientensicherheit und klinische Prozesse evidenzbasierter Medizin entsprechen. Gleichzeitig werden die ersten vier Mitglieder vorgestellt: Dr. Eric Topol, Dr. Devin Mann, Dr. Wendy Chung und Tim Dybvig. Ergänzend werden neue Konnektoren für persönliche Gesundheitsdaten in Perplexity Health erwähnt, die als Basis für weitere Innovationen dienen sollen.
„ChatGPT Gesundheit ist da“ ist ein am 7. Januar 2026 veröffentlichtes Angebot von OpenAI, das einen eigenen, besonders geschützten Bereich innerhalb von ChatGPT für Gesundheits- und Wohlbefindensfragen bereitstellt. Das System ermöglicht es Nutzerinnen und Nutzern, elektronische Patientenakten und ausgewählte Wellness‑Apps zu verknüpfen, um personalisierte, kontextbezogene Erläuterungen zu Befunden, Vorbereitung auf Arzttermine sowie Empfehlungen zu Lebensstil, Ernährung und Training zu erhalten. Es ist ausdrücklich als unterstützendes Informations‑ und Orientierungsangebot konzipiert, das die ärztliche Versorgung ergänzt, Gesundheitsdaten technisch und organisatorisch streng von anderen Chats trennt und Gespräche in diesem Bereich nicht zum Training der zugrunde liegenden Modelle verwendet.
Der Artikel „New model, old risks: sociodemographic bias and adversarial hallucinations vulnerability in GPT-5“ untersucht erneut die Sicherheit klinischer Anwendungen von GPT-5. Die Autoren berichten, dass weiterhin systematische Unterschiede in Entscheidungen nach soziodemografischen Merkmalen bestehen und das Modell anfällig für adversariale Halluzinationen bleibt, weshalb sie kontinuierliche und verpflichtende Sicherheitsprüfungen empfehlen.
Der Artikel „Automation Bias in Large Language Model–Assisted Diagnostic Reasoning among Physicians Trained in AI Literacy — A Randomized Clinical Trial“ untersucht den Einfluss von Automationsbias auf ärztliche Entscheidungsprozesse. In einer randomisierten Studie zeigte sich, dass selbst nach AI-Schulung fehlerhafte KI-Vorschläge die diagnostische Genauigkeit signifikant reduzieren, was relevante Risiken für die klinische Anwendung von Sprachmodellen verdeutlicht.
Der Artikel „LLM-assisted systematic review of large language models in clinical medicine“ analysiert systematisch den rasanten Anstieg von Studien zu großen Sprachmodellen (LLMs) in der klinischen Medizin seit 2022. Die Auswertung von über 4.600 Arbeiten zeigt, dass trotz hoher Publikationsdynamik nur ein kleiner Teil auf realen Patientendaten basiert und lediglich 19 randomisierte kontrollierte Studien existieren. Die meisten Untersuchungen nutzen simulierte Szenarien oder Wissensabfragen, wodurch die Aussagekraft für die klinische Praxis begrenzt bleibt. LLMs übertreffen Menschen vor allem bei standardisierten Wissensaufgaben, jedoch deutlich seltener in realitätsnahen klinischen Kontexten. Die Autoren identifizieren methodische Defizite wie kleine Stichproben, mangelnde Datentransparenz und eine starke Fokussierung auf proprietäre Modelle. Insgesamt wird ein strukturierter Forschungsfahrplan gefordert, der stärker auf realweltliche Daten, größere Studien und patientenzentrierte Evidenz abzielt.
„The Rise of Thinking Machines: A Review of Artificial Intelligence in Contemporary Communication“ ist ein Übersichtsartikel von Mohammad Javad Gholami und Taqi Al Abdwani aus dem Jahr 2024. Die Autoren analysieren die wachsende Rolle von KI-Systemen in der menschlichen Kommunikation, darunter Sprachassistenten, Chatbots, Smart Replies, Sentiment-Analysen und Übersetzungstechnologien. Der Beitrag beleuchtet sowohl Potenziale wie Effizienz, Personalisierung und Barrierefreiheit als auch Herausforderungen in den Bereichen Datenschutz, Transparenz, Vertrauen, Verzerrungen und ethische Verantwortung.
„Thinking Machines: Mathematical Reasoning in the Age of LLMs“ analysiert den aktuellen Stand großer Sprachmodelle (LLMs) im Bereich mathematischer Argumentation. Die Autoren vergleichen traditionelle mathematische Problemlösung mit formalisierten Beweisen in Theorembeweisern und zeigen, dass LLMs bei natürlicher mathematischer Sprache deutlich erfolgreicher sind als bei streng formalen Beweisen. Zudem werden Benchmarks, Autoformalisation, Reinforcement Learning und aktuelle Systeme wie DeepSeek-R1, Minerva, Kimina-Prover und DeepSeek-Prover untersucht. Die Arbeit kommt zu dem Schluss, dass heutige LLMs mathematische Denkprozesse überzeugend nachbilden können, jedoch weiterhin Schwierigkeiten haben, formale Zustände, langfristige Beweisstrukturen und echtes logisches Verständnis zuverlässig zu verwalten.
„From Algorithms to Thinking Machines: The New Digital Power“ von Domenico Talia (2023) analysiert die Grundlagen von Algorithmen, Daten, Big Data, maschinellem Lernen und Künstlicher Intelligenz sowie deren Einfluss auf Gesellschaft, Wirtschaft und Politik. Das Buch erläutert verständlich die Funktionsweise digitaler Systeme und diskutiert Themen wie Automatisierung, Arbeitswelt, soziale Kontrolle, Wertorientierung von KI, ethische Fragen und den Einsatz algorithmischer Entscheidungsverfahren durch Unternehmen und Staaten.
„A systematic review of the limitations of large language models in generating healthcare content“ analysiert systematisch die Grenzen großer Sprachmodelle im Gesundheitsbereich. Die Studie identifiziert insbesondere Probleme bei Genauigkeit, Halluzinationen, Bias, mangelnder klinischer Nuancierung sowie ethischen und regulatorischen Fragen. Zudem betonen die Autor:innen, dass viele Output-Fehler auf unzureichende oder verzerrte Trainingsdaten zurückgehen.
„Medicine as an Information Industry in the Age of Language Models“ (NEJM AI, 2026) ist ein Editorial von Jeffrey M. Drazen und Charlotte J. Haug. Der Text beschreibt Medizin als informationsgetriebenes System, in dem Large Language Models (LLMs) den Übergang von reiner Informationssuche hin zur kontextsensitiven Synthese markieren. Gleichzeitig werden epistemische Risiken betont, insbesondere fehlende Transparenz, begrenzte Rechen- und Begründungsqualität sowie die Gefahr scheinbar plausibler, aber nicht evidenzbasierter Aussagen. Die Rolle von Kliniker:innen und Fachjournalen verschiebt sich dadurch hin zu stärkerer Qualitätskontrolle und Validierung von Wissensgrundlagen im Kontext KI-gestützter Entscheidungsprozesse.
Die Studie „First, do NOHARM: towards clinically safe large language models“ untersucht die klinische Sicherheit großer Sprachmodelle (LLMs) im medizinischen Kontext anhand des neuen Benchmarks NOHARM. Analysiert wurden 31 KI-Modelle auf Basis von 100 realen ärztlichen Konsultationsfällen aus zehn medizinischen Fachgebieten. Die Ergebnisse zeigen, dass selbst leistungsstarke Modelle weiterhin relevante Risiken für potenziell schwere Patientenschäden aufweisen, insbesondere durch Unterlassungsfehler wie das Nichtempfehlen wichtiger diagnostischer Maßnahmen. Die Sicherheitsleistung korrelierte nur begrenzt mit bestehenden KI- und Medizin-Benchmarks. Multi-Agenten-Ansätze mit mehreren unterschiedlichen Modellen reduzierten die Fehlerquote signifikant. Die Arbeit betont, dass klinische Sicherheit eine eigenständige Bewertungsdimension für medizinische KI-Systeme darstellt.
Artificial intelligence in medicine: How it works, how it fails ist ein Übersichtsbeitrag zur Funktionsweise moderner KI-Systeme in der Medizin. Der Text erklärt zentrale Konzepte wie Large Language Models, Training, Bias, Halluzinationen und Retrieval-Augmented Generation und ordnet deren klinische Relevanz sowie Grenzen ein. Der Fokus liegt auf Chancen und Risiken beim Einsatz von KI in der Versorgung.
Die Studie “Reliability of LLMs as medical assistants for the general public: a randomized preregistered study” untersucht die Zuverlässigkeit von Large Language Models (LLMs) wie GPT-4o, Llama 3 und Command R+ als medizinische Assistenten für Laien. In einem randomisierten Experiment mit 1.298 Teilnehmern zeigten LLMs allein hohe Genauigkeit (bis zu 94,9 % bei der Identifikation relevanter Erkrankungen), doch in der Interaktion mit Nutzern sanken die Werte signifikant unter das Niveau der Kontrollgruppe (Internet-Suche oder eigenes Wissen). Die Ergebnisse unterstreichen Herausforderungen bei der menschlichen Interaktion und die Notwendigkeit realer Nutzertests vor dem Einsatz in der Gesundheitsversorgung.
Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining untersucht, wie sich webbasierte Daten gezielt für das Vortraining medizinischer Sprachencoder nutzen lassen. Die Autoren zeigen, dass eine Filterung nach medizinischer Begriffsdichte sowie eine LLM-gestützte Umformulierung medizinischer Texte die Qualität der Trainingsdaten deutlich verbessern. Mit dem daraus entwickelten FineMed-Korpus und der DoctoBERT-Modellfamilie werden neue Bestwerte auf französischen medizinischen NLP-Benchmarks sowie einer klinischen NER-Aufgabe aus der Praxis erreicht.
“A multimodal and temporal foundation model for virtual patient representations at healthcare system scale” beschreibt APOLLO, ein multimodales zeitbezogenes Foundation Model zur Erstellung virtueller Patientenrepräsentationen aus longitudinalen Gesundheitsdaten. Das Modell integriert strukturierte Daten, klinische Texte und medizinische Bilddaten aus 25 Milliarden Ereignissen von 7,2 Millionen Patienten und erreicht hohe Prognose- und Retrieval-Leistungen über 322 klinische Aufgaben hinweg. :contentReferenceoaicite:0
Der Editorialbeitrag „Medicine as an Information Industry in the Age of Language Models“ von Jeffrey M. Drazen und Charlotte J. Haug diskutiert die Rolle großer Sprachmodelle (LLMs) in der Medizin. Die Autoren beschreiben Medizin als Informationsindustrie, in der klinische Entscheidungen auf der Integration von Patientendaten, medizinischem Wissen und externen Informationsquellen beruhen. LLMs ermöglichen einen Übergang von der reinen Informationssuche zur automatisierten Wissenssynthese und können die Effizienz klinischer Entscheidungsprozesse steigern. Gleichzeitig weisen die Autoren auf Risiken hin, darunter mangelnde Transparenz, fehlerhafte Schlussfolgerungen und die Schwierigkeit, belastbare Evidenz von plausiblen, aber ungesicherten Aussagen zu unterscheiden. Medizinische Fachzeitschriften werden dabei zunehmend zu Kuratoren validierten Wissens und zugleich zu Datenquellen für KI-Systeme. Die sichere Integration von LLMs erfordert nach Ansicht der Autoren weiterhin kritische Bewertung, Verantwortlichkeit und evidenzbasierte Standards.
„Audit Trails for Accountability in Large Language Models“ schlägt LLM-Audit-Trails als soziotechnischen Mechanismus für kontinuierliche Rechenschaftspflicht vor. Die Arbeit definiert ein Lebenszyklus-Framework für Ereignistypen, Metadaten und Governance-Begründungen, entwirft eine Referenzarchitektur mit Emittern, append-only Speichern und Auditor-Schnittstellen sowie stellt eine leichtgewichtige, open-source Python-Bibliothek bereit, die technische Provenienz und Governance-Entscheidungen (Freigaben, Ausnahmen, Attestierungen) in einem fälschungssicheren, chronologischen Ledger verknüpft. Ziel ist die rekonstruierbare Nachvollziehbarkeit von Modellversionen, Daten, Konfigurationen und Autorisierungen über Organisationsgrenzen hinweg.
„A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation“ stellt ein Framework zur Bewertung von Halluzinationen und Omissions in LLM-generierten klinischen Notizen vor. Anhand von 18 Experimenten und 12.999 manuell annotierten Sätzen lag die Halluzinationsrate bei 1,47 % (davon 44 % major) und die Omissionsrate bei 3,45 % (davon 16,7 % major). Durch iterative Prompt- und Workflow-Optimierungen konnten die Raten majorer Fehler unter die in der Literatur für menschliche Notizen berichteten Werte gesenkt werden.
„Scalable watermarking for identifying large language model outputs“ stellt SynthID-Text vor, ein produktionsreifes generatives Wasserzeichenverfahren für Large Language Models. Die Methode verändert lediglich den Sampling-Prozess, erhält die Textqualität und ermöglicht eine hohe Detektionsgenauigkeit bei minimalem Latenzoverhead. In Evaluierungen über mehrere Modelle sowie in einem Live-Experiment mit nahezu 20 Millionen Gemini-Antworten zeigte sich keine messbare Qualitätsminderung; SynthID-Text übertrifft bestehende Ansätze in der Erkennbarkeit und ist bereits in Gemini und Gemini Advanced im Einsatz.
“Epistemological Fault Lines Between Human and Artificial Intelligence” untersucht die strukturellen Unterschiede zwischen menschlichem Urteilen und der Textgenerierung durch große Sprachmodelle. Die Autoren identifizieren sieben epistemologische Bruchlinien – Grounding, Parsing, Erfahrung, Motivation, Kausalität, Metakognition und Wert – und führen den Begriff „Epistemia“ für eine Situation ein, in der sprachliche Plausibilität die epistemische Prüfung ersetzt. Daraus leiten sie Anforderungen an Evaluation, Governance und epistemische Bildung im Umgang mit generativer KI ab.
A framework for human evaluation of large language models in healthcare derived from literature review untersucht anhand von 142 Studien, wie Large Language Models im Gesundheitswesen durch menschliche Evaluation bewertet werden. Die Autoren identifizieren erhebliche Lücken bei Zuverlässigkeit, Generalisierbarkeit und Standardisierung und schlagen mit QUEST ein Framework aus den fünf Bereichen Informationsqualität, Verständnis und Schlussfolgern, Ausdruck und Persona, Sicherheit und Schaden sowie Vertrauen und Zuversicht vor. QUEST strukturiert die Evaluation in die Phasen Planung, Implementierung und Adjudikation sowie Scoring und Review.
“The intention turn: AI and the first democratization of understanding” beschreibt AI als mögliche neue Stufe der Demokratisierung epistemischen Zugangs. Der Beitrag argumentiert, dass KI unter bestimmten Bedingungen den Zugang von institutioneller Zugehörigkeit hin zur individuellen epistemischen Intention verschiebt und mit dem Prinzip der „Epistemic Intent Amplification“ sowohl wahrheitssuchende als auch bestätigungssuchende Orientierungen verstärken kann. Daraus leitet der Autor verteilte Verantwortung für Nutzer, KI-Systeme und Institutionen ab.
“Generative design of bacteriophages with genome language models” zeigt erstmals die generative Konstruktion vollständiger Bakteriophagen-Genome mit Genom-Sprachmodellen. Von nahezu 300 synthetisierten Kandidaten erwiesen sich 16 als funktionsfähig; ein Cocktail generierter Phagen konnte zudem resistente E.-coli-Stämme überwinden. Die Ergebnisse zeigen das Potenzial generativer KI für das Design biologischer Systeme auf Genom-Ebene.
A S.C.O.R.E. framework for evaluating open-ended responses from large language models in healthcare beschreibt ein strukturiertes Bewertungsframework zur klinischen Evaluation von Antworten großer Sprachmodelle im Gesundheitswesen. Die Autoren zeigen, dass klassische Textähnlichkeitsmetriken wie BLEU, ROUGE oder BERTScore klinisch korrekte Antworten häufig unterschätzen, während das S.C.O.R.E.-Framework die für die medizinische Praxis entscheidenden Dimensionen Sicherheit, Evidenzbezug, Objektivität, Reproduzierbarkeit und Erklärbarkeit systematisch erfasst. Damit liefert der Ansatz eine praxisnahe Grundlage für die Validierung, Optimierung und regulatorische Dokumentation von KI-Systemen im Gesundheitswesen.
Der Beitrag „Evaluating large language models and agents in healthcare: key challenges in clinical applications“ gibt einen systematischen Überblick über die Bewertung großer Sprachmodelle (LLMs) und LLM-basierter Agenten im Gesundheitswesen. Er beschreibt geeignete Datenquellen, medizinische Aufgabenszenarien, Evaluationsmethoden und Bewertungsdimensionen – von klassischen Genauigkeitsmetriken bis hin zu Halluzinationen, klinischem Denken und Tool-Nutzung. Darüber hinaus werden aktuelle Herausforderungen sowie zukünftige Anforderungen an standardisierte Evaluationsframeworks für den sicheren und verantwortungsvollen Einsatz von KI in der klinischen Praxis zusammengefasst.
General-purpose large language models outperform specialized clinical AI tools on medical benchmarks untersucht den direkten Vergleich spezialisierter klinischer KI-Werkzeuge mit modernen universellen Large Language Models. Die Studie zeigt anhand standardisierter Benchmarks und realer klinischer Anfragen, dass allgemeine Frontier-LLMs den spezialisierten Systemen in medizinischem Wissen, klinischer Übereinstimmung und praktischer Anwendbarkeit überlegen sind. Gleichzeitig unterstreichen die Ergebnisse die Bedeutung unabhängiger Evaluationen vor dem Einsatz von KI-Systemen im klinischen Alltag.
How artificial intelligence is disrupting the field of medical knowledge and evaluation: a narrative review beschreibt, warum die Bewertung von KI im Gesundheitswesen grundlegend neu gedacht werden muss. Die Autoren argumentieren, dass klassische Evaluationsmethoden den dynamischen und kontextabhängigen Eigenschaften von KI nicht mehr gerecht werden, und schlagen stattdessen ein dreistufiges Evaluationsmodell vor. Dieses verbindet Implementierung, kontinuierliche Optimierung und Skalierung, um eine sichere, wirksame und nachhaltige Einführung von KI in der klinischen Praxis zu unterstützen.
State of What Art? A Call for Multi-Prompt LLM Evaluation untersucht die Zuverlässigkeit aktueller Evaluationsverfahren für Large Language Models (LLMs). Die Studie zeigt anhand von 6,5 Millionen Auswertungen über 20 LLMs und 39 Aufgaben, dass bereits semantisch gleichwertige Umformulierungen von Instruktionen zu erheblichen Unterschieden in der gemessenen Leistung und im Modellranking führen können. Als Alternative schlagen die Autoren eine Multi-Prompt-Evaluation mit mehreren Metriken vor, die je nach Anwendungsfall eine robustere und aussagekräftigere Bewertung von LLMs ermöglicht.
IDM: Medizinische KI aus Europa. IDM entwickelt mit ARGO und ORPHEUS eigene medizinische KI-Modelle und Anwendungen, die laut Anbieter auf 7 Mio. Patientenakten trainiert wurden und in mehr als 40 Kliniken sowie 500 Praxen eingesetzt werden. Der Schwerpunkt liegt auf klinischen Large Language Models, medizinischer Spracherkennung, DSGVO-konformer Verarbeitung und dem Betrieb auf eigener Infrastruktur.
„Sequential Statistical Inference for Large Language Models: Representation, Validity, and Monitoring“ untersucht, wie sequentielle statistische Verfahren zur Vertrauenswürdigkeit großer Sprachmodelle beitragen können. Der Beitrag beschreibt LLM-Interaktionen als abhängige und adaptive Prozesse, fordert statistische Validität auch bei wiederholter Nutzung und Verteilungsänderungen und schlägt Online-Monitoring sowie Change-Point-Detection zur Erkennung von Veränderungen bei Kalibrierung, Halluzinationen, Verweigerungsverhalten, Fairness und anderen relevanten Eigenschaften vor.
„Sentence-Level Provenance for AI Medical Record Summarization: Formative Usability Evaluation of a Click-to-Inspect Interface“ untersucht eine klickbasierte Benutzeroberfläche zur satzgenauen Überprüfung KI-generierter Zusammenfassungen longitudinaler Krankenakten. In einer formativen Usability-Studie mit 46 klinischen Interaktionen erreichte die Anwendung einen mittleren SUS-Wert von 86,25 und einen NPS von 35; die Ergebnisse sprechen für eine schnelle, selektive Quellenprüfung als Unterstützung einer angemessenen Vertrauenskalibrierung.
„MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models“ untersucht die medizinische Sicherheit großer Sprachmodelle anhand eines neuen Benchmarks mit 1.800 schädlichen medizinischen Anfragen und sicheren Antwortbeispielen. Die Ergebnisse zeigen, dass öffentlich verfügbare medizinische LLMs bestehende Sicherheitsstandards häufig nicht erfüllen, während Fine-Tuning mit MedSafetyBench die Sicherheit deutlich verbessert, ohne die medizinische Leistungsfähigkeit wesentlich zu beeinträchtigen.
„Safety and security of large language models in healthcare“ untersucht die Sicherheits- und Gefahrenlage großer Sprachmodelle im Gesundheitswesen. Der Review ordnet Risiken über die Entwicklungs- und Einsatzphasen klinischer KI-Systeme hinweg ein, beschreibt Schutzebenen und relevante Bedrohungen und stellt bestehende Ansätze zur Risikominderung sowie die Verantwortlichkeiten der beteiligten Akteure heraus.
Teaching LLMs How ICU Physicians Approach Clinical Reasoning Through OMOP-Aligned Retrieval Improves Reasoning Across Clinical Domains untersucht, ob die gezielte Vermittlung von intensivmedizinischem Expertenwissen und kontextabhängiger Informationssuche die klinischen Schlussfolgerungsfähigkeiten großer Sprachmodelle verbessert. Das entwickelte ICU-REACT-Dataset wurde mit 19 Kliniker erstellt; darauf trainierte Clin-REACT-Modelle übertrafen ihre Ausgangsmodelle und andere medizinische bzw. allgemeine LLMs in fünf klinischen Reasoning-Benchmarks. Die Verbesserungen zeigten sich auch bei diagnostischen und therapeutischen Aufgaben außerhalb der Intensivmedizin.
„Safety and security of large language models in healthcare“ ist ein Review in Nature, das Sicherheits- und IT-Sicherheitsrisiken großer Sprachmodelle im Gesundheitswesen systematisch einordnet. Die Autoren ordnen Gefahren den Entwicklungsstufen Design, Daten, Modell, Inferenz und Umgebung zu und beschreiben Schutzebenen von Modelloptimierung und Wissensintegrität bis zur Interaktion mit Menschen und klinischen Systemen. Behandelt werden unter anderem Datenvergiftung, Prompt Injection, adversariale Angriffe, Halluzinationen, Jailbreaks, Datenschutz- und Cyberrisiken sowie organisatorische Verantwortlichkeiten und Maßnahmen zur Risikominderung.
Der Text erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit und stellt keine Rechtsberatung dar. Anmerkungen können in der rechten Seitenleiste mit Hypothes.is sozialem Annotierungswerkzeug oder am unteren Ende einer Seite mit GitHub Giscus Diskussionen hinterlassen werden.