Agentische KI Systeme
„A Field Guide to Deploying AI Agents in Clinical Practice“ beschreibt ein praxisorientiertes Handbuch für die Implementierung generativer KI‑Agenten auf Basis elektronischer Gesundheitsdaten in der klinischen Versorgung. Ausgehend von der Fallstudie des irAE-Agenten zur Erkennung immunvermittelter Nebenwirkungen in der Onkologie analysieren die Autor:innen die Umsetzungserfahrungen in einem großen Klinikverbund. Sie identifizieren fünf zentrale „Heavy Lifts“ – Datenintegration, Modellvalidierung, ökonomische Wertschöpfung, Drift-Management und Governance –, die den Großteil des Projektaufwands ausmachen und deutlich über klassische Modell- und Prompt-Optimierung hinausgehen. Der Beitrag zielt darauf, diese soziotechnischen Herausforderungen systematisch aufzubereiten und in Form übertragbarer organisatorischer und projektspezifischer Handlungsempfehlungen für Gesundheitsorganisationen bereitzustellen. (Gallifant u. a. 2025)
Der Titel lautet „Symphony for Medical Coding: A Next-Generation Agentic System for Scalable and Explainable Medical Coding“; die Arbeit beschreibt ein System zur automatisierten medizinischen Kodierung, das auf nachvollziehbare, agentische Abläufe setzt. Im Kern verfolgt die Studie das Ziel, Freitext aus klinischer Dokumentation in standardisierte medizinische Codes zu überführen und dabei sowohl hohe Genauigkeit als auch erklärbare Entscheidungen zu ermöglichen. Die Autoren berichten, dass Symphony in mehreren öffentlichen und realen Datensätzen leistungsstärker als frühere Verfahren abschneidet und zudem evidenzbasierte Textstellen für die jeweilige Kodierung ausgibt. (Edin u. a. 2026)
Der Artikel „Ethical perspectives on AI Agents and Agentic AI“ von Michael Hahn, Max Tretter und Peter Dabrock, erschienen am 25. März 2026 in der Open-Access-Zeitschrift AI and Ethics (Volume 6, Article 218), untersucht die ethischen Implikationen neuartiger KI-Systeme. Er stellt zunächst die Konzepte von AI Agents (einzelne, zielgerichtete Systeme mit begrenzter Autonomie und Tool-Nutzung) und Agentic AI (multi-agent-Systeme mit höherer Komplexität, Anpassungsfähigkeit und Agency) vor und grenzt sie von klassischer generativer KI ab. Im Mittelpunkt steht die These, dass diese Systeme durch ihre breite Handlungsfähigkeit (broad agency), ihren stärkeren Einfluss auf die menschliche Autonomie und die tiefere Verflechtung von Mensch und Technik klassische ethische Prinzipien der KI-Ethik besonders herausfordern. Anhand der fünf zentralen Prinzipien – Transparenz, Gerechtigkeit und Fairness, Non-Maleficence (Schadensvermeidung), Verantwortung und Rechenschaftspflicht sowie Privatsphäre – analysiert der Beitrag, wie diese durch die erhöhte Autonomie, die umfassende Datenzugriffe und die multi-step-Interaktionen der Systeme unter Druck geraten. Die Autoren plädieren für eine fortlaufende interdisziplinäre Auseinandersetzung und nutzen das weite reflektive Gleichgewicht als methodischen Rahmen, um eine verantwortungsvolle Entwicklung und Nutzung dieser Technologien zu fördern. (Hahn u. a. 2026)
Die Studie „Physician-Reported Safety Outcomes of AI-Generated Hospital Course Summaries“ untersucht den prospektiven Einsatz eines agentischen LLM-Workflows zur Erstellung von Krankenhausverlaufszusammenfassungen im klinischen Alltag. In einer Pilotstudie mit 384 Entlassungen wurden KI-generierte Zusammenfassungen häufig übernommen, überwiegend als sicher bewertet und mit einer signifikanten Reduktion ärztlicher Burnout-Werte assoziiert.
“DR. INFO at the Point of Care: A Prospective Pilot Study of Physician-Perceived Value of an Agentic Artificial Intelligence Clinical Assistant” untersucht den Einsatz eines agentischen KI-Assistenten zur klinischen Entscheidungsunterstützung im Versorgungsalltag. In einer prospektiven Pilotstudie bewerteten Ärztinnen, Ärzte und Medizinstudierende das System überwiegend positiv hinsichtlich Zeitersparnis und Unterstützung klinischer Entscheidungen. Die Ergebnisse deuten auf ein hohes Akzeptanzpotenzial hin, weisen jedoch zugleich auf die Notwendigkeit größerer kontrollierter Studien mit objektiver Leistungs- und Genauigkeitsprüfung hin.
Fokuspapier beschreibt Potenziale agentischer KI in Klinikalltag und Forschung: Der Beitrag fasst die zentralen Aussagen eines Policy Briefs der Nationalen Akademie der Wissenschaften Leopoldina zusammen. Im Mittelpunkt stehen die erwarteten Effekte agentischer KI auf Versorgungsqualität, Effizienzsteigerung und administrative Entlastung im Gesundheitssystem. Gleichzeitig werden regulatorische, infrastrukturelle und governance-bezogene Voraussetzungen für einen verantwortungsvollen Einsatz hervorgehoben.
Der Beitrag „A Licensure Framework for Autonomous Clinical AI“ von Alon Bergman, Robert M. Wachter und Ezekiel J. Emanuel, veröffentlicht in JAMA, beschreibt die wachsende Bedeutung autonomer KI-Systeme in der klinischen Versorgung. Die Autoren argumentieren, dass der zunehmende Ärztemangel und die Fortschritte bei großen Sprachmodellen gemeinsam betrachtet werden müssen. Sie schlagen ein neues lizenzbasiertes Regulierungsmodell für autonome klinische KI vor, da bestehende Zulassungsverfahren für adaptive, allgemeine KI-Systeme ungeeignet seien. Ziel ist eine kontinuierliche klinische Bewertung solcher Systeme, um Sicherheit und Qualität der Versorgung langfristig zu gewährleisten.
„Towards Responsible and Explainable AI Agents with Consensus-Driven Reasoning“ beschreibt eine Architektur für verantwortungsvolle und erklärbare agentische KI, die mehrere heterogene LLMs und VLMs parallel einsetzt und deren Ergebnisse durch eine zentrale Reasoning-Schicht konsolidiert. Die untersuchten Anwendungsfälle zeigen Potenziale für höhere Robustheit, Transparenz, Nachvollziehbarkeit und Governance, insbesondere in klinischen, sicherheitskritischen und anderen anspruchsvollen Einsatzfeldern.
„AIDE: AI-Driven Exploration in the Space of Code“ beschreibt ein LLM-basiertes agentisches Tree-Search-Verfahren zur automatisierten Erstellung, Debuggung und Optimierung von Machine-Learning-Pipelines. Die Referenzimplementierung aideml erreicht state-of-the-art-Ergebnisse auf Benchmarks wie OpenAI MLE-Bench und METR RE-Bench. Vergleichbare Ansätze umfassen AutoML-Agent, AutoKaggle und ERA; zentrale wissenschaftliche Diskussionspunkte betreffen Tree Search versus Multi-Agent-Kollaboration, Verifikation gegen Halluzinationen sowie Privacy-by-Design.
„Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills“ zeigt, dass der 3–6-fache Token-Aufpreis von Reasoning-Modi bei agentischen Aufgaben größtenteils amortisiert werden kann. Aus einem kleinen Korpus von Trajektorien destilliert ein Coding-Agent kompakte Skills, die in den System-Prompt eines Non-Reasoning-Modells injiziert werden. Auf vier Benchmarks (ALFWorld, SpreadsheetBench-Verified, τ²-bench Telecom/Retail) schließen diese Skills 55–100 %+ der Reasoning-Lücke und übertreffen den Reasoning-Modus auf zwei Benchmarks, bei 2,7–6-fach weniger Output-Tokens und ohne Reasoning-Tokens. Reasoning-Traces sind dabei nicht Voraussetzung.
„Not Worth Another Token: Marginal Value Estimation for Efficient Deep Research Agents“ untersucht stufenbewusste Pruning-Strategien zur Schätzung des marginalen Werts von Kontext in Deep-Research-Agenten. Die Studie zeigt, dass die Wirksamkeit des Prunings stärker von der Interventionsstelle (Pre-Retrieval, Post-Retrieval, Pre-Synthesis) als von der konkreten Scoring-Regel abhängt: Frühes Pruning liefert die größten Einsparungen bei Token-Verbrauch, Knoten und Laufzeit (bis zu 73 %), während späteres Pruning vor allem die Synthese-Qualität verfeinert. Leichte Heuristiken bleiben dabei bei geringer Qualitätsabnahme konkurrenzfähig; kein einzelnes Verfahren dominiert über Qualität, Effizienz und Faithfulness hinweg.
„Social Pressure Breaks Majority Voting in LLM Safety Panels“ untersucht in einem kontrollierten Zwei-Runden-Experiment, wie gemeinsame soziale Hinweise die Mehrheitsabstimmung in LLM-Sicherheits-Panels untergraben. Über sechs Open-Weight-Modelle und sechs Datensätze steigt die durchschnittliche False-Alarm-Rate der Reviewer von 56,5 % (stille Peers) auf 87,5 % und die Panel-Rate auf 100 %, wenn alle denselben falschen „unsafe“-Hinweis erhalten. Der Effekt ist stark asymmetrisch: Reviewer folgen „unsafe“-Pushs deutlich stärker als „safe“-Pushs, sodass Harmful-Misses kaum steigen. Solo-Genauigkeit und Modellvielfalt reichen daher nicht aus; Panels müssen unter dem tatsächlichen gemeinsamen Kontext geprüft werden.
ResidencyRL: Reinforcement Learning in Simulated Clinical Environments stellt eine Online-Methode des Multi-Turn-Reinforcement-Learnings vor, mit der klinische KI-Agenten in simulierten Patientenbegegnungen (bis zu 60 Dialogrunden und 8 Tool-Aufrufe) trainiert werden. Der Agent verbessert unter adversariellen Bedingungen die diagnostische Genauigkeit um 7,0 Prozentpunkte (88,0 % vs. 81,0 %) und senkt die Rate übersehener Red Flags um etwa 31 %. Verblindete Klinikerinnen und Kliniker bevorzugten den trainierten Agenten in 87,6 % der Vergleiche; die erworbenen prozeduralen Kompetenzen übertragen sich auf externe Benchmarks wie AMIE Mx, AgentClinic und CRAFT-MD.
„Transparency in Agentic AI: A Survey of Interpretability, Explainability, and Governance“ systematisiert Transparenzanforderungen für LLM-basierte agentische Systeme über den gesamten Lebenszyklus. Der Survey verbindet Interpretierbarkeit, Erklärbarkeit und Governance in einer Fünf-Achsen-Taxonomie (Cognitive Objects, Assurance Objectives, Mechanisms, Temporal Stages, Stakeholders) und identifiziert zentrale Lücken bei der Trajektorien-Verantwortlichkeit, Tool-Provenance und Multi-Agenten-Koordination. Als standardisiertes Outcome-Artefakt wird das Minimal Explanation Packet (MEP) vorgeschlagen, das Pläne, Tool-Traces, Evidenz-Hashes und Policy-/Fairness-Deltas zu einem auditierbaren Datensatz bündelt.
G-CCACS (Generalized Comprehensible Configurable Adaptive Cognitive Structure): A Reference Architecture for Transparent, Ethical, and Auditable AI in High-Stakes Domains beschreibt eine kognitive Architektur für sicherheitskritische Bereiche wie Gesundheitswesen, Recht und Finanzen. Sie integriert kausales Reasoning, epistemische Nachverfolgbarkeit und ethische Eskalation über Mechanismen wie den Causal Fidelity Score (CFS), Systemic Unfolding and Recomposition Drift (SURD) sowie den NormKernel. Im Unterschied zu Black-Box-Systemen oder nachträglich ethisch überlagerten Ansätzen werden Transparenz, Kausalität und ethische Governance architektonisch von Grund auf verankert und über EpistemicState-Objekte auditierbar gemacht.
„Hyperchat and Hypervideo: Enabling Real-time Groupwise Conversations at Unlimited Scale“ beschreibt eine generative KI-Technologie namens Conversational Swarm Intelligence (CSI), die große vernetzte Gruppen in überlappende Kleingruppen von 4–7 Personen unterteilt und diese über Surrogate Agents in Echtzeit verbindet. Validierungsstudien zeigen eine deutliche Amplifikation kollektiver Intelligenz: Gruppen erreichten bei Schätzaufgaben einen Fehler von 12 % (gegenüber 55 % Individuen und 25 % Aggregation), einen IQ von 128 (97. Perzentil) sowie höhere Produktivität und Ownership bei Brainstorming. Hybrid-Varianten mit Contributor Agents und hierarchische bzw. asynchrone Strukturen ermöglichen zudem skalierbare Deliberationen bis zu Tausenden von Teilnehmern.
Governed Auditable Decisioning Under Uncertainty: Synthesis and Agentic Extension untersucht, wie belastbare Governance-Evidenz über unterschiedliche Architekturen automatisierter Entscheidungssysteme hinweg erhalten werden kann. Die Analyse zeigt einen deutlichen Governance-Coverage-Gradienten von deterministischen Regelsystemen über hybride und klassische ML-Systeme bis hin zu agentischer KI. Für agentische Systeme werden insbesondere Entscheidungsdiffusion, Evidenzfragmentierung und Verantwortungsambiguität als strukturelle Brüche identifiziert und durch vorgeschlagene Erweiterungen des Governance-Frameworks adressiert. Zusätzlich beschreibt die Arbeit eine „cascade of uncertainty“, durch die Evidenzdefizite über mehrere Governance-Ebenen hinweg kumulieren können.
„The Safety Failures We Are Not Instrumenting: A Perspective on Hidden Safety-Critical Challenges in Modern AI Systems“ untersucht bislang unzureichend instrumentierte Sicherheitsrisiken moderner KI-Systeme. Die Autor:innen unterscheiden fünf Ebenen soziotechnischer Integrität – epistemische, kontrollbezogene, zeitliche, organisationale und ökosystemische Integrität – und zeigen, wie Übervertrauen, Prompt Injection, Memory Poisoning, Evaluation Deception und synthetische Evidenz die Erkennbarkeit und Korrigierbarkeit von Fehlern beeinträchtigen können. Als Konsequenz wird eine Verschiebung von rein modellzentrierten Tests hin zu longitudinaler, soziotechnischer Sicherheitsbewertung gefordert.
Der Beitrag „The AI Agent Index“ stellt die Ergebnisse der aktualisierten Ausgabe 2025 des AI Agent Index vor. Er fasst Transparenz, Sicherheitspraktiken, Autonomiegrade und technologische Abhängigkeiten von 30 bedeutenden KI-Agenten zusammen. Im Mittelpunkt stehen erhebliche Transparenzlücken bei Sicherheitsbewertungen, die zunehmende Autonomie moderner Agentensysteme sowie die starke Konzentration auf wenige Foundation-Modelle.
Scientific computing in the age of agentic AI: an exploratory field report untersucht anhand von acht Praxisbeispielen den Einsatz agentischer KI-Systeme in der wissenschaftlichen Softwareentwicklung. Der Beitrag zeigt, dass KI-Coding-Agenten Wartung, Optimierung und Neuentwicklung wissenschaftlicher Software deutlich beschleunigen können, während Validierung, Verifikation und langfristige Verantwortung weiterhin entscheidende menschliche Aufgaben bleiben. Die Fallstudien verdeutlichen zugleich das Potenzial für höhere Softwarequalität, geringere Entwicklungskosten und leistungsfähigere Forschungswerkzeuge.
Open-source DeepResearch – Freeing our search agents zeigt, wie ein offener agentischer Ansatz die Ergebnisse auf dem GAIA-Benchmark deutlich verbessern kann. In einem 24-Stunden-Reproduktionsprojekt wurde eine Leistung von 55,15 % erreicht, gegenüber etwa 46 % bei der vorherigen offenen Lösung. Besonders wirksam erwies sich die Verwendung von Code-Agenten statt JSON-basierten Aktionen. Der Ansatz kombiniert Websuche, Textanalyse und strukturierte mehrstufige Planung und bildet eine Grundlage für lokal und offen betreibbare Deep-Research-Systeme.
„Agentic AI Teammates in Medical Research — From Tools to Collaborators — and the Accelerating Digital Divide“ untersucht, wie agentische KI wissenschaftliche Arbeit in der Medizin verändern kann. Der Beitrag sieht Potenzial für niedrigere Zugangshürden zur klinischen Forschung, warnt jedoch zugleich vor einer neuen digitalen Kluft durch ungleich verteilte Daten, Infrastruktur, Rechenkapazitäten, Governance und methodische Unterstützung. Als zentrale Konsequenz wird gefordert, agentische Forschungskapazitäten stärker als gemeinschaftliche wissenschaftliche Ressource zu organisieren.
Der Text erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit und stellt keine Rechtsberatung dar. Anmerkungen können in der rechten Seitenleiste mit Hypothes.is sozialem Annotierungswerkzeug oder am unteren Ende einer Seite mit GitHub Giscus Diskussionen hinterlassen werden.