Agentische KI Systeme
„A Field Guide to Deploying AI Agents in Clinical Practice“ beschreibt ein praxisorientiertes Handbuch für die Implementierung generativer KI‑Agenten auf Basis elektronischer Gesundheitsdaten in der klinischen Versorgung. Ausgehend von der Fallstudie des irAE-Agenten zur Erkennung immunvermittelter Nebenwirkungen in der Onkologie analysieren die Autor:innen die Umsetzungserfahrungen in einem großen Klinikverbund. Sie identifizieren fünf zentrale „Heavy Lifts“ – Datenintegration, Modellvalidierung, ökonomische Wertschöpfung, Drift-Management und Governance –, die den Großteil des Projektaufwands ausmachen und deutlich über klassische Modell- und Prompt-Optimierung hinausgehen. Der Beitrag zielt darauf, diese soziotechnischen Herausforderungen systematisch aufzubereiten und in Form übertragbarer organisatorischer und projektspezifischer Handlungsempfehlungen für Gesundheitsorganisationen bereitzustellen. (Gallifant u. a. 2025)
Der Titel lautet „Symphony for Medical Coding: A Next-Generation Agentic System for Scalable and Explainable Medical Coding“; die Arbeit beschreibt ein System zur automatisierten medizinischen Kodierung, das auf nachvollziehbare, agentische Abläufe setzt. Im Kern verfolgt die Studie das Ziel, Freitext aus klinischer Dokumentation in standardisierte medizinische Codes zu überführen und dabei sowohl hohe Genauigkeit als auch erklärbare Entscheidungen zu ermöglichen. Die Autoren berichten, dass Symphony in mehreren öffentlichen und realen Datensätzen leistungsstärker als frühere Verfahren abschneidet und zudem evidenzbasierte Textstellen für die jeweilige Kodierung ausgibt. (Edin u. a. 2026)
Der Artikel „Ethical perspectives on AI Agents and Agentic AI“ von Michael Hahn, Max Tretter und Peter Dabrock, erschienen am 25. März 2026 in der Open-Access-Zeitschrift AI and Ethics (Volume 6, Article 218), untersucht die ethischen Implikationen neuartiger KI-Systeme. Er stellt zunächst die Konzepte von AI Agents (einzelne, zielgerichtete Systeme mit begrenzter Autonomie und Tool-Nutzung) und Agentic AI (multi-agent-Systeme mit höherer Komplexität, Anpassungsfähigkeit und Agency) vor und grenzt sie von klassischer generativer KI ab. Im Mittelpunkt steht die These, dass diese Systeme durch ihre breite Handlungsfähigkeit (broad agency), ihren stärkeren Einfluss auf die menschliche Autonomie und die tiefere Verflechtung von Mensch und Technik klassische ethische Prinzipien der KI-Ethik besonders herausfordern. Anhand der fünf zentralen Prinzipien – Transparenz, Gerechtigkeit und Fairness, Non-Maleficence (Schadensvermeidung), Verantwortung und Rechenschaftspflicht sowie Privatsphäre – analysiert der Beitrag, wie diese durch die erhöhte Autonomie, die umfassende Datenzugriffe und die multi-step-Interaktionen der Systeme unter Druck geraten. Die Autoren plädieren für eine fortlaufende interdisziplinäre Auseinandersetzung und nutzen das weite reflektive Gleichgewicht als methodischen Rahmen, um eine verantwortungsvolle Entwicklung und Nutzung dieser Technologien zu fördern. (Hahn u. a. 2026)
Die Studie „Physician-Reported Safety Outcomes of AI-Generated Hospital Course Summaries“ untersucht den prospektiven Einsatz eines agentischen LLM-Workflows zur Erstellung von Krankenhausverlaufszusammenfassungen im klinischen Alltag. In einer Pilotstudie mit 384 Entlassungen wurden KI-generierte Zusammenfassungen häufig übernommen, überwiegend als sicher bewertet und mit einer signifikanten Reduktion ärztlicher Burnout-Werte assoziiert.
“DR. INFO at the Point of Care: A Prospective Pilot Study of Physician-Perceived Value of an Agentic Artificial Intelligence Clinical Assistant” untersucht den Einsatz eines agentischen KI-Assistenten zur klinischen Entscheidungsunterstützung im Versorgungsalltag. In einer prospektiven Pilotstudie bewerteten Ärztinnen, Ärzte und Medizinstudierende das System überwiegend positiv hinsichtlich Zeitersparnis und Unterstützung klinischer Entscheidungen. Die Ergebnisse deuten auf ein hohes Akzeptanzpotenzial hin, weisen jedoch zugleich auf die Notwendigkeit größerer kontrollierter Studien mit objektiver Leistungs- und Genauigkeitsprüfung hin.
Fokuspapier beschreibt Potenziale agentischer KI in Klinikalltag und Forschung: Der Beitrag fasst die zentralen Aussagen eines Policy Briefs der Nationalen Akademie der Wissenschaften Leopoldina zusammen. Im Mittelpunkt stehen die erwarteten Effekte agentischer KI auf Versorgungsqualität, Effizienzsteigerung und administrative Entlastung im Gesundheitssystem. Gleichzeitig werden regulatorische, infrastrukturelle und governance-bezogene Voraussetzungen für einen verantwortungsvollen Einsatz hervorgehoben.
Der Beitrag „A Licensure Framework for Autonomous Clinical AI“ von Alon Bergman, Robert M. Wachter und Ezekiel J. Emanuel, veröffentlicht in JAMA, beschreibt die wachsende Bedeutung autonomer KI-Systeme in der klinischen Versorgung. Die Autoren argumentieren, dass der zunehmende Ärztemangel und die Fortschritte bei großen Sprachmodellen gemeinsam betrachtet werden müssen. Sie schlagen ein neues lizenzbasiertes Regulierungsmodell für autonome klinische KI vor, da bestehende Zulassungsverfahren für adaptive, allgemeine KI-Systeme ungeeignet seien. Ziel ist eine kontinuierliche klinische Bewertung solcher Systeme, um Sicherheit und Qualität der Versorgung langfristig zu gewährleisten.
„Towards Responsible and Explainable AI Agents with Consensus-Driven Reasoning“ beschreibt eine Architektur für verantwortungsvolle und erklärbare agentische KI, die mehrere heterogene LLMs und VLMs parallel einsetzt und deren Ergebnisse durch eine zentrale Reasoning-Schicht konsolidiert. Die untersuchten Anwendungsfälle zeigen Potenziale für höhere Robustheit, Transparenz, Nachvollziehbarkeit und Governance, insbesondere in klinischen, sicherheitskritischen und anderen anspruchsvollen Einsatzfeldern.
„AIDE: AI-Driven Exploration in the Space of Code“ beschreibt ein LLM-basiertes agentisches Tree-Search-Verfahren zur automatisierten Erstellung, Debuggung und Optimierung von Machine-Learning-Pipelines. Die Referenzimplementierung aideml erreicht state-of-the-art-Ergebnisse auf Benchmarks wie OpenAI MLE-Bench und METR RE-Bench. Vergleichbare Ansätze umfassen AutoML-Agent, AutoKaggle und ERA; zentrale wissenschaftliche Diskussionspunkte betreffen Tree Search versus Multi-Agent-Kollaboration, Verifikation gegen Halluzinationen sowie Privacy-by-Design.
„Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills“ zeigt, dass der 3–6-fache Token-Aufpreis von Reasoning-Modi bei agentischen Aufgaben größtenteils amortisiert werden kann. Aus einem kleinen Korpus von Trajektorien destilliert ein Coding-Agent kompakte Skills, die in den System-Prompt eines Non-Reasoning-Modells injiziert werden. Auf vier Benchmarks (ALFWorld, SpreadsheetBench-Verified, τ²-bench Telecom/Retail) schließen diese Skills 55–100 %+ der Reasoning-Lücke und übertreffen den Reasoning-Modus auf zwei Benchmarks, bei 2,7–6-fach weniger Output-Tokens und ohne Reasoning-Tokens. Reasoning-Traces sind dabei nicht Voraussetzung.
„Not Worth Another Token: Marginal Value Estimation for Efficient Deep Research Agents“ untersucht stufenbewusste Pruning-Strategien zur Schätzung des marginalen Werts von Kontext in Deep-Research-Agenten. Die Studie zeigt, dass die Wirksamkeit des Prunings stärker von der Interventionsstelle (Pre-Retrieval, Post-Retrieval, Pre-Synthesis) als von der konkreten Scoring-Regel abhängt: Frühes Pruning liefert die größten Einsparungen bei Token-Verbrauch, Knoten und Laufzeit (bis zu 73 %), während späteres Pruning vor allem die Synthese-Qualität verfeinert. Leichte Heuristiken bleiben dabei bei geringer Qualitätsabnahme konkurrenzfähig; kein einzelnes Verfahren dominiert über Qualität, Effizienz und Faithfulness hinweg.
„Social Pressure Breaks Majority Voting in LLM Safety Panels“ untersucht in einem kontrollierten Zwei-Runden-Experiment, wie gemeinsame soziale Hinweise die Mehrheitsabstimmung in LLM-Sicherheits-Panels untergraben. Über sechs Open-Weight-Modelle und sechs Datensätze steigt die durchschnittliche False-Alarm-Rate der Reviewer von 56,5 % (stille Peers) auf 87,5 % und die Panel-Rate auf 100 %, wenn alle denselben falschen „unsafe“-Hinweis erhalten. Der Effekt ist stark asymmetrisch: Reviewer folgen „unsafe“-Pushs deutlich stärker als „safe“-Pushs, sodass Harmful-Misses kaum steigen. Solo-Genauigkeit und Modellvielfalt reichen daher nicht aus; Panels müssen unter dem tatsächlichen gemeinsamen Kontext geprüft werden.
ResidencyRL: Reinforcement Learning in Simulated Clinical Environments stellt eine Online-Methode des Multi-Turn-Reinforcement-Learnings vor, mit der klinische KI-Agenten in simulierten Patientenbegegnungen (bis zu 60 Dialogrunden und 8 Tool-Aufrufe) trainiert werden. Der Agent verbessert unter adversariellen Bedingungen die diagnostische Genauigkeit um 7,0 Prozentpunkte (88,0 % vs. 81,0 %) und senkt die Rate übersehener Red Flags um etwa 31 %. Verblindete Klinikerinnen und Kliniker bevorzugten den trainierten Agenten in 87,6 % der Vergleiche; die erworbenen prozeduralen Kompetenzen übertragen sich auf externe Benchmarks wie AMIE Mx, AgentClinic und CRAFT-MD.
„Transparency in Agentic AI: A Survey of Interpretability, Explainability, and Governance“ systematisiert Transparenzanforderungen für LLM-basierte agentische Systeme über den gesamten Lebenszyklus. Der Survey verbindet Interpretierbarkeit, Erklärbarkeit und Governance in einer Fünf-Achsen-Taxonomie (Cognitive Objects, Assurance Objectives, Mechanisms, Temporal Stages, Stakeholders) und identifiziert zentrale Lücken bei der Trajektorien-Verantwortlichkeit, Tool-Provenance und Multi-Agenten-Koordination. Als standardisiertes Outcome-Artefakt wird das Minimal Explanation Packet (MEP) vorgeschlagen, das Pläne, Tool-Traces, Evidenz-Hashes und Policy-/Fairness-Deltas zu einem auditierbaren Datensatz bündelt.
G-CCACS (Generalized Comprehensible Configurable Adaptive Cognitive Structure): A Reference Architecture for Transparent, Ethical, and Auditable AI in High-Stakes Domains beschreibt eine kognitive Architektur für sicherheitskritische Bereiche wie Gesundheitswesen, Recht und Finanzen. Sie integriert kausales Reasoning, epistemische Nachverfolgbarkeit und ethische Eskalation über Mechanismen wie den Causal Fidelity Score (CFS), Systemic Unfolding and Recomposition Drift (SURD) sowie den NormKernel. Im Unterschied zu Black-Box-Systemen oder nachträglich ethisch überlagerten Ansätzen werden Transparenz, Kausalität und ethische Governance architektonisch von Grund auf verankert und über EpistemicState-Objekte auditierbar gemacht.
„Hyperchat and Hypervideo: Enabling Real-time Groupwise Conversations at Unlimited Scale“ beschreibt eine generative KI-Technologie namens Conversational Swarm Intelligence (CSI), die große vernetzte Gruppen in überlappende Kleingruppen von 4–7 Personen unterteilt und diese über Surrogate Agents in Echtzeit verbindet. Validierungsstudien zeigen eine deutliche Amplifikation kollektiver Intelligenz: Gruppen erreichten bei Schätzaufgaben einen Fehler von 12 % (gegenüber 55 % Individuen und 25 % Aggregation), einen IQ von 128 (97. Perzentil) sowie höhere Produktivität und Ownership bei Brainstorming. Hybrid-Varianten mit Contributor Agents und hierarchische bzw. asynchrone Strukturen ermöglichen zudem skalierbare Deliberationen bis zu Tausenden von Teilnehmern.
Governed Auditable Decisioning Under Uncertainty: Synthesis and Agentic Extension untersucht, wie belastbare Governance-Evidenz über unterschiedliche Architekturen automatisierter Entscheidungssysteme hinweg erhalten werden kann. Die Analyse zeigt einen deutlichen Governance-Coverage-Gradienten von deterministischen Regelsystemen über hybride und klassische ML-Systeme bis hin zu agentischer KI. Für agentische Systeme werden insbesondere Entscheidungsdiffusion, Evidenzfragmentierung und Verantwortungsambiguität als strukturelle Brüche identifiziert und durch vorgeschlagene Erweiterungen des Governance-Frameworks adressiert. Zusätzlich beschreibt die Arbeit eine „cascade of uncertainty“, durch die Evidenzdefizite über mehrere Governance-Ebenen hinweg kumulieren können.
„The Safety Failures We Are Not Instrumenting: A Perspective on Hidden Safety-Critical Challenges in Modern AI Systems“ untersucht bislang unzureichend instrumentierte Sicherheitsrisiken moderner KI-Systeme. Die Autor:innen unterscheiden fünf Ebenen soziotechnischer Integrität – epistemische, kontrollbezogene, zeitliche, organisationale und ökosystemische Integrität – und zeigen, wie Übervertrauen, Prompt Injection, Memory Poisoning, Evaluation Deception und synthetische Evidenz die Erkennbarkeit und Korrigierbarkeit von Fehlern beeinträchtigen können. Als Konsequenz wird eine Verschiebung von rein modellzentrierten Tests hin zu longitudinaler, soziotechnischer Sicherheitsbewertung gefordert.
Der Beitrag „The AI Agent Index“ stellt die Ergebnisse der aktualisierten Ausgabe 2025 des AI Agent Index vor. Er fasst Transparenz, Sicherheitspraktiken, Autonomiegrade und technologische Abhängigkeiten von 30 bedeutenden KI-Agenten zusammen. Im Mittelpunkt stehen erhebliche Transparenzlücken bei Sicherheitsbewertungen, die zunehmende Autonomie moderner Agentensysteme sowie die starke Konzentration auf wenige Foundation-Modelle.
Scientific computing in the age of agentic AI: an exploratory field report untersucht anhand von acht Praxisbeispielen den Einsatz agentischer KI-Systeme in der wissenschaftlichen Softwareentwicklung. Der Beitrag zeigt, dass KI-Coding-Agenten Wartung, Optimierung und Neuentwicklung wissenschaftlicher Software deutlich beschleunigen können, während Validierung, Verifikation und langfristige Verantwortung weiterhin entscheidende menschliche Aufgaben bleiben. Die Fallstudien verdeutlichen zugleich das Potenzial für höhere Softwarequalität, geringere Entwicklungskosten und leistungsfähigere Forschungswerkzeuge.
Open-source DeepResearch – Freeing our search agents zeigt, wie ein offener agentischer Ansatz die Ergebnisse auf dem GAIA-Benchmark deutlich verbessern kann. In einem 24-Stunden-Reproduktionsprojekt wurde eine Leistung von 55,15 % erreicht, gegenüber etwa 46 % bei der vorherigen offenen Lösung. Besonders wirksam erwies sich die Verwendung von Code-Agenten statt JSON-basierten Aktionen. Der Ansatz kombiniert Websuche, Textanalyse und strukturierte mehrstufige Planung und bildet eine Grundlage für lokal und offen betreibbare Deep-Research-Systeme.
„Agentic AI Teammates in Medical Research — From Tools to Collaborators — and the Accelerating Digital Divide“ untersucht, wie agentische KI wissenschaftliche Arbeit in der Medizin verändern kann. Der Beitrag sieht Potenzial für niedrigere Zugangshürden zur klinischen Forschung, warnt jedoch zugleich vor einer neuen digitalen Kluft durch ungleich verteilte Daten, Infrastruktur, Rechenkapazitäten, Governance und methodische Unterstützung. Als zentrale Konsequenz wird gefordert, agentische Forschungskapazitäten stärker als gemeinschaftliche wissenschaftliche Ressource zu organisieren.
„MatrAIx“ beschreibt eine Simulationsinfrastruktur zur Evaluation von KI-Modellen und digitalen Produkten mit 8,3 Milliarden Persona-Agenten. Die Plattform simuliert Nutzerverhalten in Umfragen, Chatbots, Web- und App-Szenarien und liefert daraus Evaluationsberichte sowie Telemetriedaten. Ziel ist es, Produkte und KI-Systeme vor ihrem Einsatz unter realitätsnahen Bedingungen zu bewerten.
„ADVOCATing for Patients With Heart Failure“ beschreibt die ARPA-H-Initiative ADVOCATE zur Entwicklung autonomer KI-Agenten für die Behandlung von Patientinnen und Patienten mit Herzinsuffizienz. Ziel ist es, Systeme zu entwickeln, die ohne zwingende menschliche Intervention klinische Aufgaben übernehmen und perspektivisch eine FDA-Zulassung erreichen können. Im Mittelpunkt stehen dabei Fragen zu Sicherheit, Verantwortlichkeit, Finanzierung und dem Nachweis einer Überlegenheit gegenüber der Standardversorgung.
„Physics of Agents: Statistical Mechanics Predicts Collective Behavior of AI Agents“ untersucht das kollektive Verhalten interagierender Sprachmodell-Agenten in mehr als 10.000 simulierten Gemeinschaften. Die Studie identifiziert Indifferenz, Polarisierung und Konsens als charakteristische Dynamiken und zeigt, dass Interaktion die Überzeugungsstärke erhöht sowie bei objektiven Aufgaben die kollektive Genauigkeit verbessert, bei subjektiven politischen Aussagen jedoch auch gerichtete Verzerrungen verstärken kann. Ein an die statistische Mechanik angelehntes Modell sagt individuelle und gruppenbezogene Entwicklungen auch für unbekannte Kommunikationsnetzwerke voraus und führt Konsensbildung sowie Wahrheitsorientierung auf messbare Interaktionsparameter zurück.
„Reimagining research papers as interactive and reliable AI agents“ beschreibt Paper2Agent, ein Framework zur automatisierten Umwandlung wissenschaftlicher Publikationen in interaktive KI-Agenten. Die erzeugten Agenten können Methoden und Workflows per natürlicher Sprache ausführen, Ergebnisse reproduzieren und neue Analysen ermöglichen. In umfangreichen Tests erreichte Paper2Agent hohe Genauigkeit und reduzierte gegenüber direktem Zugriff auf Repositories teilweise Kosten und Laufzeiten; zugleich zeigte die Studie Grenzen durch unvollständigen Code, fehlende Daten und nicht reproduzierbare Umgebungen.
The Virtual Biotech: A multi-agent AI framework for therapeutic discovery and development beschreibt ein Multi-Agenten-KI-System, das Prozesse der Arzneimittelentwicklung von der Zielidentifikation bis zur klinischen Entwicklung abbildet. Mehr als 37.000 Agenten analysierten 55.984 Studien und fanden einen Zusammenhang zwischen zelltypspezifischen Zielgenen, 48 % höherer Marktzulassungswahrscheinlichkeit und 32 % weniger unerwünschten Ereignissen. Zudem demonstrierte das System die Integration multimodaler Evidenz bei Lungenkrebs und die Analyse möglicher Ursachen für das Scheitern einer klinischen Studie bei Colitis ulcerosa.
„On-Premise Medical AI Agents for Reliable Clinical Decision-Making“ untersucht einen vollständig lokal betriebenen medizinischen KI-Agenten für diagnostische Entscheidungsunterstützung. In zwei standardisierten Benchmarks erreichte das beste On-Premise-Modell rund 90 % beziehungsweise 84 % diagnostische Genauigkeit; als besonders aussagekräftiges Zuverlässigkeitssignal erwies sich die Konsistenz derselben Diagnose über wiederholte Durchläufe. Die Ergebnisse unterstützen ein Modell selektiver Autonomie, bei dem unsichere Fälle zur ärztlichen Prüfung weitergeleitet werden und sensible Daten sowie die KI-Infrastruktur unter institutioneller Kontrolle bleiben. Die Studie basiert allerdings auf retrospektiven Simulationen und muss vor einer klinischen Nutzung prospektiv validiert werden.
„On-premise medical AI agents for reliable clinical decision-making“ untersucht einen vollständig lokal betriebenen klinischen KI-Agenten und eine mehrperspektivische Methode zur Einschätzung seiner Zuverlässigkeit. Auf zwei MIMIC-IV-basierten Benchmarks erreichte das System 90,04 % bzw. 83,8 % diagnostische Genauigkeit; die Verhaltenskonsistenz über wiederholte Durchläufe war mit einer AUC von 0,860 das stärkste untersuchte Zuverlässigkeitssignal. Bei einem Konsistenzschwellwert von 0,90 konnten 49,4 % der Fälle mit 98,9 % diagnostischer Genauigkeit für eine selektive autonome Bearbeitung zurückgehalten werden, während die übrigen Fälle zur ärztlichen Prüfung weitergeleitet werden.
Der Text erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit und stellt keine Rechtsberatung dar. Anmerkungen können in der rechten Seitenleiste mit Hypothes.is sozialem Annotierungswerkzeug oder am unteren Ende einer Seite mit GitHub Giscus Diskussionen hinterlassen werden.