Wie viel KI verträgt der Rechtsstaat?

Verwaltung der Zukunft: Legal Tech und KI-gestützte Werkzeuge finden zunehmend Anwendung in juristischen Arbeitsprozessen. Welche Chancen und Risiken sehen Sie für den Rechtsstaat?

Prof. Dr. Anne Paschke: Aufgrund der stetig zunehmenden Regelungsdichte und der begrenzten Zahl an qualifizierten Juristinnen und Juristen ist der Einsatz von digitalen Lösungen ein zentraler Ansatz, um die Leistungsfähigkeit von Staat und Wirtschaft auch in Zukunft sicherzustellen.

Hierzu können deterministische Systeme genauso wie Lösungen aus dem Bereich der Künstlichen Intelligenz (KI) dienen. Insbesondere KI-Systeme können in juristischen Arbeitsprozessen dazu beitragen, Beschäftigte in Gerichten, Verwaltung, Kanzleien und Wirtschaft von repetitiven und standardisierten Aufgaben zu entlasten und ihnen so mehr Raum für ihre originären Kernkompetenzen, insbesondere komplexen Abwägungs- und Entscheidungsprozessen, zu verschaffen.

Wenn es dem Staat nicht gelingt, verlässliche, beschleunigte und sichere juristische Verfahren für Zivilgesellschaft und Wirtschaft bereitzustellen, werden Betroffene zunehmend auf bestehende private Alternativen ausweichen. Dies hätte zur Folge, dass der Rechtsstaat in bestimmten Bereichen an Akzeptanz verliert.

Damit der Einsatz von KI in der Justiz nicht zu einem Vertrauensverlust bei Bürgerinnen und Bürgern führt, müssen Systeme eingesetzt werden, die zunächst einfach zu bedienen sind und tatsächlich auch funktionieren. Sie müssen zudem transparent und nachvollziehbar sein und einer wirksamen rechtsstaatlichen Kontrolle unterworfen sein.

Der Staat muss zugleich sicherstellen, dass er nicht von privaten Anbietern abhängig wird, die in der Folge über die Funktionsfähigkeit staatlicher Einrichtungen entscheiden könnten. Deshalb ist es erforderlich, dass staatliche Einrichtungen, insbesondere die Justiz, eigene fachliche Kompetenzen in diesem Bereich aufbauen.

VdZ: Wie kann der Einsatz von Künstlicher Intelligenz in der Justiz so gestaltet werden, dass technologische Innovation und rechtsstaatliche Kontrolle im Gleichgewicht bleiben?

Paschke: Von zentraler Bedeutung ist zunächst, in welchen konkreten Kontexten Künstliche Intelligenz in der Justiz eingesetzt wird. Alle Beteiligten müssen Klarheit darüber haben, in welchen Bereichen und zu welchen Zwecken KI-Systeme eingesetzt werden. Hierbei muss gewährleistet sein, dass Entscheidungen nicht von Menschen auf Maschinen verlagert werden. Die richterliche Entscheidungsgewalt ist Kernbestand unseres Rechtsstaats. KI-Systeme sollten deshalb nur unterstützend verwendet werden. Richterinnen und Richter müssen zudem selbst entscheiden können, welche der durch die Justizbehörden angebotenen KI-Systeme ihre Arbeit sinnvoll ergänzen.

Bei der Ausschreibung und Eigenentwicklung von KI-Lösungen ist durch die Justizbehörden auf die Einhaltung von Transparenz-, Dokumentations- und Aufzeichnungspflichten zu achten. Die Justizbehörden sollten zudem auf eine operative Daten-Governance in den Gerichten hinwirken, um eigene Trainingsdaten für künftige KI-Lösungen zu fördern, und sich bei der Beschaffung von KI-Systemen die Trainingsdaten dieser Systeme vorlegen lassen. Die Anforderungen der KI-Verordnung zur Genauigkeit, Robustheit und Cybersicherheit sollten auch bei Systemen, die nicht als Hochrisiko-KI-System klassifiziert werden, als Orientierung berücksichtigt werden. Ferner ist sicherzustellen, dass diese Systeme bei veränderter Rechtslage schnell und rechtssicher, gegebenenfalls durch die Justiz selbst, angepasst werden können.

VdZ: Aus Sicht des Datenschutz- und IT-Sicherheitsrechts: Welche Grenzen sollten beim Einsatz automatisierter Systeme in sensiblen Bereichen wie Justiz und Verwaltung nicht überschritten werden?

Paschke: Die geltenden datenschutzrechtlichen Vorgaben sind einzuhalten. Angesichts der unterschiedlichen Zuständigkeiten der Datenschutzaufsichtsbehörden sollten diese ein einheitliches Verständnis entwickeln, um widersprüchliche Entscheidungen zu vermeiden. Es wäre für den Rechtsstaat schwer vermittelbar, wenn Gerichte oder Behörden in einigen Bundesländern automatisierte Systeme nutzen dürften, während dies in anderen aufgrund abweichender Aufsichtsentscheidungen untersagt wäre.

Im Bereich der IT-Sicherheit fehlt bislang eine ebenso detaillierte Kodifizierung wie im Datenschutzrecht. Hier sind daher die (Justiz-)Behörden gefordert, geeignete operative Strategien aufzusetzen und die entsprechende Technologie zu etablieren, um die Funktions- und Handlungsfähigkeit von Justiz und Verwaltung nachhaltig zu sichern.

Ein zentraler Ansatzpunkt in der Justiz ist der Ausbau einer sicheren „Justizcloud“, die Vertraulichkeit und Integrität von Verfahrensdaten gewährleistet und zugleich künftig ausreichend Rechenkapazitäten für den Einsatz von KI-Lösungen in der Justiz bereitstellt. Es besteht sonst das Risiko, dass sogenannte „Schatten-IT“ entsteht, die nicht den erforderlichen Sicherheitsstandards entspricht und damit erhebliche IT-Sicherheitsrisiken nach sich zieht.

VdZ: Wie kann das Vertrauen in KI-basierte Anwendungen im öffentlichen Sektor, insbesondere in der Justiz, langfristig gestärkt und gesichert werden?

Paschke: Langfristig lässt sich Vertrauen in KI-Anwendungen nur durch Transparenz, Nachvollziehbarkeit, belastbare Qualitätsmetriken und unabhängige Kontrolle sichern. Es bedarf zudem einer kontinuierlichen Evaluation der eingesetzten Systeme. Ergänzend sind Fortbildungen und Sensibilisierungen der Entscheidungstragenden in der Justiz essenziell, um den verantwortungsvollen Einsatz von KI-Systemen sicherzustellen.

Diese Anforderungen dienen nicht nur dazu, das Vertrauen der Bürgerinnen und Bürger in staatliche KI-Anwendungen zu stärken, sondern auch die Akzeptanz bei den Beschäftigten im öffentlichen Dienst zu gewinnen. Ohne ihr Vertrauen werden die Systeme im Alltag nicht genutzt. Entscheidend ist daher eine einfache Bedienbarkeit der KI-Systeme und eine Integration in bestehende Abläufe, um Mehrarbeit zu vermeiden.

Zudem sollten niederschwellige Hilfsangebote für die Menschen verfügbar sein, die diese Systeme dienstlich einsetzen, damit Rückfragen schnell beantwortet werden. In der Wirtschaft werden hierfür KI-Beauftragte als Ansprechpartner eingerichtet. Eine solche Lösung könnte auch für den öffentlichen Sektor zweckdienlich sein.

Eine sinnvolle Digitalisierung der Verwaltung ist dabei Grundvoraussetzung für die Zukunftsfähigkeit des Rechtsstaats. Nur wenn Verwaltungsverfahren effizient, bürgernah und rechtssicher digital ausgestaltet werden, kann das Vertrauen in staatliche Institutionen aufrechterhalten und der Zugang zum Recht auch in einer zunehmend digitalisierten Gesellschaft gewährleistet werden.

VdZ: Welche Erwartungen haben Sie persönlich an den 4. Digital Justice Summit?

Paschke: Vom 4. Digital Justice Summit erwarte ich konkrete Best-Practice-Beispiele, lebendige Diskussionen und Impulse, wie sich KI so einsetzen lässt, dass sie den Rechtsstaat stärkt. Ich freue mich ferner auf einen Austausch, der inspiriert, Perspektiven eröffnet und den Mut zur Veränderung fördert.