Probleme von Analytics

Nach der Theorie zu den verschiedenen Analytics-Verfahren widmen wir uns in diesem Kapitel den Problemen von Analytics, beschränken dies allerdings auf drei. Bias, Datenverfügbarkeit und Explainability. Übersichtlich zu den Problemen etwa die Informationen zum Artificial Intelligence Act der EU.

Sollten sich diese Probleme in einer Applikation niederschlagen, so könnte dies dazu führen, dass Gerichte fehlerhafte Entscheidungen treffen. Um dies zu verhindern hat die EU im Rahmen des Artificial Intelligence Acts geplant, Legal-Analytics-Software als „High Risk AI-system“ einzustufen und besonders zu regulieren.

Die EU fordert insbesondere eine Qualität der Datensätze, technische Dokumentation aber auch Transparenz, Robustheit, Richtigkeit und insbesondere, dass der Mensch den Prozess überwacht.

‍

Bias

Bias ist ein Vorurteil in den Daten. Wie können Daten Vorurteile haben?

Nehmen wir bspw. an, wir wollen ein System zur Umsetzung von Prescriptive Analytics erstellen. Ausgangsbasis unserer Entscheidung ist der Sachverhalt, den der Mandant schildert. Basis auf der gesucht wird, sind die juristischen Entscheidungen in einer Recherchedatenbank.

Hier zu nennen ist das Problem der Veränderung der Ausgangsdaten. Der Tatbestand der Entscheidung ist das Ergebnis der verschiedenen Sachvorträge der Parteien (im Zivilprozess), das vom Gericht zusammengefasst wird. Im Strafprozess ist es das Ergebnis der Hauptverhandlung. Beide Tatbestände werden allerdings durch das Gericht verfasst, unterfallen daher bereits der Interpretation, Auslegung oder unabsichtlichen Verzerrung. Schließlich mag das Gericht auch die Teile weggelassen haben, die für die Entscheidung unerheblich sind.

Dies führt auf der Datenseite dazu, dass nicht mehr der ursprüngliche Sachverhalt, sondern der bereits bewertete Sachverhalt Ausgangsbasis der Analyse ist, sofern die Software die Nutzereingabe mit dem Tatbestand des Gerichtes vergleicht.

‍

Datenverfügbarkeit

Daneben entscheidet das jeweilige Gericht, ob eine Entscheidung zur Veröffentlichung relevant ist. Was bedeutet dies für die Datenverfügbarkeit? Schauen wir uns bspw. einmal die Fallzahlen (Erledigungen) im Zivilrecht in 2019 an:

‍

Insgesamt sind dies also 1.376.770 Entscheidungen. Schauen wir auf der anderen Seite auf die Entscheidungen, aus dem Jahr 2019 die in den drei Recherchedatenbanken in Deutschland Wolterskluwer-Online, Beck-Online und juris veröffentlicht wurden.

Ausgehend davon gäbe es für das Jahr 2019 rein rechnerisch 1.376.770 Entscheidungen, deren Text veröffentlicht werden könnte. Demgegenüber stehen, wenn man davon ausgeht, dass alle drei Rechercheanbieter unterschiedliche Entscheidungen in der Datenbank haben, 32.837 Entscheidungen. Das entspricht 2,4% der Entscheidungen. Geht man nun davon aus, dass nur 50% der Entscheidungen einmalig sind (wahrscheinlich ist der Teil sogar deutlich geringer), so liegen wir nur noch bei 1,19 %.

Allerdings wird auch ein großer Teil der Verfahren durch (nicht inhaltlich relevante) Beschlüsse erledigt oder das Verfahren wird durch einen Vergleich beendet, die Klage zurückgenommen etc. Anhand der amtlichen Statistik zu den vor den Amtsgerichten erledigten Verfahren kann man entnehmen, dass ca. 25% durch streitiges Urteil entschieden werden. Übertragen auf unsere Zahlen bedeutet dies, 344.193 Entscheidungen, also bei 9,54% (im Falle, dass alle einmalig sind) bzw. bei 4,77% bei der Annahme, dass die Einmaligkeit nicht immer gegeben ist. Hierbei unberücksichtigt bleiben allerdings die Beschlüsse, die eine inhaltliche Relevanz haben.

Die weit überwiegende Anzahl der Entscheidungen ist somit nicht verfügbar. Daher kann man hier von einem recht großen Bias sprechen.

‍

Explainability

Explainable AI wurde bereits im Kapitel über die Geschichte von Legal Analytics erwähnt. Explainable AI soll die Antwort auf die Frage liefern, wie ein Algorithmus eigentlich zu dem Ergebnis gekommen ist. Insbesondere bei komplexeren Modellen (vor allem bei neuronalen Netzwerken) besteht das Problem darin, dass es eine Art „black box“ ist. Es lässt sich nicht erkennen, welchen Weg die Information in den verschiedenen Ebenen eines neuralen Netzwerkes nimmt, um im Ergebnis zu einer Entscheidung zu kommen.

Bei juristischer Arbeit ist dieser Umstand allerdings besonders wichtig. Darf ein Anwalt der Maschine vertrauen in seiner Argumentation? Muss er nicht in der Lage sein, alles zu überprüfen? § 43 S. 1 BRAO sagt: „Der Rechtsanwalt hat seinen Beruf gewissenhaft auszuüben“.

Zumindest eine Pflicht, eine solche Applikation zu verwenden, muss wohl verneint werden, da nicht einmal eine Pflicht zur ständigen Nutzung der üblichen juristischen Recherchedatenbanken besteht.