Der Sektor Recht ist von den Umwälzungen, die die großen KI Sprachmodelle (LLMs) in verschiedensten Geschäftsbereichen mit sich bringen besonders betroffen. Drei Beispiele sollen niederschwellige Möglichkeiten des Einsatzes von KI in Kanzleien aufzeigen.
Der Artikel ist hier in Englisch verfügbar.
Überblick – was bisher geschah
Die eine oder andere geneigte Leserin wird sich vielleicht noch an die Geschichte vor 5 Monaten erinnern, in der ich von einer „feindlichen“ Mandatsübernahme durch ChatGPT berichtet habe. Seit dem ist viel passiert.
Just am Tag vor Erscheinen dieses Artikels am 6.12.2023 hat Google sein neuestes Multimodalmodel „Gemini“ vorgestellt. In der leistungsfähigsten Form soll es 90% aller Experten in knapp 60 Bereichen bei Wissen und Problemlösungskompetenz übertreffen!
Lassen Sie folgende Aussage aus der Gemini Vorstellung kurz wirken:
„Mit einem Ergebnis von 90,0% ist Gemini Ultra das erste Modell, das menschliche Experten beim MMLU (Massive Multitask Language Understanding) übertrifft. MMLU verwendet eine Kombination aus 57 Themen wie Mathematik, Physik, Geschichte, Recht, Medizin und Ethik, um sowohl Weltwissen als auch Problemlösungsfähigkeiten zu testen.“
Übersetzt aus https://blog.google/technology/ai/google-gemini-ai/#performance
Auch wenn es schwer fällt, sich an derartige superlative Meldungen zu gewöhnen, gilt es umso mehr Business Anwendungen für die juristischen Kernberufe Rechtsanwälte, Richterinnen, Staatsanwälte und Notare auszurollen und zu nutzen. Die Arbeitswelt in jenen eben genannten Bereichen wird sich erheblich ändern. Je früher die Transformation in den Betrieben und Kanzleien startet, desto weniger Berührungsängste und Überraschungen wird es geben.
Drei Beispiele
Ich möchte daher anhand dreier Beispiele die Möglichkeiten aufzeigen, die es bereits jetzt mit einem sehr überschaubaren Aufwand gibt, künstliche Intelligenz in einer durchschnittlichen Anwaltskanzlei einzusetzen.
Bei den ausgewählten Beispielen steht die Compliance mit berufsrechtlichen Vorschriften und dem Datenschutzrahmen der DSGVO im Vordergrund. Keine der vorgestellten Lösungen und/oder Unternehmen hat eine wirtschaftliche Nahebeziehung zum Autor.
1. Sprache zu Text
Wer kennt sie nicht, die liebe Not mit dem digitalen Diktat und den diversen Helfern, die mal besser mal schlechter transkribieren. Keine/r der Kolleg:Innen, die ich kenne, hat je wirklich nachhaltig eine der bestehenden Lösungen genützt.
Ob man sich das Schreiben eines Aktenvermerks nach einer Besprechung erspart oder einfach nur Schriftverkehr oder Schriftsätze diktiert, ohne auf die besonderen Bedürfnisse der Software achten zu müssen – wie zu Zeiten der guten alten Bandmaschinen. Es könnte so einfach sein.
Mit Whisper wurde von Open AI (der Gesellschaft hinter ChatGPT) ein Modell zum Transkribieren von Audio Files bereits vor längerer Zeit vorgestellt. Die neuronalen Netze sind Open Source und können entweder über eine Software Schnittstelle, in Google drive, oder gänzlich lokal betrieben werden. Das Modell kann beinahe 100 Sprachen transkribieren und ignoriert Hintergrundgeräusche erstaunlich gut.
Auf Apple Macs gibt es bereits eine vollkommen lokal arbeitende komplette Softwarelösung namens MacWhisper, die schon in der kostenlosen Version großartige Funktionalität bietet.
Hören Sie hier die originale Tonquelle (2 Personen Interview) mit erheblichen Hintergrundgeräuschen im Auszug:
Das Modell kann aber auch im Google Drive mit dem Colaboratory-Plugin in einer Grafikkarten-Umgebung (GPU) ohne Installation vor Ort und risikolos (wie hier abgebildet) getestet werden.
Die Übertragung eines 5-minütigen Files dauert keine 3 Minuten inkl. Einspielen des Modells in der GPU-Umgebung auf Google Drive.
Wir haben kanzleiintern auch ein File mit einer Spieldauer von 1 Stunde und 26 Minuten auf Portugiesisch (Vortrag) transkribiert und waren damit in knapp 20 Minuten de facto fehlerfrei durch.
- Anleitungen für lokale und Google drive Installation finden Sie hier:
- MacWhisper gibt es hier (ohne Abo) zu laden:
- https://goodsnooze.gumroad.com/l/macwhisper
- Im Apple App Store gibt es nur eine Abo Variante
Ebenfalls interessant könnte die Anwendung für das stets straffe Justizbudget sein. Im Strafverfahren werden Verhandlungen bereits mitgefilmt. Die Tonspur kann schlicht zur Erstellung eines Rohentwurfs eines Protokolls mit Whisper genützt werden, gänzlich ohne Menschlichen Aufwand. Deto im Zivilverfahren.
2. AI Dokumentensuche für Rechtsanwender
Für Anwaltskanzleien eine besondere Herausforderung ist die Dokumentensuche. Je weniger strukturiert (damit meine ich nicht etwa einen RA-Software-Akt) die Daten abgelegt sind, desto schwerer ist es relevante Information wieder zu finden.
Auch herkömmliche Indexverfahren bieten erfahrungsgemäß oft nur mäßigen Sucherfolg. Zudem sind Sharepoint-Lösungen oft aufwändig. Sie bringen hohe Lizenz- und Wartungskosten mit sich und kommen daher für viele schon darum nicht in Frage.
Eine jüngere, dynamische und sehr niederschwellige Lösung bietet das Münchner Softwarehaus Curiosity.ai mit der Curiosity App für Windows, Mac und Linux an. Selbstverständlich laufen die Apps vollkommen lokal. Daten werden nicht an Curiosity übermittelt.
Neben der klassischen Indexerstellung auch für umfangreiche Dokumente und Bestände in Netzwerkstrukturen bietet die Suche einen Hauseigenen AI-Suchmodus, der mit Hilfe eines neuronalen Modells die Trefferquote verbessert und kontextbasierte Ergebnisse liefert.
Die Einbindung von Cloud-Diensten und E-Mail Services ist möglich.
Die Curiosity App hat auch eine Schnittstelle zum mittleren Modell von Whisper, was Softwareintern auch die Transkription von Audio-Files ermöglicht (siehe oben im Abschnitt „Sprache zu Text“)
Wer das volle Potential bei seiner Arbeit mit der Curiosity App mit der künstlichen Intelligenz ausschöpfen möchte, kann optional ChatGPT 3.5 in den Dienst einbinden und erhält so die Möglichkeit, von der KI vorgefertigte Antwort E-mails erstellen zu lassen, konkrete Fragen zu einem bestimmten Problem an einen Suchindex zu stellen und vieles mehr, das man bereits von der Nutzung mit ChatGPT kennt. Mit dem kleinen Aber feinen Unterschied eben, dass hier der eigene Dokumentenbestand zur Beantwortung herangezogen wird.
Bei letzterer Variante müssen allerdings (noch) Daten an Open AI zur Erarbeitung der Antwort übermittelt werden, die den Angaben von Curiosity nach, nach 30 Tagen aber wieder gelöscht werden.
Lösung – Assistants API ?
Besonders interessant dürfte in diesem Zusammenhang die Ankündigung von Open AI sein, mit dem Assistants API (Application Programming Interface), die Nutzung von ChatGPT 4 in eigenen Anwendungen nutzen zu können. Hierbei können Inhalte dann ohne Datenübermittlung lokal verarbeitet werden. Freilich sollte man in einem solchen Szenario erhebliche Rechenkapazitäten vorhalten, um nicht gleich von Beginn weg eine Enttäuschung wegen zu langsamer Reaktionen zu erleben..
Curiosity gibt es hier kostenlos zu testen:
3. Der eigene Kanzlei Chat Bot – Playground für Experimentierfreudige
Wer mit seinem eigenen Datenbestand unabhängig von Softwareanbietern seinen eigenen Kanzlei- bzw. Anwaltschatbot erstellen möchte, hat ebenso viele Möglichkeiten.
Programmcodes wie das auf Github enorm populäre PrivateGPT oder localGPT können mit eigenen Textinhalten eine ChatGPT ähnliche Problemlösungsinstanz in der Kanzlei bieten. So chattet man mit seinen eigenen Dokumenten.
Man kann dabei auf viele Open Source Modelle wie etwa LLAMA von META oder Huggingface zurückgreifen.
LocalGPT kann dabei auch mit einem komplett deutschsprachigen Model namens LeoLM betrieben werden, damit der In- und Output nicht erst von English auf Deutsch umgestellt werden muss.
Die Installation erfordert Basiswissen auf der Comand-Shell (Terminal) und Webservern, sollte aber vom begabten IT-Fachbetreuer oder Hobby-IT Kraft und Rechtsanwalt in Personalunion (wie meine Wenigkeit) mit etwas Geduld umsetzbar sein.
Wenn Sie sich vor einer derartigen Installation scheuen, können Sie am Playground von Open AI selbst ein Modell erstellen lassen, dem Sie etwa die Aufgabe eines juristisch gebildeten Kanzleimitarbeiters zuweisen, der Ihnen bei der Recherche und Problemlösung mit Hilfe der bereitgestellten Unterlagen zur Hand gehen soll oder gleich einen Schriftsatz an das Gericht vorbereiten soll.
Dieses Vergnügen ist allerdings nicht kostenlos. Sie müssen für die erzeugten Inhalte Tokens bei Open AI im Voraus kaufen, die Sie bei derartigen Spielereien in rauen Mengen oder bis zum gesetzten Limit verbrauchen können.
Ausblick
Bis Klientinnen vermehrt auf die Dienste von auf Recht spezialisierten Sprachmodellen, die mit Hilfe von bestehenden Rechtsdatenbanken wirklich große Teile von juristischer Facharbeit erledigen werden können zurückgreifen, werden noch ein paar Jahre ins Land ziehen. Wenn Sie wie ich einen Blick in das unten verlinkte Video geworfen haben, wird schnell klar werden, dass das Potential dafür enorm ist. Bis dahin darf und soll dieses Potential verständig in Anwendungen für die Rechtsberufe integriert und ausgerollt werden. ich für meinen Teil bleibe dran.