Hi,
mit den neuen KI-Aktionsketten lässt sich viel KI automatisieren, aber bei uns hängt es im Moment an der Geschwindigkeit: die KI-Anfragen brauchen Zeit und währenddessen können die MFA vorne am Tresen schlecht weiterarbeiten. Ich habe also Coex genommen und was zusammengebaut, um 1) lokale KI problemlos nutzen zu können und 2) eine Batchverarbeitung möglich zu machen.
Die Grundidee ist einfach: per Appleskript wird die Patienten-ID (PID) des Patienten an den KI Manager (so habe ich das Ding genannt :) ) übermittelt. Der KI Manager nimmt die PID und hängt diese an den Dateinamen sämtlicher Ausgaben dran, damit der Tomedolauscher eine Zuordnung der Ausgabe zu einem Patienten hinbekommt.
Der Workflow ist also: Tomedo-PID --> KI Manager --> PDF/TXT-Datei per Scan, überwachter Ordner oder Drag and drop --> KI verarbeitet die Informationen mit einem konfigurierbaren Prompt --> Output wird als .TXT Datei in den von Tomedo belauschten Ordner geschrieben, im Format PID_irgendwas.txt. Tomedo ordnet die .TXT Datei über die PID dem entsprechenden Patienten zu und packt sie in die Akte, obwohl diese nicht geöffnet ist (!).
Außerdem kann man mit dem KI Manager verschiedenste lokale KI installieren (nutzbar per Ollama), das Ganze läuft auf meinem M1-Test-iMac mit 16 GB RAM. Die Verarbeitung ist nicht viel langsamer als die Tomedo-KI, aber dadurch, dass man weiterarbeiten kann, ist es eigentlich egal.
Hier mal ein paar Screenshots:
In der Buttonleiste wird per Klick (geht natürlich auch per AK) die PID mittels Applescript an den KI Manager geschickt:
set patientID to "$[pid]$"
set handoffFile to (POSIX path of (path to home folder)) & ".ki-manager-next-patient"
do shell script "/usr/bin/printf %s " & quoted form of patientID & " > " & quoted form of handoffFile
display notification ("Nächster KI-Scan: Patient " & patientID) with title "KI Manager"
Das ist die Swift-Oberfläche.
0) Ganz oben ist die ausgewählte KI. Da kann man alles reinkonfigurieren, auch Cloudbasierte KI, die wir aber schlecht wegen Datenschutz nutzen können. Deswegen habe ich ein lokal laufendes Modell gewählt.
Theoretisch kann man da auch die Tomedo-KI direkt nutzen (Herr Baumann hat ja den Zugriff in einem Post mal dargelegt), aber ich nutze das lokale Modelle, weil diese im Vergleich nur unwesentlich langsamer sind (wenn auch nicht so passend gepromptet).
1) Man legt den Tomedo-Lauschordner fest (da schaut Tomedo nach eine .TXT und importiert diese in einen definierten Karteieintrag, bei mir der Karteieintragstyp ki_test)
2) Automatisch Dokumentenerkennung aktiviert die Fachprompt: je nach erkanntem Dokumenteninhalt (zB Medplan) wird ein konfigurierbarerr Prompt ausgeführt. Dadurch muss man nicht ewig lange Prompts schreiben, die erst mal den Inhalt anschauen und entsprechend dem Inhalt eine Prompt durchführen.
Falls es keinen definierten Fachprompt gibt, der automatisch benutzt werden kann, dann gibt es Fallback und man kann aus eine konfigurierbaren Liste einen vordefinierten Prompt aussuchen.
Man kann die Automatik auch ausschalten und vordefinierte Prompts nutzen, ist natürlich nur halb so cool :-)
3) Es muss immer ein PID übertragen sein, bevor man Dokumente verarbeiten kann.
4) Unten ist die Liste der an den KI Manager zu dem jeweiligen Patienten geschickten Dokumente
Tja, so sieht es dann aus: PID wurde übertragen, die Dokumente Test_Biotronik.pdf und Test_Medplan.pdf sind dieser PID zugeorndet und werden verarbeitet:.
Test_Medplan ist ein schlecht gescannter Medplan und Test_Biotornik ist ein 57-seitiges PDF einer Gerätabfrage, Verarbeitungsdauer ca. 30-45s.
Apple Vision macht die Vorarbeit und "schaut" sich das PDF an, um darauf den Text zu extrahieren und an die KI weiterzuleiten. Dann macht die KI die Analyse und schickt die Ergebnisse für das Postprocessing an KI Manager.
Dieser baut eine Textdatei und legt diese im Format PID_sonstwas.txt im Lauschordner von Tomedo ab. Tomedo importiert in den entsprechenden Karteieintrag.
Was sehr interessant ist: beim Import durch Tomedo kann auch direkt in andere Karteieintragstypen importiert werden.
Das ist die Konfig für den Lauschordner in Tomedo. Mir war gar nicht klar, wie mächtig diese Konfigurationsmöglichkeiten eigentlich sind. Die Patientenzuordnung per PID macht eine komplette Automatisierung möglich.
Im Postprocessing wird daher im Fachprompt durch KI Manager die KI-Ausgabe eines Medplans mit dem Präfix "Medi" versehen - so heisst unserer Karteieintragstyp für die Medikamente und der durch die KI schick strukturierte Medplan landet direkt im richtigen Kareieintrag.
Damit umgeht man auch das Problem mit den vielen Karteieinträgen zur Weiterverarbeitung.
Das Ganze kann man konfigurieren: so sieht die Konfig für die Fachprompts aus. Da steht "Als tomedo-Texteintrag ausgeben" und dann der entsprechende Karteieintrag (bei uns eben Medi).
Vom Arbeitsablauf ist es für eine Stapelverarbeitung ausgelegt: PID aus Tomedo an KI Manager schicken --> Dokumente für diese PID/Patienten in den KI Manager werfen --> Verarbeitung anstoßen --> nächste PID aus Tomedo an den KI Manager schicken --> Dokumente für diese PID/Pat in den KI Manager werfen etc.
Wenn im Hintergrund die Verarbeitung abgeschlossen ist, werden die Ergebnisse per Lauschordner ohne Nutzerinteraktion dem richtigen Patienten zugeordnet. Sinnvollerweise sind das zu vidierende Ordner, damit man als Arzt noch mal die Ergebnisse prüft.
Wie gesagt: Bastel- und Lernprojekt, nichts für den Produktivbetrieb. Das ganze habe ich entspannt innerhalb einige Stunden mit Codex von openAI gebaut. Ich habe keine erstnzunehmende Ahnung von Programmieren (wenngleich rudimentär von KI und wie ein Computer prinzipiell arbeitet). Codex ist mit _Abstand_ das Faszinierendste, was ich in den letzten Jahrzehnten benutzt habe.
Freue mich wie immer über Feedback. Ich habe das auch deswegen gebaut, damit Zollsoft ihre KI-Funktionen noch besser macht, als sie sowieso schon sind :-). Wenn jemand den Code haben will, bitte Nachricht an mich, für das Forum ist er vermutlich zu lang.
-js
PS: für die, die gerne mit lokalen Modellen spielen: Ollama ist inklusive Suchfunktion direkt integriert und man kann sein "Lieblingsmodell" direkt runterladen und installieren ;-).
