Kartei-Chat: Halluziniert, dass er einen Eintrag angelegt hat

Andreas Schemm

Der Kartei-Chat halluziniert leider manchmal, dass eine Aufgabe gelöst wurde, indem er einen Karteieintrag erstellt hat. Dieser lässt sich dann aber nicht finden. (tomedo Version v1.169.0.29). Das führt leider dazu, dass ich dann keine Lösung vom Kartie-Chat erhalte.

Viele Grüße, Andreas Schemm

Nicolas Preuss

Haben Sie hier etwas mehr Kontext, also insb. die ursprüngliche Aufgabe an den Chat? Ggf. lässt sich über den "Prompt" etwas optimieren. Wir sind aber dabei, Mechanismen für das Erkennen solcher Halluzinationen zu entwickeln. Damit können wir dann stärker dagegen steuern.

Andreas Schemm

Ich hatte folgenden Prompt: "Formuliere einen Text für eine Bescheinigung für die Schule, dass er am Schwimmunterricht nach eigenem Ermessen unter ständiger Beobachtung teilnehmen darf. Beziehe dich dabei auf die Briefdiagnosen im Karteieintrag BDIA"

In dem Eintrag [BDIA] listen wir die aktuellen Diagnosen und Prozeduren des Patienten auf. Das bedeutet, ich habe keine Anweisung gegeben, dass er einen Karteieintrag erzeugen soll, sondern ich wollte lediglich einen Text über den Prompt erstellen. Da der Karteichat aber glaubt, dass er einen Karteieintrag erzeugt hat, ist natürlich auch die Antwort im Karteichat nicht vorhanden. Somit wäre es schön, wenn verhindert werden kann, dass ein Karteieintrag erzeugt wird, wenn dies nicht gefordert ist.

Viele Grüße,
Andreas Schemm

Nicolas Preuss

Ich bekomme das leider nicht nachtgestellt. Passiert das regelmäßig? Sie könnten noch etwas am Prompt feilen:

Wie genau soll der Text strukturiert sein? Er soll für sich stehen, sodass Sie ihn direkt an die Schule weiterleiten können usw.

Wenn es wieder auftritt: weisen Sie den Chat auf den Fehler hin. Wenn es schnell gehen muss: "Schriebe den Text direkt als Antwort". Wenn Sie etwas Zeit haben: "Du hast keinen Eintrag angelegt, solltest du auch nicht. Stattdessen solltest du nur einen Text schreiben. Warum hast du das nicht getan?" und dann gern Rückmeldung.

Sollte es einigermaßen gut nachstellbar sein, können wir uns das auch gemeinsam ansehen.