KI - Für und wider

[SelbstSein]

KI-Recherchen Agenten würden lieber Fakten erfinden, als zu sagen:​

"Ich weiß es nicht"​

Laut der Studie scheitern Systeme nicht, weil sie von der Aufforderung verwirrt sind, sondern weil sie Schwierigkeiten haben, Beweise zu integrieren oder mit Unsicherheit umzugehen. Anstatt Lücken mit gefälschten Details zu verbergen, brauchen diese Agenten transparente Wege, um zuzugeben, was sie nicht wissen.

Die Branche ist sich dieser Einschränkungen bewusst. OpenAI hat kürzlich zugegeben, dass LLM-basierte Systeme wie ChatGPT wahrscheinlich nie aufhören werden, Informationen vollständig zu fabrizieren.
Um dies zu beheben, arbeitet das Unternehmen an Funktionen, die es dem System ermöglichen, seine Sicherheit anzuzeigen. Es experimentiert auch mit "Geständnissen", einem Mechanismus, bei dem das System eine separate Folgenotiz generiert, die zugibt, wenn es etwas erfunden hat oder unsicher war.

Artikel vom 06. Dezember 2025

AI research agents would rather make up facts than say "I don't know"

A new study from Oppo's AI team reveals systematic flaws in "deep research" systems designed to automate complex reporting. Nearly 20 percent of errors stem from systems inventing plausible-sounding but entirely fake content.

the-decoder.com

 

[Felicia1]

Gruselig finde ich es bereits hier im Forum zu lesen, wie einem Ki-generierte Texte hingeklatscht werden, kommentiert im Stil von: "Bitte sehr, hier der Beweis". "Jetzt ist objektiv bestätigt, dass du dich irrst."

Unberücksichtigt bleibt die Tatsache, dass die KI an sich nichts beweist.

Ich habe die KI kürzlich zu einem Schauspieler befragt: Laut ihr würde er in Los Angeles leben, verheiratet sein, eine Biographie veröffentlicht haben und Vater von drei Söhne sein.

Tatsächlich ist er bereits vor zwei Jahren gestorben, lebte nicht in LA und hatte nur eine Tochter. Eine Biographie hat er nicht veröffentlicht. Lediglich die Filme an denen er mitgewirkt haben soll, stimmten mit der Realität überein.

 

[Mönch-David]