Claude is AI and can make mistakes. Please double-check responses.

Quote from framp

Aber wie soll ich eine Antwort auf meine Frage, zu einem Thema, bei dem ich absolut keine Ahnung habe, verifizieren?

Genau das ist ja die Krux an der Sache. RTFM um zu verifizieren, ob die K.I. keinen Unsinn ausspuckt, aber wenn man die Manuals gelesen hat, braucht es keine K.I. um eine Frage zu beantworten.

Anders gesagt: Entweder man macht sich die Mühe und verifiziert die Antwort oder man glaubt an die Aussagen der befragten K.I. Das hat dann aber schon etwas von Religion, also GottK.I.vertrauen.

Um sich eine grobe Übersicht über ein Thema zu verschaffen ist eine K.I. sicher nicht schlecht, aber wenn es um Details und um Fachwissen geht, hilft nur, sich das Wissen selber anzueignen. Vertrauen würde ich persönlich keinem LLM und auf keinen Fall, wenn es um Datensicherheit geht.

Ihr müsst die neuesten Frontier-Modelle verwenden. Und mehrere kombinieren. Und der Harness muss stimmen. Und natürlich muss man je Problem die richtigen Modelle kombinieren. Und die Prompts muss man auch richtig schreiben. Das Problem ist immer der Benutzer wenn K.I. nicht das richtige Ergebnis liefert.

→ Das ist die Antwort, die man von den K.I.-Gläubigen immer bekommt. Einfach die komplette Schuld immer auf den Benutzer schieben. Die LLM-Götter können nicht irren.

Ich experimentiere z. Zt. auch mit Claude (die kostenlose Version) zu allen möglichen Themen. Dabei stelle ich auch Fragen, deren Antwort ich als „Fachmann“ schon kenne. Bisher lag Claude immer richtig. Bei mir fremden Themen verlange ich explizit Quellen und frage auch nach, wie Claude zu dieser oder jener Entscheidung gekommen ist. Die Antworten sind dabei sehr stimmig und nachvollziehbar.

Claude fragt auch nach, wenn die Frage ungenau formuliert ist oder mehr Details für eine fundierte Antwort nötig sind. Von daher ist das, was die „KI-Gläubigen“ von sich geben ziemlicher Bullshit.

Es gab auch schon Situationen, wo Claude zugegeben hat keine Aussage treffen zu können und empfahl einen Fachmann zu fragen.

Aktuell gefällt mir Claude besser als ChatGPT.

Quote from mopperle

Die Antworten sind dabei sehr stimmig und nachvollziehbar.

Ob die stimmige und nachvollziehbare Antwort dann korrekt/richtig ist, oder falsch/Blödsinn, ist unklar und dann wieder Vertrauenssache. Und da es einfacher/bequemer ist zu vertrauen als es selber zu überprüfen, ....

"Künstliche Intelligenz ist keine Prothese für menschliche Dummheit" oder wie Google-KI es formuliert: "Künstliche Intelligenz ist ein Werkzeug und kein Ersatz für eigenes Denken oder mangelnde Urteilskraft".

Man kommt also nicht drum herum, sich eigenes (Halb)Wissen anzueignen, um bei einer KI-Antwort die richtigen Nachfragen zu stellen oder zumindest abschätzen zu können, ob die gegebene Antwort eine gute Lösung für ein bestimmtes Problem ist.

Gruß Martin

Oder um es mit einem vor-K.I. Sprichwort zu sagen: „A fool with a tool is still a fool.“

Ich "fummel" hier an einem, inzwischen recht komplexes Programm (Web-App) herum:
Die ersten Schritte der Planung hatte ich mit ChatGPT "durchgesprochen", war erstaunt, wie sich da ein Verständnis der Problematik von Seiten der KI zeigte.
Nach einigen Hin- und Hers stand dann das Projektheft.
Unterbrochen wurde ich immer wieder, weil ich damals nur einen "free" Tarif hatte.

Die 1. Realisierung hat die KI gemacht, da ich aus der IT komme, konnte ich das Ergebnis prüfen: Es waren nur wenige Fehler drin, aber sie waren drin. Tests im Sandkasten habe diese dann auch bestätigt.
Letztlich (nach 13 Iterationen) stand das Programm.

Dann warf ich das Programm der Claude-KI vor zur Revision.
Oh-Ha... die hatte viel mehr (noch unkorrigierte) Fehler als ich gefunden, teilweise auch ungeschicktes Programmieren an sich (keine DB-Sperren, kein Multitasking). Das war mir so gar nicht aufgefallen.

Letztlich hat die Claude-KI das Programm komplett überarbeitet, das hat sie allerdings nicht innerhalb der "free" Status geschafft (Ressourcen haben nicht gereicht), also hab ich dann den "pro"-Status gekauft:
2 Iterationen später: "Holla, die Waldfee" - Der Code war sehr aufgeräumt, kommentiert, leicht lesbar. Und funktioniert (natürlich).

Ich hätte für die Umsetzung (geschätzt) händisch ca. 4 Wochen (nur Abends, jeden Tag ca. 4h) gebraucht, mit der KI hab ich 3 Tage (je 4h pro Tag) gebraucht incl. Codereview und Test.
Claude-KI "denkt" gründlicher nach und baut definitiv besseren Code. Aber ok, man muss verstehen, was da geliefert wird.

Ich werden den Bezahl-Account zunächst behalten, es stehen noch einige Projekte an und Zeit ist halt kostbar...

Sofern ich mal was "mit K.I. machen" sollte, wäre dein Ansatz genau das Vorgehen wie ich es mir vorstelle.

Quote from __blackjack__

Ihr müsst die neuesten Frontier-Modelle verwenden. Und mehrere kombinieren. Und der Harness muss stimmen. Und natürlich muss man je Problem die richtigen Modelle kombinieren. Und die Prompts muss man auch richtig schreiben. Das Problem ist immer der Benutzer wenn K.I. nicht das richtige Ergebnis liefert.

→ Das ist die Antwort, die man von den K.I.-Gläubigen immer bekommt. Einfach die komplette Schuld immer auf den Benutzer schieben. Die LLM-Götter können nicht irren.

Ich mach ja nur ganz einfache Sachen mit KI. Aber wenn ich immer öfter erlebe, dass mir bei Bedienungsfragen zu diverser Software Menüpunkte vorgeschlagen werden, die so gar nicht existieren, fehlt mir doch der Glaube an den Fortschritt. Mistral hat auf Nachfrage sogar zugegeben, dass sie sich (Unter)Menüpunkte oft ausdenkt, weil es für sie wahrscheinlich sei, dass die auch so heissen könnten.

Ähnliches hatte ich bei ChatGPT auch schon, da habe ich dann geantwortet : "Dieser Menüpunkt existiert bei mir nicht. " Und schon kam von ChatGPT die Frage nach der Versionsnummer mit dem Hinweis :" Ich schaue dann gezielt in dieser Versionsnummer nach den Menü und Untermenüpunkten ."

Ja, in diesem Punkt halluzinieren ChatGPT als auch Claude gerne.
Ich antworte da meist:

"Nicht halluzinieren und sorgfältig arbeiten, Versionsnummer der App=x,y,z (Linux) - deine Fehler rauben mir Ressourcen!"

Die Antwort ist manchmal echt "kriecherisch"
Lässt inzwischen abe nach, kommt jedoch dennoch ab und zu mal... Insofern muss man immer alles prüfen.

Naja ein Fehler ist es eigentlich nicht. Das LLM funktioniert da wie vorgesehen. Der Benutzer mag das halt nicht, dass es so funktioniert, wie es funktioniert. 😉

Ein korrekterer Begriff als „halluzinieren“ wäre „bullshitten“ im Sinne wie ein gewisser Harry Frankfurt den Begriff „Bullshit“ schon 2005 definiert hat. Dem Sprecher ist dabei einfach egal ob es wahr ist oder nicht, womit sich Bullshit von einer bewussten Lüge unterscheidet. Kommt oft bei Schwätzern wie Politikern oder Verkäufern vor. Und eben bei LLMs, die ja auch nicht vorsätzlich Lügen und selbst auch gar keine Ahnung haben ob sie gerade etwas wahres oder etwas unwahres ausgegeben haben. Bezogen auf LLMs gibt es beispielsweise das Paper ChatGPT is bullshit, das da eine Verbindung zu macht.

Halluzinieren ist schon das richtige (deutsche) Wort (ich hasse denglisch bzw. vermeide englische Begriffe, für die es deutsche gibt):

Die KI berechnet statistisch die wahrscheinlichsten nächsten Wörter, anstatt Fakten zu prüfen, und füllt Wissenslücken mit plausibel klingenden Fälschungen.

Die LLM sind doch im Prinzip nix weiter als Wahrscheinlichkeitswetten auf das nächste passende Wort bzw. Satzteil...

Es ist von der Bedeutung her das falsche Wort. Halluzinieren beschreibt ja eine Ausnahmesituation in der das Gehirn was anderes macht als sonst. Ein LLM macht aber immer das gleiche, das funktioniert nicht in einen Moment und ändert dann seine Funktionsweise wenn es ”halluziniert”. Dementsprechend muss das Wort, das beschreibt was ein LLM tut, immer gelten/sinnvoll sein. Und es macht keinen Sinn zu sagen ein LLM ”halluziniert” ständig, auch wenn es wahres ausgibt.

Der Begriff „bullshitten“ passt aber, weil der aussagt, dass geschwätzt wird, ohne in irgendeiner Weise Wert darauf zu legen, oder zu unterscheiden, ob das jetzt wahr oder unwahr ist. Dafür gibt es halt kein deutsches Wort, das ist das englische Fachwort, dass sich dafür bisher durchgesetzt hat. Ich mag Denglisch ja auch nicht und versuche, wo vorhanden, deutschsprachige Worte zu verwenden.

Ich lese, dass wir beide bzgl. der Begrifflichkeiten unterschiedlicher Meinung sind und würde das nicht weiter vertiefen.

Fakt ist, das alles, was eine LLM/KI von sich gibt, sorgfältig geprüft werden muss.
Das Gefährliche an den aktuellen Modellen ist, dass es Leute gibt, die alles, was die Modelle von sich geben, unreflektiert glauben und für wahre Münze nehmen.

Noch gefährlicher wird es, wenn man solche Modelle mit Aktuatoren versieht, die in der realen Welt agieren. Deswegen beunruhigt mich aktuell z.B. der Trend, Fahrzeuge aber auch Waffenträger mit solchen LLMs auszustatten und agieren zu lassen. Da wird eine Halluzination/Bullshit schnell lebensgefährlich.

Der Trent ist (leider) nicht aufzuhalten und die Entwickler der LLM/KI warnen ja nicht aus Jux und Tollerei vor den nächsten Modellen: Diese werden zwar besser, was ihre Fähigkeiten angeht, aber nicht zwingend schlauer... bzw. sie werden unberechenbarer.