![\"\"](\"https:\/\/www.appmanufacture.ch\/wp-content\/uploads\/some-halluzinating-768x905.png\")
\nNach intensiven Bem\u00fchungen, Feldtest-Erfahrungen und Feedbacks k\u00f6nnen wir nicht l\u00e4nger wegschauen: ChatGPT-4o halluziniert \u00f6fter als sein Vorg\u00e4nger<\/strong>. Aus diesem Grund haben wir entschieden, bei unseren Produkten wieder das \u00e4ltere GPT-4 als Standardmodel einzusetzen. Dieses schneidet unter den gleichen Rahmenbedingungen besser ab.<\/p>\n <\/p>\n Aber was kann man eigentlich gegen Halluzination bei KI Sprachmodellen<\/strong> tun?<\/p>\n <\/p>\n Tats\u00e4chlich gibt es verschiedene Einflussfaktoren und Stellschr\u00e4ubchen, an denen man drehen kann:<\/p>\n <\/p>\n Sprachmodelle unterschieden sich bez\u00fcglich Kosten, Antwortgeschwindigkeit und der Menge der Trainingsdaten. F\u00fcr uns ist die Halluzinations-Rate aber die wichtigste Eigenschaft, gerade bei Informations-Assistenten, welche sich an die \u00d6ffentlichkeit richten. Einen Modellvergleich kannst Du beispielsweise bei Huggingface<\/a> abrufen. Die oben gezeigten Daten stammen aus dem Leaderboard von Vectara<\/a>.<\/p>\n <\/p>\n Die zugrundeliegenden Daten sind immer ein Knackpunkt beim Einsatz von KI. Im einfachsten Fall l\u00e4sst Du das Sprachmodell einfach auf seine Trainingsdaten zur\u00fcckgreifen. Dann hast Du allerdings keinen Einfluss auf Umfang, Korrektheit, Aktualit\u00e4t oder Bias des Datenkontextes, welcher als Basis f\u00fcr die Antwort des LLMs dient. Wieviel zus\u00e4tzlichen Kontext du mit deiner Frage \u00fcbermitteln kannst, ist durch das sogenannte \u00abContext Window\u00bb begrenzt. Aus diesem Fall setzen wir mit Runa Flow<\/a> auf eine sogenannte Retrieval Augmented Generation Pipeline (RAG)<\/a>. Damit k\u00f6nnen wir auf einen praktisch beliebig grossen eigenen Datensatz zur\u00fcckgreifen und diesen anhand von Metaeigenschaften und \u00c4hnlichkeiten filtern und gewichten, um am Ende nur den bestm\u00f6glich passenden Kontext an das Sprachmodell zu \u00fcbermitteln.<\/p>\n <\/p>\n Der \u00abPrompt\u00bb, also die eingegebene Frage, hat einen wesentlichen Einfluss darauf, wie stark ein Model halluziniert. Je nach Anweisung h\u00e4lt sich das Modell sehr genau an den mitgelieferten Kontext oder verweigert die Antwort komplett, wenn der Datenkontext nicht eindeutig passt oder widerspr\u00fcchlich ist. Je homogener der Datenkontext ist, desto einfach ist es, einen guten Prompt zu erstellen. Es kann auch vorkommen, dass ein bisher gut funktionierender Prompt nach dem Wechsel auf eine andere LLM Version erneut optimiert werden muss. Einflussfaktoren sind auch die angewiesene \u00abRolle\u00bb und \u00abTemperatur\u00bb f\u00fcr die Antwortgenerierung.<\/p>\n <\/p>\n Wer die neuste ChatGPT-4o Version bereits ausprobiert hat weiss: Die Geschwindigkeit ist massiv verbessert worden. Gerade bei l\u00e4ngeren Antworten f\u00e4llt dies ins Gewicht. Zugegeben, hier gibt es derzeit keine ebenb\u00fcrtige L\u00f6sung. Was wir dank unserer oben erw\u00e4hnten RAG Pipeline tun k\u00f6nnen: Den Zusatzkontext bestm\u00f6glich vorselektieren. Dadurch verbessert sich auch die Antwortgeschwindigkeit merklich.<\/p>\n <\/p>\n Ich hoffe, dieser kleine Einblick unserer T\u00e4tigkeiten und Herausforderungen bei App Manufacture hilft auch euch ein kleines St\u00fcckchen weiter.<\/p>\n Welche Erfahrungen und Inputs habt ihr mit GPT-4o gesammelt? Und wie geht ihr mit R\u00fcckschritten um?<\/p>\n Lass es uns gerne wissen \ud83d\udcac<\/p>\n Kommen Sie auf einenDas richtige LLM ausw\u00e4hlen<\/h3>\n
Den richtigen Kontext bereitstellen<\/h3>\n
Prompt Engineering<\/h3>\n
Was ist mit der Geschwindigkeit?<\/h3>\n
<\/h2>\n
Interesse geweckt?<\/h2>\n
\nKaffee vorbei!<\/p>\n