LLMs werden nicht sehr häufig neu trainiert, wodurch die Datensätze schnell veralten. RAG erlaubt dem LLM im Internet nach aktuellen Daten zu suchen, die für die Anfrage des Nutzers relevant sind.
Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein KI-Modell externe, aktuelle Informationen abruft und diese als Kontext nutzt, um präzisere und zeitlich aktuellere Antworten zu generieren. Soweit die Kurz-Definition.
RAG wurde entwickelt, um zumindest teilweise das Problem der enormen Zeit- und Rechenkosten beim Training von LLMs zu adressieren. LLMs werden nicht sehr häufig neu trainiert, wodurch die Datensätze schnell veralten. Sie erinnern sich wahrscheinlich daran, wie ChatGPT früher mit „Stand meines Wissens zum …“ die Textausgabe begann, bevor es eine völlig falsche Antwort gab.
RAG erlaubt dem LLM im Grunde, im Internet nach aktuellen Daten passend zur Anfrage des Nutzers zu suchen, sodass es die neuesten Informationen abrufen kann. Das LLM kann dann seine Trainingsdaten nutzen, um die über RAG abgerufenen Informationen zusammenzufassen. Im Wesentlichen kombiniert dieses Verfahren ein LLM und eine Suchmaschine zu einem einzigen Produkt.
Wo ist das Problem? Nun, es ist im Grunde glorifizierter Plagiarismus. Man könnte argumentieren, dass LLMs im Allgemeinen eher „Plagiat-als-Service“ sind, doch ist RAG deutlich näher an tatsächlichem Plagiarismus dran als das typische Verhalten von LLMs. Wie ich bereits ausgeführt habe, denken oder schlussfolgern LLMs nicht. Daher nutzt RAG im Kern nur die natürlichen Sprachfähigkeiten der LLMs, um einen Nachrichtenartikel, einen Blogbeitrag oder ein Forschungspapier zusammenzufassen oder umzuformulieren. Das beraubt den ursprünglichen Autor von Einnahmen und Webseiten-Traffic und bedroht dessen Existenz. Das Originalwerk wird auch nicht in irgendeiner sinnvollen Weise transformiert oder gar weiterentwickelt.
Da RAG weiterhin nur eine Schicht ist, die über der Kern-LLM-Technologie liegt, bleibt es anfällig für Halluzinationen. Die Technik hat außerdem Probleme, wenn es zu wenige Quellen gibt oder wenn das „Verstehen“ der Informationen zusätzlichen Kontext erfordern würde, der nicht in den Trainingsdaten des LLMs vorhanden ist. Ein weiteres großes Problem ist, dass das LLM nicht weiß, wann es RAG einsetzen soll. Es hat Schwierigkeiten, veraltete Informationen zu erkennen, weil nicht alle Suchergebnisse ein Veröffentlichungsdatum haben.
Fazit
RAG als Erweiterung der ursprünglichen LLM-Fähigkeiten hebt KI-Modelle nicht über ihre funktionsbedingten Grenzen hinweg. Viel schlimmer noch ist, dass die meisten Nutzer dadurch das Internet nicht mehr selbst nach Informationen durchsuchen wie früher, sondern sich auf die Antwort des LLMs verlassen. Es senkt die Recherche-Fähigkeiten eines jeden Menschen und trägt weiter zur allgemeinen Verblödung durch Technik bei.
