Ein erster Überblick
Mit KI, in meinem Fall Large Language Model/ LLM, kann man Projekte beginnen von denen man eigentlich nichts versteht. Eine KI/ LLM kann man wie einen Assistenten um Rat zu allen Fragen bitten. Dabei muss man aber beachten, dass eine KI auch Fehler machen kann. Deshalb funktionieren Projekte auch nicht immer auf Anhieb, aber man kann Fehlermeldungen in einen Chat eingeben und die KI findet dann mit der Zeit auch die richtige Lösung.
D.h. dass man beim Recherchieren mit KI/LLM nicht unbedingt immer die richtigen Antworten bekommt. Im Laufe meiner Arbeit mit LLM habe ich die Erfahrung gemacht, dass die Zuverlässigkeit i.d.R. mit steigender Parameterzahl zunimmt. D.h. je mehr Parameter einem KI Training zugrunde liegen, desto besser sind die Antworten. Aber auch Modelle mit wenig Parameter können viel und lange reden; das muss man aber immer auch kontrollieren.
Die Antworten die man bekommt, sind aber allemal besser als die Informationen aus den Social Media Plattformen, mit ihren alternativen Wahrheiten aus den zahlreichen Informationsblasen.
Wen man in ein LLM eigene Inhalte implementieren will, macht ein sogenanntes Fine Tuning für den privaten Gebrauch keinen Sinn, hier experimentiere ich mit RAG (Retrieval Augmented Gereration), d.h. die Einbindung von Wissensdatenbanken bei der Benutzung von LLM.
Ich arbeite hier sehr gerne mit Open WebUI mit integriertem Ollama, wo LLM heruntergeladen werden können und lokal benutzt werden können; auch mit RAG Funktion.
Und genau hier habe ich mit meinem KI Projekt begonnen und mir von ChatGPT erklären lassen, wie man Open WebUI mittels Docker auf einem Server zum Laufen bringt (Strato mit 32 GB RAM und ohne GPU), und auf einem Linux PC mit einer Nvidia Grafikkarte mit Cuda Treiber.