Warum gerade Firmen zu Dalai LLama und Alpaca konvertieren sollten

Moderator: MVogt

Post Reply
User avatar
Theo_Gottwald
Posts: 367
Joined: 03. Oct 2009, 08:57
Location: Herrenstr.11 * 76706 Dettenheim
Contact:

Warum gerade Firmen zu Dalai LLama und Alpaca konvertieren sollten

Post by Theo_Gottwald » 28. Mar 2023, 10:09

Das Internet hat die Arbeitswelt verändert. Plötzlich konnte man Vieles einfach im Internet nachsehen.
Seine Arbeit musste man aber noch selber machen.
Das ändert sich nun rapide. Plötzlich - mit ChatGPT und !BING übernimmt das Internet auch das
Schreiben von Briefen und das Erstellen von Tabellen.

Aber es gibt ein paar Nachteile bei den ONLINE AI's.

1. Erst Mal sind dies AI's nicht nur dazu da um dem Anwender Informationen zu geben,
sondern genauso sammeln sie alles was der Anwender eingibt. Um damit trainiert zu werden.
Und wer weiss wer da noch Zugriff darauf haben könnte.

Es ist also kein Geheimnis dass man Geheimnisse da nicht eingeben sollte.

2. Diese AI's sind politisch und sozial weich gespült.
Viele kontroverse Themen dürfen Sie nicht sagen oder darüber Auskunft geben.


Gibt es dafür eine Lösung?

Diese Lösung könnte ja nur sein, wenn man so zusagen die "Intelligenz" von GPT 3
"lokal" bei sich auf dem Computer installieren könnte.

Und nun hat die Stanford University genau das ermöglicht. Mit Dalai LLama und ALPACA

Dadurch dass die AI nicht weichgespült worden ist, kann die Datenbasis -also da Modell - weitaus kleiner ausfallen.
Als bei den öffentlichen Modellen. Wo hinter jeder Auskunft noch mal ein Zensor stehen muss "ob man das sagen darf".
Eine Formel die einfach nur eine Ergebnis liefern muss ist nun Mal viel effizienter als eine, wo hinter jedem Faktor
nochmal ein Polit-Kommissar stehen muß.

Und so passt "Dalai LLama" und "ALPACA" tatsächlich sogar auf einen normalen PC.
Ein Anwender hat das Teil sogar auf einen Raspberry Pie installiert (da macht es aber keine Spass auf die Antwort zu warten).

Die Installation ist ziemlich einfach - aber ein paar Gigabyte belegt das Teil je nach Modell schon.
Trotzdem sollte es for Firmen interessant sein, weil es natürlich ermöglicht,
seine Firmendaten "Im Haus" zu behalten.

In Kurzform geht die Installation so, dass man einfach Node.js installiert, und dann in einer Commandline eingibt "npx dalai llama install 65B".

Und dann heisst es abwarten bis die Daten heruntergeladen sind.
Den ganzen Prozess gibts hier.

Post Reply

Return to “Package Robot”

Who is online

Users browsing this forum: No registered users and 2 guests