ChatGPT ohne OpenAI - ALLE Möglichkeiten
Absolut ALLE, ohne auch nur eine auszulassen 😂 und ohne dass man zur Finanzierung eigene Organe verkaufen muss.
Natürlich nicht, vermutlich kommen, während ich das hier schreibe, noch 10 dazu 🤯. Aber egal, ich wollte mal die, die mir bekannt sind und ich für interessant halte, hier auflisten ✍️. Und ich wette um ein Falafel-Sandwich 🥙, dass hier mindestens eine Möglichkeit dabei sind, die du noch nicht kanntest 🧐. Let's go 💪:
Und falls ihr euch wundert, warum so viele Emojis hier auftauchen, ich habe ein Emoji Enhancer GPT (dann doch mit OpenAI 😂) gebaut, der automatisch Emojis in Text einfügt. Macht irgendwie süchtig. Veröffentliche ich demnächst. Aber zurück zum Thema, ohne weitere Emojis:
Coral von Cohere
ChatGPT Feeling mit Internetzugang und Angabe von Quellen. Erfordert Registrierung, ist aber kostenlos.
LlamaCPP
Llama und andere quantisierte Open Source Modelle lokal laufen lassen mit der Power von C++. Mehr was für die Techies unter uns. Aber gute Performance und extrem viel Kontrolle darüber, was man damit machen kann.
https://github.com/ggerganov/llama.cpp
OLLAMA
Ollama ist eine direkt downloadbare App für Mac und Linux, mit der man fast beliebige Open Source Modelle lokal auf dem eigenen Rechner laufen lassen kann. Das geht auch ohne eine GPU, sofern deine CPU einigermaßen flott unterwegs ist. Ich empfehle es mit einen meiner Lieblingsmodelle zu testen, dolphin-2.2.1-mistral-7b
Petals
GPU Power über Torrent-ähnliches, Peer-to-Peer Netzwerk zur Verfügung stellen und kostenlos nutzen. Diverse Open Source Modelle verfügbar (Falcon, Llama, Beluga...)
RunPod mit TheBlokeLLM One-Click UI and API
Niedrige Kosten, Profi-Performance, fast beliebige Open Source Modelle, WebUI und API in einem?
Bei RunPod in der Secure Cloud eine RTX A6000 ab $0,67/Stunde oder ca. 480 EUR/Monat mieten und das Template von TheBloke installieren. Danach kann man in der WebUI fast jedes Open Source Modell runterladen und laufen lassen. Über die OpenAI-kompatible API lassen sich die Modelle so in echte Anwendungen integrieren.
https://github.com/TheBlokeAI/dockerLLM
vLLM, lokaler drop-in replacement für OpenAI mit Open Source Modelle
Führt lokal Open Source Modelle aus und bietet auch eine OpenAI-kompatible API an, so dass man, wenn das OSS LLM passt, eigene AI Programme, die für gpt-4, gpt-3.5-turbo usw, geschrieben wurden, ohne Änderung (ausser dass man den API key auf "NULL" setzen kann) laufen lassen kann.
WebLLM, LLM im Browser
Open Source Modelle direkt im Browser ausführen? Warum nicht. Wenn dein Browser auf deine GPU WebGPU fähig ist. Kann leicht in Abnerderei ausarten, um es ans Laufen zu kriegen. ChatGPT-ähnliche Demo auf der Seite
WebML, Xenova's Collections
Diverse LLM Anwendungen, laufen direkt im Browser, powered by Huggingface Transformers.js.
https://huggingface.co/collections/Xenova/transformersjs-demos-64f9c4f49c099d93dbc611df
Wenn euch was davon besonders interessiert kann ich gerne ein Deep-Dive machen. Ansonsten:
Bucht gerne eine erste kostenlose KI Beratung mit mir: https://calendly.com/marcelo_emmerich/kostenlose-ki-beratung
oder kommt zu unserem KI Readyness Online Event:
https://www.linkedin.com/events/live-online-kireadinessoderwieb7127336040545038337/theater/
