AI-körning och modellserver · Webbgränssnitt och server för lokala modeller
Webbgränssnitt och lokal server för att ladda och köra språkmodeller med flera motorer, rollspel, dokumentfrågor och OpenAI-kompatibelt API.
Betyg 69 av 100 Preliminär (källbaserad)
Läs bedömningenVerifierat i README och wiki: OpenAI/Anthropic-kompatibla endpoints (Chat, Completions, Messages) med tool-calling, menade som lokal drop-in-ersättning; källkod i modules/api/ i trädet.
Kontrollerat:
Verifierat i wiki-guiden: appen kan ansluta till externa MCP-servrar (HTTP och stdio) och använda deras verktyg tillsammans med lokala. Piper som MCP-server eller inbyggd MCP-server i appen är inte belagt.
Kontrollerat:
Totalbetyg
69 av 100
Preliminär (källbaserad)
AGPL-3.0 verifierad i repots LICENSE (full GNU AGPL-text, 34 523 tecken). OSI-godkänd copyleftlicens; ingen open-core, ingen låst kärna. Frihet att läsa, ändra, återdistribuera och drifta själv är fullständig, med den vanliga AGPL-nätverksklausulen som enda villkor.
Täcker användningsfallet väl enligt README: flera backends i samma gränssnitt, chatt/rollspel/instruktion/dokumentfrågor, OpenAI/Anthropic-kompatibelt API och tilläggssystem. Känd lucka: gränssnittet beskrivs som experimentellt och ändrar sig mellan versioner (katalogpost), vilket kräver viss omvanning.
Modeller i öppna filformat (GGUF/safetensors) kan flyttas fritt mellan motorer och verktyg, och API:et gör förfrågningsdata åtkomlig. Men export av användardata (chatt-/rollspelshistorik, inställningar) är inte verifierad i dokumentationen; inget dokumenterat exportformat hittades i repot eller wikin.
Funnit sedan 2022 (katalogpost) med regelbundna utgåvor (v4.7.3–v4.9 i releases.atom, maj 2026), men takten är avtagande: senaste release 2026-05-20 och senaste commit 2026-08-17 (commits.atom). Dokumentation via GitHub-wiki, grundlig men fragmenterad; ingen oberoende bekräftelse av säkerhetsrutiner.
Inbyggt OpenAI/Anthropic-kompatibelt API med tool-calling (README + modules/api/ i trädet), inbyggd MCP-klient (både HTTP- och stdio-servrar, verifierat i wiki-guiden Tool-Calling-Tutorial) och tilläggssystem för egna verktyg. Men dokumentationen är wiki-baserad, inga webhooks/SDK och utvecklingstakten är låg — därför inte 4.
Installationen är tyngre än hos nyare alternativ (katalogpost): flera backend-beroenden, val mellan GPU/CPU-varianter och tillägg som kräver extra paket. Hanterbart men kräver teknisk kompetens; driftbilden försvåras av att gränssnittet ändras mellan versioner.
Licenskostnad 0 och inga betalda nivåer; TCO består av GPU-hårdvara (rekommenderad för rimliga svarstider), eget arbete för installation/underhåll och eventuell AGPL-efterlevnad vid tjänsteleverans. Ingen transparent totalkostnad kan anges; hårdvaru- och arbetskostnad kräver egen beräkning.
Negativ kontroll: repots kompletta filträd via GitHub trees-API (358 filer, recursive=1, hämtat 2026-10-28) innehåller ingen locales-/i18n-katalog — endast language.json för TTS-tilläggen (coqui_tts, silero_tts), som är röstspråk och inte gränssnittslokalisering. Dokumentation (GitHub-wiki) är uttryckligen engelska.
text-generation-webui, numera även kallat Text Generation WebUI, är ett av de äldsta och mest använda gränssnitten för att köra språkmodeller på egen hårdvara. Det laddar modeller i flera olika motorer, från llama.cpp för CPU och blandad körning till Transformers och ExLlama för GPU, och ger ett webbgränssnitt med chatt, rollspelsläge, instruktionsläge och dokumentfrågor.
Programmet startar en lokal server med OpenAI-kompatibelt API och ett tilläggssystem. Det är skrivet i Python och licensieras under AGPL-3.0. Utvecklingen är aktiv men långsammare än hos nyare konkurrenter, och gränssnittet bär spår av att ha vuxit fram experimentellt.
6 skärmbilder. Välj en bild för att visa den i full storlek. Svep i sidled för fler.
AI-körning och modellserver · Inferensmotor för stora språkmodeller (lokal körning)
llama.cpp är en MIT-licensierad inferensmotor för kvantiserade språkmodeller i GGUF-format som kör på CPU och GPU, med kommandoradsverktyg och en OpenAI-kompatibel server.
Ollama är ett verktyg för att hämta och köra öppna språkmodeller lokalt eller i egen molnmiljö: CLI, lokal HTTP-API och ett modellbibliotek med pull-by-name. Koden licensieras MIT.
