Programvara

381 program37 kategorier

Kategori

8 program

Sortera

vLLM

Inferens- och serveringsmotor för stora språkmodeller

vLLM är en inferensmotor som serverar stora språkmodeller på egen hårdvara med hög genomströmning, känd för PagedAttention och kontinuerlig batching, med OpenAI-kompatibelt API under Apache-2.0.

Öppen källkodCC++Python
Startår
2023
API
REST API
MCP
MCP-klient, Officiellt tillägg

Betyg

88

Preliminärt

Projektdata

96 291GitHub-stjärnor
9 290 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2023
Licens
Apache License 2.0Öppen källkod (OSI-godkänd licens) · Verifierad i repots LICENSE (github.com/vllm-project/vllm/blob/main/LICENSE); källfilerna har SPDX-huvuden med Apache-2.0. · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · containers
API
REST API Verifierat
MCP
MCP-klient, Officiellt tillägg
Export
Ej tillämpligt Inferens- och serveringsmotor; något dataexportbegrepp finns inte. Modellvikter kan dock laddas ner och serveras. Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: Apache-2.0 (OSI), Linux Foundation-styrning, full frihet — ingen låsning.
Funktionell passform Gäller: Högpresterande serving med PagedAttention, kontinuerlig batchning och OpenAI-API är projektets exakta kärna.
Dataflytt och interoperabilitet Gäller: OpenAI-kompatibelt API och HF-modellformat ger byte av server; hårdvarustödet är dock klart mest moget på CUDA.
Mognad och trygghet Gäller: Produktionsdeployad sedan 2023 och foundation-stöttad de facto-standard; etablerat men inte med den långa historik som ankare 5 kräver.
Framtidskraft Gäller: OpenAI-kompatibla endpoints, strukturerad utmatning, kvantisering och distribuerad orkestrering — förstklassig agentberedskap.
Drift och införande Gäller: Väldokumenterad (pip/Docker) men krävande drift: GPU-servrar, drivers, KV-cache-dimensionering — högre kompetenskrav.
Kostnadsbild Gäller: Fri mjukvara; TCO domineras av GPU-hårdvara (kategoriinnevärd), men högt genomflöde ger god kostnadseffektivitet.
Svensk användbarhet Gäller: Språkneutral — svensk förmåga följer den servade modellen; inga svenskspecifika funktioner.

Kostnad: .

Faktakontrollerad

SGLang

Serveringsramverk för språkmodeller

Serveringsramverk för språkmodeller och multimodala modeller med återanvändning av prefix, strukturerad utdata och hög genomströmning.

Öppen källkodPython
Startår
2024
API
REST API
MCP
MCP-klient, Officiellt tillägg

Betyg

74

Preliminärt

Projektdata

38 449GitHub-stjärnor
8 552 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2024
Licens
Apache License 2.0Öppen källkod (OSI-godkänd licens) · Standardtext för Apache 2.0 i LICENSE-filen. · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · containers
API
REST API Uppgivet
MCP
MCP-klient, Officiellt tillägg
Export
Ej verifierat Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: Apache License 2.0 verifierad i repots LICENSE (raw.githubusercontent.com/sgl-project/sglang/HEAD/LICENSE, standardtext). OSI-godkänd, ingen open-core-struktur i trädet och ingen licensbunden leverantörskoppling; projektet kan driftas helt själv och API:et följer en öppen de facto-standard (OpenAI-kompatibel).
Funktionell passform Gäller: Täcker serveringsfallet väl enligt README och katalogposten: prefix-caching, strukturerad utdata, stöd för NVIDIA/AMD/TPU/NPU och OpenAI-kompatibelt API. Kända luckor: inget administrationsgränssnitt (konfiguration via CLI/Python) och inget värde utan GPU-kapacitet, vilket kräver omkringliggande komponenter för slutanvändarfall.
Dataflytt och interoperabilitet Gäller: Interoperabilitet via öppna API:er (OpenAI-, Anthropic- och Ollama-kompatibla endpoints samt native API enligt docs/docs/basic_usage i repot) och modellvikter i öppna format (safetensors/GGUF) gör dataflytt av förfrågningar och modeller lätt. Men begreppet dataexport är ej tillämpligt för en inferensserver; loggar/konversationhistorik i gateway-komponenter är inte verifierad som exporterbar. Dömt 3: bra gränssnittsinteroperabilitet, ingen ytterligare export dokumenterad.
Mognad och trygghet Gäller: Startår 2024 (katalogpost) men mycket aktiv förvaltning: releases v0.5.20/21/22 med updated-datum 2026-10-02 till 2026-10-15 i releases.atom, omfattande dokumentation (docs.sglang.io + cookbook.sglang.io), CI och stor community. Bedömt mot projektets egna källor; ingen oberoende bekräftelse av säkerhetsrutiner.
Framtidskraft Gäller: Väldokumenterat REST-API (openai_api.mdx, native_api.mdx, anthropic_api.mdx, ollama_api.mdx i docs-trädet), Python offline engine-API för inbäddning och agentytta (README: 'optimized for agentic workloads'), och MCP-klientintegration i SGLang Model Gateway enligt officiell dokumentation. Nivå 5 kräver dokumenterad praktisk anpassningsförmåga bortom API-förekomst, vilket inte belagts.
Drift och införande Gäller: Hög driftbörda: kräver GPU-kapacitet och kompetens (CUDA/ROCm), kapacitetsplanering för minne/genomströmning och container-/drivrutinsdrift enligt README och katalogposten ('Kräver GPU-kompetens och kapacitetsplanering'). Hanterbart för en IT-avdelning men kräver specialistkompetens; inget administrationsgränssnitt.
Kostnadsbild Gäller: Licenskostnad 0 (Apache-2.0, self-host). Men TCO domineras av GPU-hårdvara (serverklass GPU, elkostnad, kylning), driftkompetens och kontinuerlig uppgraderingstakt (flera releaser/månad). Antagande: egen GPU-server med minst en datacenter-GPU; kostnaden för den kan bara beräknas av organisationen själv, därför 2 och inte högre.
Svensk användbarhet Gäller: Negativ kontroll: repots kompletta filträd via GitHub trees-API (11 555 filer, recursive=1, hämtat 2026-10-28) innehåller ingen locales-/i18n-katalog och ingen sv-fil; dokumentationen på docs.sglang.io är engelska. SGLang är ett driftverktyg (inte en AI-modell), så språkförmågan ligger i de serverade modellerna och kan inte räknas som svensk användbarhet hos produkten.

Kostnad: .

Faktakontrollerad

llama.cpp

Inferensmotor för stora språkmodeller (lokal körning)

llama.cpp är en MIT-licensierad inferensmotor för kvantiserade språkmodeller i GGUF-format som kör på CPU och GPU, med kommandoradsverktyg och en OpenAI-kompatibel server.

Öppen källkodCC++Python
Startår
2023
API
Finns
MCP
MCP-klient, Officiellt tillägg

Betyg

91

Preliminärt

Projektdata

133 338GitHub-stjärnor
2 006 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2023
Licens
MITÖppen källkod (OSI-godkänd licens) · Verifierad i repots LICENSE (github.com/ggml-org/llama.cpp/blob/master/LICENSE). · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · macOS · Windows · Android
API
Finns Verifierat
MCP
MCP-klient, Officiellt tillägg
Export
Ej tillämpligt Inferensmotor; inget dataexportbegrepp. Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: Ren MIT (OSI), full frihet att läsa/ändra/återdistribuera; ingen kommersiell låsning.
Funktionell passform Gäller: GGUF-referensimplementationen täcker effektiv kvantiserad inferens utan luckor, inkl. kvantiseringsverktyg.
Dataflytt och interoperabilitet Gäller: GGUF är branschens öppna de facto-standard, delbar mellan runtimes; backends för CPU/CUDA/Metal/Vulkan/ROCm.
Mognad och trygghet Gäller: Aktivt sedan 2023 med tusentals bidragsgivare och djupt inbäddat i ekosystemet; etablerat men inte med den långa historik som ankare 5 kräver.
Framtidskraft Gäller: llama-server ger OpenAI-kompatibelt API med verktygsanrop; CLI-först men agentramverk integrerar via API.
Drift och införande Gäller: Färdiga binärer för de flesta plattformar; normalfallet är nedladdad binär + GGUF-fil.
Kostnadsbild Gäller: MIT, gratis, körs även på CPU — transparent och väl avvägd TCO via kvantisering.
Svensk användbarhet Gäller: Språkneutral runtime — svensk förmåga följer modellen; inga svenskspecifika funktioner.

Kostnad: .

Faktakontrollerad

LocalAI

LocalAI är en öppen AI-runtime som kör språkmodeller, tal, bild och video på er egen hårdvara, även utan GPU. Den exponerar ett dropin-API som är kompatibelt med OpenAI:s gränssnitt och talar även Anthropic-, Ollama- och ElevenLabs-format.

Öppen källkodGo
Startår
2023
API
REST API
MCP
Både klient och server, Inbyggt

Betyg

81

Preliminärt

Projektdata

50 194GitHub-stjärnor
1 451 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2023
Licens
MIT LicenseÖppen källkod (OSI-godkänd licens) · Verifierad i repots LICENSE. · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · macOS · Windows
API
REST API Verifierat
MCP
Både klient och server, Inbyggt
Export
Ej verifierat Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: MIT-licens verifierad i repots LICENSE; permissiv licens utan copyleft-krav.
Funktionell passform Gäller: Fyller behovet av lokal LLM-inferens med OpenAI-kompatibelt API och CPU-stöd, men prestandan på CPU begränsar modellstorlek och latens i krävande arbetslaster.
Dataflytt och interoperabilitet Gäller: Enskild binär/container på Linux, macOS och Windows; modellvikter laddas vid körning och GPU är valfritt, vilket ger mycket flexibel drift.
Mognad och trygghet Gäller: Projektet startade 2023 i ett snabbt rörligt teknikfält; dokumenterat API och aktiv utveckling finns men långsiktig stabilitet är oviss.
Framtidskraft Gäller: Drop-in-kompatibilitet med OpenAI-API:er gör den lätt att adoptera, och MIT-licensen plus aktiv utveckling ger god framåtkraft.
Drift och införande Gäller: Modellhantering (vikter, kvantisering) och prestandajustering ligger på driftorganisationen, vilket kräver egen kompetens.
Kostnadsbild Gäller: MIT-licens utan kostnad och CPU-drift utan GPU-krav sänker inträdespriset; krav på högre genomströmning driver dock hårdvarukostnad.
Svensk användbarhet Gäller: Inga belägg i de granskade källorna för svensk lokalisering; okänt.

Kostnad: .

Faktakontrollerad

Ollama

Ollama är ett verktyg för att hämta och köra öppna språkmodeller lokalt eller i egen molnmiljö: CLI, lokal HTTP-API och ett modellbibliotek med pull-by-name. Koden licensieras MIT.

Öppen källkodCGo
Startår
2023
API
REST API
MCP
MCP-server, Tredjepart

Betyg

90

Preliminärt

Projektdata

185 881GitHub-stjärnor
338 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2023
Licens
MITÖppen källkod (OSI-godkänd licens) · Licensmodeller
Öppen källkod
Ja
Plattformar
Skrivbord
API
REST API Verifierat
MCP
MCP-server, Tredjepart
Export
Ej verifierat Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: MIT (OSI), full frihet; molntjänsten är ett valfritt tillägg, inget driftkrav.
Funktionell passform Gäller: Lokal CLI-inferens av öppna-vikts-modeller är projektets exakta kärna; täcks utan konfigurationskrav.
Dataflytt och interoperabilitet Gäller: Bygger på öppna GGUF-filer och OpenAI-kompatibelt API; eget Modelfile-lager kan kräva omskrivning vid byte av runtime.
Mognad och trygghet Gäller: Aktivt sedan 2023 med mycket frekventa releaser och bred användarbas, men yngre och snabbare förändringstakt.
Framtidskraft Gäller: Förstklassigt HTTP-API, Docker-stöd och många integrationer; viss styrning mot molntjänsten, men all lokal automatisering går via API.
Drift och införande Gäller: En binär, inga beroenden, väldokumenterad; hårdvarukrav är kategoriinnevärda och driftarbetet minimalt.
Kostnadsbild Gäller: MIT, gratis; hårdvara är kategoriinnevärd och kvantisering håller TCO nere.
Svensk användbarhet Gäller: Språkneutral runtime — svensk språkförmåga följer den laddade modellen; inga svenskspecifika funktioner.

Kostnad: .

Faktakontrollerad

llamafile

Lokal körning utan installation

En enda körbar fil som startar en språkmodell med webbgränssnitt och OpenAI-kompatibelt API, utan installation, på Linux, macOS och Windows.

Öppen källkodC++
Startår
2023
API
REST API
MCP
MCP-klient, Inbyggt

Betyg

82

Preliminärt

Projektdata

26 559GitHub-stjärnor
12 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2023
Licens
Apache-2.0Öppen källkod (OSI-godkänd licens) · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · Windows · macOS
API
REST API Ej verifierat
MCP
MCP-klient, Inbyggt
Export
Ej verifierat Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: Apache-2.0 enligt LICENSE (Copyright 2023 Mozilla Foundation, verifierad 2026-10-30); README anger att ändringarna i llama.cpp och whisper.cpp är MIT. Ingen serverdrift eller molnbindning krävs och modellerna är GGUF i öppet format. Inbäddade tredjepartskomponenter (mbedtls, sqlite, stb, zipalign, double-conversion under third_party/) har egna licenser — dokumenterat i repot men inte auditerat av mig, därför medium.
Funktionell passform Gäller: En enda körbar fil startar modellen med webbserver på 8080, OpenAI-kompatibelt /v1-API och Anthropic-kompatibelt Messages-API (docs quickstart). whisperfile ger transkribering och agentfile agentkörning med samma paketering. Luckor: Windows kan bara köra filer under 4 GB, 0.10-serien saknar funktioner från 0.9, och det finns ingen central modell- eller användarhantering.
Dataflytt och interoperabilitet Gäller: Modellerna är GGUF och kan bytas mot vilken GGUF-fil som helst; API:t följer OpenAI- och Anthropic-format, vilket gör klienter flyttbara mellan llamafile och andra servrar. Ingen persistent lagring av samtal eller konfiguration — det finns därför inget att exportera, men inte heller någon inlåsning.
Mognad och trygghet Gäller: Mozilla.ai-projekt med dokumentationssite (docs.mozilla.ai/llamafile) och regelbundna utgåvor: releases.atom visar v0.10.6 (2026-09-15), v0.10.5 (2026-08-03), v0.10.4, v0.10.3, v0.10.2 och v0.10.0 från mars–september 2026. Kvarstående osäkerhet: 0.10-serien är pre-1.0, bytte byggsystem och saknar funktioner från 0.9; ingen uttalad säkerhetspolicy hittad.
Framtidskraft Gäller: Dokumenterat API med OpenAI- och Anthropic-kompatibla endpoints och autentisering via --api-key/--api-key-file. Inbyggda verktyg aktiveras med --tools och --agent ger en MCP-proxy (docs/using-llamafile/built-in-tools.md), men både verktygen och /tools-endpointen är uttryckligen experimentella och avsedda för den inbyggda webbinterfacet — därför inte 5.
Drift och införande Gäller: Ingen installation: hämta filen, chmod +x (eller döp om till .exe på Windows) och kör; ingen container, databas eller beroenden. Löpande drift är manuell — varje fil bär sin egen llama.cpp-version och det finns ingen central modellhantering eller uppdateringsrutin, vilket håller nivån under 5.
Kostnadsbild Gäller: 0 kr i licens och ingen infrastruktur att drifta. TCO-antaganden: befintlig dator med tillräckligt RAM för modellens storlek, disk för GGUF-filerna och arbetstid för att hålla reda på vilken llama.cpp-version varje fil bygger på. Ingen betald support finns.
Svensk användbarhet Gäller: Negativ kontroll utförd: docs.mozilla.ai/llamafile renderas med <html lang="en">, saknar hreflang-alternativ och sitemap innehåller ingen /sv/-sökväg; repot har ingen locales- eller i18n-katalog (rotlistan visar docs/, models/, scripts/, tests/ m.fl.). Dokumentation och webbgränssnitt är engelskspråkiga.

Kostnad: 0 kr. Ingen licenskostnad. Kostnaden är maskinens minne och disk för modellvikterna, samt tid för att hålla reda på vilken llama.cpp-version varje fil bygger på

Faktakontrollerad

Text Embeddings Inference

Embeddings och omrankning

Serveringsmotor för embeddings, omrankning och klassificering över HTTP och gRPC – ingen textgenerering eller chatt.

Öppen källkodRust
Startår
2023
API
REST API · RPC

Betyg

83

Preliminärt

Projektdata

5 102GitHub-stjärnor
7 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2023
Licens
Apache-2.0Öppen källkod (OSI-godkänd licens) · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · macOS
API
REST API · RPC Ej verifierat
MCP
Saknas
Export
Ej verifierat Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: Apache-2.0 verifierat i repots LICENSE-fil ('Apache License, Version 2.0, January 2004'), en OSI-godkänd licens utan open-core-uppdelning: repo-trädet (340 filer) har ingen ee/-katalog och hela servern — Rust-router, protobuf-definition, Dockerfile-varianter och dokumentation — ligger öppet. Friheten att läsa, ändra och återdistribuera är dokumenterad och oinskränkt, och drift är helt fri: egen container, egen kompilering från källkod eller Homebrew-binär, ingen kontakt med Hugging Face krävs vid körning eftersom modellvikter kan monteras som volym (README:s avsnitt 'Air gapped deployment'). Formaten är öppna standarder: safetensors och ONNX för vikter, JSON över HTTP, protobuf över gRPC. Det enda förbehållet är att de modeller man serverar har egna licenser (t.ex. är embeddinggemma-300m gated), men det gäller modellvikterna, inte produkten. Nivå 5 är därför entydigt uppfyllt.
Funktionell passform Gäller: Användningsfallet täcks väl: README beskriver servering av embeddings- och sekvensklassificeringsmodeller med endpoints /embed, /rerank, /predict och /embed_sparse, tokenbaserad dynamisk batchning, ingen kompileringsfas för modellgrafen, små images med snabb starttid samt produktionsfunktioner som Prometheus-metrics och distribuerad spårning via OpenTelemetry. Modellstödet är brett och namngivet: BERT, CamemBERT, XLM-RoBERTa, Nomic, JinaBERT, Mistral, Alibaba GTE, Qwen2, Qwen3, MPNet, ModernBERT och Gemma3, inklusive flerspråkiga modeller som intfloat/multilingual-e5-large-instruct. Luckorna är kända och delvis avsiktliga: modellstöd begränsat till de arkitekturer som listas (andra embeddingsmodeller kan inte laddas), ingen textgenerering eller chatt, ingen agentfunktion, inget grafiskt gränssnitt. Eftersom användningsfallet är en byggsten under sök/RAG och inte en komplett app är luckorna mindre allvarliga, men arkitekturbegränsningen är en verklig lucka som kräver att man väljer modell efter TEI snarare än tvärtom — därför 4, inte 5.
Dataflytt och interoperabilitet Gäller: Gränssnittet är fullständigt och maskinläsbart dokumenterat: docs/openapi.json i repot är en OpenAPI 3.0.3-specifikation märkt version 1.9.4 som listar /embed, /embed_all, /embed_sparse, /rerank, /predict, /similarity, /decode, /tokenize, /info, /health, /metrics och /v1/embeddings, och samma schema serveras på instansens /docs och publiceras på huggingface.github.io/text-embeddings-inference. Därtill finns ett publicerat gRPC-API med protobuf-definition i proto/tei.proto och images med -grpc-tagg. In- och utdata är standardiserade: JSON över HTTP, protobuf över gRPC, vikter i safetensors eller ONNX. Det finns ingen inlåsning i data — tjänsten är stateless och producerar vektorer som konsumeras av vilket system som helst, vilket är precis vad nivå 5 avser ('väldokumenterat API med standarder').
Mognad och trygghet Gäller: Projektet förvaltas av Hugging Face och har etablerad historik: releases.atom visar v1.9.4 (2026-09-15), v1.9.3 (2026-03-23), v1.9.2 (2026-02-25), v1.9.1 (2026-02-17) och v1.9.0 (2026-02-17) — alltså versionsnumrerade utgåvor över tid, inte betor. Dokumentationen är strukturerad under docs/source/en med egna sidor för supported_models, cli_arguments, local_gpu, local_cpu, local_metal, private_models, custom_container, intel_container, amd_gpu och examples, och OpenAPI-schemat versionsföljer releasen (1.9.4). Ekosystemet är tydligt: images per arkitektur på ghcr.io, Homebrew-binär för Apple Silicon, ROCm-image för AMD Instinct och referenser till Hugging Face Inference Endpoints och RAG-containers. Det motsvarar nivå 4. Det som saknas för 5 är en verifierad säkerhetspolicy (ingen SECURITY.md eller publicerad CVE-process hittad i repo-trädet) och ett uttalat LTS-/supportåtagande; dessutom är Turing- och Blackwell-images markerade som experimentella, vilket är en mognadssignal. Konfidensen är medium eftersom förvaltningen är tydlig men säkerhetsrutinerna inte kunnat beläggas.
Framtidskraft Gäller: Integrationsytan är stark och dokumenterad i maskinläsbar form: OpenAPI 3.0.3 med tolv endpoints inklusive /v1/embeddings, vilket är OpenAI-kompatibelt och gör TEI utbytbart mot kommersiella embedding-API:er utan kodändring; gRPC-API för högpresterande drift med publicerad protobuf-definition; CLI-styrning via text-embeddings-router med flaggor för batchning, pooling, API-nyckel, CORS och payload-gränser; Prometheus-metrics på egen port och OpenTelemetry via --otlp-endpoint, dvs. det går att koppla in i övervakning och automation utan egen kod. Arkitekturen är modern och modulär (Rust, Candle, Flash Attention, valbar ONNX- eller Metal-backend). Det som håller kvar på 4 och inte 5 är att TEI inte har någon egen agentintegration eller MCP — det är en tjänst andra system anropar, inte en agentplattform — och att modellstödet kräver att man väljer bland listade arkitekturer, vilket begränsar anpassningsförmågan. Konfidensen är medium eftersom endpointlistan är verifierad men jag inte kunnat belägga hur väl /v1/embeddings-svaret matchar OpenAI-specifikationen i detalj (fältnamn, dimensionsparameter).
Drift och införande Gäller: Införandet är litet och väldokumenterat: en enda container startas med docker run, modellen anges med --model-id (antingen ett Hugging Face-ID eller en lokal katalog) och vikter kan monteras som volym så att de inte laddas ner varje körning. README innehåller en explicit tabell över vilken image som hör till vilken arkitektur (cpu, cpu-arm64, turing, 80/86/89, hopper, 100/120/121, rocm) samt krav på NVIDIA Container Toolkit och CUDA 12.2+. Löpande drift är enkel: ny image, samma flaggor, ingen databas och ingen migrering att hantera eftersom tjänsten är stateless. Det motsvarar nivå 4. Friktionen som drar ner från 5 är att GPU-imagen måste matcha grafikkortets beräkningskapacitet — ett steg som kräver att man känner till compute capability — att Turing- och Blackwell-images är experimentella, att compute capability under 7.5 inte stöds (V100 och GTX 1000-serien) och att allt styrs via kommandoradsflaggor utan administrationsgränssnitt. Konfidensen är medium eftersom jag läst README och CLI-hjälpen men inte själv startat en image på GPU.
Kostnadsbild Gäller: Licenskostnaden är noll och helt transparent (Apache-2.0, ingen avgift, ingen hosted version att prenumerera på), och det finns ingen publik prislista att förhandla mot eftersom inget säljs. TCO-antagandena för användningsfallet är ändå tunga: (1) hårdvara — README:s prestandasiffror är mätta på ett NVIDIA A10 med sekvenslängd 512, så en realistisk GPU-instans är den dominerande kostnaden och den måste beräknas lokalt (inköp eller moln-GPU-tid); CPU-images fungerar men prestandan blir en annan och kan kräva mer kapacitet; (2) drift — en container utan databas, låg löpande kostnad men kräver GPU-drivrutiner och NVIDIA Container Toolkit; (3) arbetstid — engångsarbete med imageval och batchning, sedan litet. Kostnadsbilden är alltså tydlig på licens- och driftssidan men den stora posten (GPU) kräver egen beräkning, vilket är exakt nivå 3 ('vissa kostnader kräver egen beräkning'). Konfidensen är medium eftersom ingen faktisk GPU-kostnad är verifierad och jag inte kunnat jämföra CPU- mot GPU-drift i praktiken.
Svensk användbarhet Gäller: Negativ kontroll utförd: jag hämtade hela repo-trädet för huggingface/text-embeddings-inference (340 filer) och sökte efter lokaliseringskataloger och i18n — resultatet är att det inte finns någon locale- eller i18n-katalog. Dokumentationsträdet innehåller enbart docs/source/en (index, supported_models, cli_arguments, local_gpu, local_cpu, local_metal, amd_gpu, private_models, custom_container, examples m.fl.) och ingen annan språkkatalog, dvs. ingen svensk dokumentation finns att mäta andel nycklar mot. Produkten har dessutom inget grafisk gränssnitt att lokalisera — allt styrs via HTTP/gRPC och CLI-flaggor — så det finns ingen svensk gränssnittsöversättning att verifiera. Nivå 1: verifierat svagt svenskt stöd, engelskspråkig men tekniskt användbar i Sverige. Konfidensen är medium eftersom avsaknaden av språkkatalog är entydig, men svensk text kan förstås och sökas eftersom README listar flerspråkiga embeddingmodeller (t.ex. intfloat/multilingual-e5-large-instruct och XLM-RoBERTa) — det är modellernas språkförmåga, inte TEI:s lokalisering, och jag har inte gjort något svenskt sök- eller embeddingtest som skulle kunna belägga svensk språkförmåga i praktiken.

Kostnad: 0 kr. Ingen licenskostnad. Den verkliga kostnaden är ett GPU-kort eller GPU-tid; CPU-images fungerar men README:s prestandasiffror är mätta på ett NVIDIA A10

Faktakontrollerad

text-generation-webui

Webbgränssnitt och server för lokala modeller

Webbgränssnitt och lokal server för att ladda och köra språkmodeller med flera motorer, rollspel, dokumentfrågor och OpenAI-kompatibelt API.

Öppen källkodPython
Startår
2022
API
REST API
MCP
MCP-klient, Inbyggt

Betyg

69

Preliminärt

Projektdata

47 731GitHub-stjärnor
1 commits · 13 veckor
Visa alla fakta och bedömningarVisa alla fakta
Startår
2022
Licens
GNU Affero General Public License v3.0Öppen källkod (OSI-godkänd licens) · AGPL-3.0 enligt LICENSE-filen. · Licensmodeller
Öppen källkod
Ja
Plattformar
Linux · Windows · macOS
API
REST API Uppgivet
MCP
MCP-klient, Inbyggt
Export
Ej verifierat Ej verifierat
Språk
Gränssnitt: Engelska · Dokumentation: Engelska · Support: Engelska
Öppenhet och kontroll Gäller: AGPL-3.0 verifierad i repots LICENSE (full GNU AGPL-text, 34 523 tecken). OSI-godkänd copyleftlicens; ingen open-core, ingen låst kärna. Frihet att läsa, ändra, återdistribuera och drifta själv är fullständig, med den vanliga AGPL-nätverksklausulen som enda villkor.
Funktionell passform Gäller: Täcker användningsfallet väl enligt README: flera backends i samma gränssnitt, chatt/rollspel/instruktion/dokumentfrågor, OpenAI/Anthropic-kompatibelt API och tilläggssystem. Känd lucka: gränssnittet beskrivs som experimentellt och ändrar sig mellan versioner (katalogpost), vilket kräver viss omvanning.
Dataflytt och interoperabilitet Gäller: Modeller i öppna filformat (GGUF/safetensors) kan flyttas fritt mellan motorer och verktyg, och API:et gör förfrågningsdata åtkomlig. Men export av användardata (chatt-/rollspelshistorik, inställningar) är inte verifierad i dokumentationen; inget dokumenterat exportformat hittades i repot eller wikin.
Mognad och trygghet Gäller: Funnit sedan 2022 (katalogpost) med regelbundna utgåvor (v4.7.3–v4.9 i releases.atom, maj 2026), men takten är avtagande: senaste release 2026-05-20 och senaste commit 2026-08-17 (commits.atom). Dokumentation via GitHub-wiki, grundlig men fragmenterad; ingen oberoende bekräftelse av säkerhetsrutiner.
Framtidskraft Gäller: Inbyggt OpenAI/Anthropic-kompatibelt API med tool-calling (README + modules/api/ i trädet), inbyggd MCP-klient (både HTTP- och stdio-servrar, verifierat i wiki-guiden Tool-Calling-Tutorial) och tilläggssystem för egna verktyg. Men dokumentationen är wiki-baserad, inga webhooks/SDK och utvecklingstakten är låg — därför inte 4.
Drift och införande Gäller: Installationen är tyngre än hos nyare alternativ (katalogpost): flera backend-beroenden, val mellan GPU/CPU-varianter och tillägg som kräver extra paket. Hanterbart men kräver teknisk kompetens; driftbilden försvåras av att gränssnittet ändras mellan versioner.
Kostnadsbild Gäller: Licenskostnad 0 och inga betalda nivåer; TCO består av GPU-hårdvara (rekommenderad för rimliga svarstider), eget arbete för installation/underhåll och eventuell AGPL-efterlevnad vid tjänsteleverans. Ingen transparent totalkostnad kan anges; hårdvaru- och arbetskostnad kräver egen beräkning.
Svensk användbarhet Gäller: Negativ kontroll: repots kompletta filträd via GitHub trees-API (358 filer, recursive=1, hämtat 2026-10-28) innehåller ingen locales-/i18n-katalog — endast language.json för TTS-tilläggen (coqui_tts, silero_tts), som är röstspråk och inte gränssnittslokalisering. Dokumentation (GitHub-wiki) är uttryckligen engelska.

Kostnad: .

Faktakontrollerad