AI-körning och modellserver
LocalAI är en öppen AI-runtime som kör språkmodeller, tal, bild och video på er egen hårdvara, även utan GPU. Den exponerar ett dropin-API som är kompatibelt med OpenAI:s gränssnitt och talar även Anthropic-, Ollama- och ElevenLabs-format.
Betyg 81 av 100 Preliminär (källbaserad)
Läs bedömningenFörstapartsdokumentation: Quickstart med API-sektion.
Källa: https://localai.io/docs/basics/getting_started/
Kontrollerat:
Förstapartsdokumentation av MCP-funktionen i kärnan.
Källa: https://localai.io/docs/features/mcp/
Kontrollerat:
Totalbetyg
81 av 100
Preliminär (källbaserad)
MIT-licens verifierad i repots LICENSE; permissiv licens utan copyleft-krav.
Fyller behovet av lokal LLM-inferens med OpenAI-kompatibelt API och CPU-stöd, men prestandan på CPU begränsar modellstorlek och latens i krävande arbetslaster.
Enskild binär/container på Linux, macOS och Windows; modellvikter laddas vid körning och GPU är valfritt, vilket ger mycket flexibel drift.
Projektet startade 2023 i ett snabbt rörligt teknikfält; dokumenterat API och aktiv utveckling finns men långsiktig stabilitet är oviss.
Drop-in-kompatibilitet med OpenAI-API:er gör den lätt att adoptera, och MIT-licensen plus aktiv utveckling ger god framåtkraft.
Modellhantering (vikter, kvantisering) och prestandajustering ligger på driftorganisationen, vilket kräver egen kompetens.
MIT-licens utan kostnad och CPU-drift utan GPU-krav sänker inträdespriset; krav på högre genomströmning driver dock hårdvarukostnad.
Inga belägg i de granskade källorna för svensk lokalisering; okänt.
LocalAI är en öppen AI-motor som ni kör på egen hårdvara – från bärbar dator utan GPU till ett rum fullt av grafikkort – och som håller data inom er infrastruktur. Den exponerar ett API som är dropin-kompatibelt med OpenAI:s gränssnitt, så befintliga klienter behöver oftast bara en ny URL; den talar även Anthropic-, Ollama- och ElevenLabs-format.
Arkitekturen är en liten kärna där varje uppgiftstyp körs i separata backends – llama.cpp, vLLM, whisper.cpp, stable-diffusion med flera – som hämtas först när en modell behöver dem. Därför kan en installation täcka text, transkribering, talsyntes, bild och video, inbäddningar samt agentfunktioner med tool use, RAG och MCP utan att bli en enorm nedladdning. Motorn bakom API:et byts med en rad i modellens konfiguration, så klienten märker ingen skillnad. Fleranvändardrift ingår med API-nycklar, användarkvoter och rollbaserad åtkomst.
LocalAI licensieras under MIT och utvecklas öppet på GitHub med dokumentation på egen sajt. Prestandan följer er hårdvara: utan GPU blir inferensen långsammare och stora modeller ställer krav på minne, så kapacitetsplaneringen ligger på er. Dokumentationen är engelskspråkig och communityn drivs via Discord och GitHub.
8 skärmbilder. Välj en bild för att visa den i full storlek. Svep i sidled för fler.
AI-körning och modellserver · Inferensmotor för stora språkmodeller (lokal körning)
llama.cpp är en MIT-licensierad inferensmotor för kvantiserade språkmodeller i GGUF-format som kör på CPU och GPU, med kommandoradsverktyg och en OpenAI-kompatibel server.
Ollama är ett verktyg för att hämta och köra öppna språkmodeller lokalt eller i egen molnmiljö: CLI, lokal HTTP-API och ett modellbibliotek med pull-by-name. Koden licensieras MIT.
