AI-körning och modellserver · Lokal körning utan installation
En enda körbar fil som startar en språkmodell med webbgränssnitt och OpenAI-kompatibelt API, utan installation, på Linux, macOS och Windows.
Betyg 82 av 100 Preliminär (källbaserad)
Läs bedömningenServern som startar med llamafile svarar på OpenAI-kompatibla rutter under /v1 för chatt, completions och embeddings, och har ett inbyggt webbgränssnitt på samma port.
Källa: https://docs.mozilla.ai/llamafile/using-llamafile/api
Kontrollerat:
Med flaggan --agent aktiverar llamafile sina inbyggda lokala verktyg och en experimentell MCP-proxy som låter modellen anropa MCP-servrar.
Källa: https://docs.mozilla.ai/llamafile/using-llamafile/api
Kontrollerat:
Totalbetyg
82 av 100
Preliminär (källbaserad)
Apache-2.0 enligt LICENSE (Copyright 2023 Mozilla Foundation, verifierad 2026-10-30); README anger att ändringarna i llama.cpp och whisper.cpp är MIT. Ingen serverdrift eller molnbindning krävs och modellerna är GGUF i öppet format. Inbäddade tredjepartskomponenter (mbedtls, sqlite, stb, zipalign, double-conversion under third_party/) har egna licenser — dokumenterat i repot men inte auditerat av mig, därför medium.
En enda körbar fil startar modellen med webbserver på 8080, OpenAI-kompatibelt /v1-API och Anthropic-kompatibelt Messages-API (docs quickstart). whisperfile ger transkribering och agentfile agentkörning med samma paketering. Luckor: Windows kan bara köra filer under 4 GB, 0.10-serien saknar funktioner från 0.9, och det finns ingen central modell- eller användarhantering.
Modellerna är GGUF och kan bytas mot vilken GGUF-fil som helst; API:t följer OpenAI- och Anthropic-format, vilket gör klienter flyttbara mellan llamafile och andra servrar. Ingen persistent lagring av samtal eller konfiguration — det finns därför inget att exportera, men inte heller någon inlåsning.
Mozilla.ai-projekt med dokumentationssite (docs.mozilla.ai/llamafile) och regelbundna utgåvor: releases.atom visar v0.10.6 (2026-09-15), v0.10.5 (2026-08-03), v0.10.4, v0.10.3, v0.10.2 och v0.10.0 från mars–september 2026. Kvarstående osäkerhet: 0.10-serien är pre-1.0, bytte byggsystem och saknar funktioner från 0.9; ingen uttalad säkerhetspolicy hittad.
Dokumenterat API med OpenAI- och Anthropic-kompatibla endpoints och autentisering via --api-key/--api-key-file. Inbyggda verktyg aktiveras med --tools och --agent ger en MCP-proxy (docs/using-llamafile/built-in-tools.md), men både verktygen och /tools-endpointen är uttryckligen experimentella och avsedda för den inbyggda webbinterfacet — därför inte 5.
Ingen installation: hämta filen, chmod +x (eller döp om till .exe på Windows) och kör; ingen container, databas eller beroenden. Löpande drift är manuell — varje fil bär sin egen llama.cpp-version och det finns ingen central modellhantering eller uppdateringsrutin, vilket håller nivån under 5.
0 kr i licens och ingen infrastruktur att drifta. TCO-antaganden: befintlig dator med tillräckligt RAM för modellens storlek, disk för GGUF-filerna och arbetstid för att hålla reda på vilken llama.cpp-version varje fil bygger på. Ingen betald support finns.
Negativ kontroll utförd: docs.mozilla.ai/llamafile renderas med <html lang="en">, saknar hreflang-alternativ och sitemap innehåller ingen /sv/-sökväg; repot har ingen locales- eller i18n-katalog (rotlistan visar docs/, models/, scripts/, tests/ m.fl.). Dokumentation och webbgränssnitt är engelskspråkiga.
## Vad det gör
llamafile paketerar llama.cpp och Cosmopolitan Libc i en enda körbar fil. Filen innehåller server och, i de färdiga exemplen, modellvikterna, och startar på Linux, macOS, Windows och BSD utan installation. Startar man den öppnas ett webbgränssnitt på http://localhost:8080 och ett HTTP-API kompatibelt med OpenAI och Anthropics Messages-API.
Samma paketering används för whisperfile, som transkriberar och översätter ljudfiler, och för agentfile, som kör en liten agent med verktyg från kommandoraden. I serverläge slås inbyggda verktyg på med --tools, och --agent aktiverar även en experimentell MCP-proxy.
## Driftsättning
Man hämtar en färdig llamafile från Hugging Face eller en binär från releases, gör den körbar och startar. På Windows måste filen ha ändelsen .exe, och körbara filer över 4 GB fungerar inte där – då får man i stället köra binären med en extern GGUF-modell. Port och adress ändras med --port och --host; API:t skyddas med --api-key.
## Vad som krävs
Ingen installation och ingen container. Filen kör på vanlig CPU och använder GPU om den finns; minnet följer modellens storlek. 0.10-serien bygger på nyare llama.cpp och saknar en del funktioner från 0.9-serien.
5 skärmbilder. Välj en bild för att visa den i full storlek. Svep i sidled för fler.
AI-körning och modellserver · Inferensmotor för stora språkmodeller (lokal körning)
llama.cpp är en MIT-licensierad inferensmotor för kvantiserade språkmodeller i GGUF-format som kör på CPU och GPU, med kommandoradsverktyg och en OpenAI-kompatibel server.
Ollama är ett verktyg för att hämta och köra öppna språkmodeller lokalt eller i egen molnmiljö: CLI, lokal HTTP-API och ett modellbibliotek med pull-by-name. Koden licensieras MIT.
