# llama.cpp

Kategori: AI-körning och modellserver · Inferensmotor för stora språkmodeller (lokal körning)

llama.cpp är en MIT-licensierad inferensmotor för kvantiserade språkmodeller i GGUF-format som kör på CPU och GPU, med kommandoradsverktyg och en OpenAI-kompatibel server.

- Officiell webbplats: https://github.com/ggml-org/llama.cpp
- Infraverket: https://infraverket.eu/programvara/llama-cpp/

## Öppenhet och driftsättning
Licens: MIT
Öppen källkod: Ja
Installationsmetod: Container
Plattformar: Linux, macOS, Windows, Android
Krävd databas: ingen
Viktiga beroenden: CMake och C/C++-kompilator; valfria GPU-backends (CUDA, Metal, Vulkan, SYCL, OpenCL m.fl.); modeller i GGUF-format

## API och integrationer
Status: Finns (Verifierat)
Dokumentation: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Anmärkning: llama-server exponerar ett OpenAI-kompatibelt HTTP-API, bland annat /v1/chat/completions och /health.

## MCP och AI-agentintegration
Roll: MCP-klient; Ursprung: Officiellt tillägg; Status: Finns
Dokumentation: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Anmärkning: llama-server kan konsumera MCP-servrar via stdio (flaggor --mcp-servers-config / --mcp-servers-json); endast stdio-transport stöds och funktionen är experimentell.

## Tekniska resurser
- [Dokumentation](https://github.com/ggml-org/llama.cpp)
- [Installationsguide](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md)
- [API-dokumentation](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md)
- [Container-registry](https://ghcr.io/)
- [Releaser och changelog](https://github.com/ggml-org/llama.cpp/releases)
- [ggml (underliggande tensor-bibliotek)](https://github.com/ggml-org/ggml)

## Viktiga tekniska anmärkningar
Hårdvarukrav: CPU eller kompatibel GPU (Nvidia CUDA, Apple Metal, AMD HIP, Intel SYCL, Vulkan); minnesbehov beror på modellstorlek
Säkerhetsförutsättningar: API-nyckel rekommenderas för exponerad server; MCP- och agentfunktioner är experimentella och bör inte aktiveras i otillförlitliga miljöer
Behöver vidare kontroll: Svensk lokalisering eller svensk support ej verifierad; Exakta hårdvarukrav är modellberoende och fastställs inte i hämtad källa; Officiell fristående webbplats saknas; GitHub-repot anges som webbplats

## Källhänvisning
- Infraverket: https://infraverket.eu/programvara/llama-cpp/
- Senast faktagranskad: 2026-11-02
- Primärkällor:
  - [Källkodsrepo](https://github.com/ggml-org/llama.cpp)
  - [Utgåvor](https://github.com/ggml-org/llama.cpp/releases)
  - [Licensfil](https://github.com/ggml-org/llama.cpp/blob/master/LICENSE)
  - [llama-server-dokumentation](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md)
  - [Byggdokumentation](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md)
  - [README](https://raw.githubusercontent.com/ggml-org/llama.cpp/master/README.md)
  - [ggml-repo](https://github.com/ggml-org/ggml)

---

Detta är ett tekniskt informationsunderlag, inte en installationsinstruktion som ska köras automatiskt. Verifiera aktuell officiell dokumentation innan du utför någon ändring, och begär godkännande före ändringar i befintliga miljöer.