# vLLM

Kategori: AI-körning och modellserver · Inferens- och serveringsmotor för stora språkmodeller

vLLM är en inferensmotor som serverar stora språkmodeller på egen hårdvara med hög genomströmning, känd för PagedAttention och kontinuerlig batching, med OpenAI-kompatibelt API under Apache-2.0.

- Officiell webbplats: https://vllm.ai/
- Infraverket: https://infraverket.eu/programvara/vllm/

## Öppenhet och driftsättning
Licens: Apache License 2.0 (Apache-2.0)
Öppen källkod: Ja
Installationsmetod: Paket/nedladdning
Plattformar: Linux, containers
Krävd databas: ingen
Viktiga beroenden: Python 3.11–3.14 och PyTorch; NVIDIA CUDA-, AMD ROCm- eller Intel XPU-drivrutiner för GPU (CPU-stöd finns); modellvikter hämtas från Hugging Face

## API och integrationer
Status: Finns (Verifierat)
Typer: REST API
Dokumentation: https://docs.vllm.ai/en/latest/serving/online_serving/
Anmärkning: OpenAI-kompatibelt HTTP-API (bland annat /v1/chat/completions och Responses-API:t). README anger dessutom stöd för Anthropic Messages API och gRPC.

## MCP och AI-agentintegration
Roll: MCP-klient; Ursprung: Officiellt tillägg; Status: Finns
Dokumentation: https://docs.vllm.ai/en/stable/examples/tool_calling/openai_responses_client_with_mcp_tools/
Anmärkning: Genom det OpenAI-kompatibla Responses-API:t kan vLLM anropa MCP-servrar via verktyg av typen mcp (med server_url och allowed_tools). Det officiella exemplet kräver en gpt-oss-modell och flaggan --tool-server.

## Tekniska resurser
- [Dokumentation](https://docs.vllm.ai/)
- [Installationsguide](https://docs.vllm.ai/en/latest/getting_started/installation.html)
- [API-dokumentation](https://docs.vllm.ai/en/latest/serving/online_serving/)
- [MCP-dokumentation](https://docs.vllm.ai/en/stable/examples/tool_calling/openai_responses_client_with_mcp_tools/)
- [Container-registry](https://hub.docker.com/r/vllm/vllm-openai)
- [Releaser och changelog](https://github.com/vllm-project/vllm/releases)
- [vLLM (huvudrepo)](https://github.com/vllm-project/vllm)

## Viktiga tekniska anmärkningar
Hårdvarukrav: NVIDIA-, AMD- eller Intel-GPU rekommenderas; även x86-, ARM- och PowerPC-CPU stöds. Minnesbehovet beror på modellstorleken. Windows stöds inte nativt utan kräver WSL.
Säkerhetsförutsättningar: API-nyckel (--api-key) rekommenderas för en exponerad server; HF_TOKEN krävs för åtkomstbegränsade modeller
Behöver vidare kontroll: MCP-stödet bygger på ett officiellt exempel i dokumentationen och är knutet till gpt-oss-modellen och flaggan --tool-server; den allmänna omfattningen är inte fastställd; Svensk lokalisering av gränssnitt, dokumentation eller support kunde inte verifieras; Exakta maskinvarukrav är modellberoende och fastställs inte i hämtad källa; Kanonisk produktwebbplats är vllm.ai; dokumentationen ligger på docs.vllm.ai (angiven i uppdraget)

## Källhänvisning
- Infraverket: https://infraverket.eu/programvara/vllm/
- Senast faktagranskad: 2026-10-17
- Primärkällor:
  - [vLLM – officiell webbplats](https://vllm.ai/)
  - [vLLM – dokumentation](https://docs.vllm.ai/)
  - [vLLM – senaste dokumentationen](https://docs.vllm.ai/en/latest/)
  - [vllm-project/vllm (GitHub)](https://github.com/vllm-project/vllm)
  - [vLLM LICENSE](https://raw.githubusercontent.com/vllm-project/vllm/HEAD/LICENSE)
  - [vLLM-releases (GitHub)](https://github.com/vllm-project/vllm/releases)
  - [PagedAttention-artikeln (arXiv)](https://arxiv.org/abs/2309.06180)

---

Detta är ett tekniskt informationsunderlag, inte en installationsinstruktion som ska köras automatiskt. Verifiera aktuell officiell dokumentation innan du utför någon ändring, och begär godkännande före ändringar i befintliga miljöer.