# SGLang

Kategori: AI-körning och modellserver · Serveringsramverk för språkmodeller

Serveringsramverk för språkmodeller och multimodala modeller med återanvändning av prefix, strukturerad utdata och hög genomströmning.

- Officiell webbplats: https://sgl-project.github.io/
- Infraverket: https://infraverket.eu/programvara/sglang/

## Öppenhet och driftsättning
Licens: Apache License 2.0 (Apache-2.0)
Öppen källkod: Ja
Installationsmetod: Container
Plattformar: Linux, containers

## API och integrationer
Status: Finns (Uppgivet)
Typer: REST API
Dokumentation: https://docs.sglang.io/docs/basic_usage/openai_api
Anmärkning: Verifierat: OpenAI-kompatibelt REST-API (sida svarar 200), plus dokumenterade native-, Anthropic- och Ollama-kompatibla endpoints (docs/docs/basic_usage i repot) samt Python offline engine-API.

## MCP och AI-agentintegration
Roll: MCP-klient; Ursprung: Officiellt tillägg; Status: Finns
Dokumentation: https://docs.sglang.io/docs/advanced_features/sgl_model_gateway
Anmärkning: MCP-klientintegration ('native MCP client integration for tool execution') är dokumenterad för SGLang Model Gateway, en routing-komponent i SGLang-ekosystemet; MCP-stöd i själva inferensserverprocessen är inte verifierat.

## Tekniska resurser
- [Installationsguide](https://docs.sglang.ai/)
- [API-dokumentation](https://docs.sglang.io/docs/basic_usage/openai_api)
- [MCP-dokumentation](https://docs.sglang.io/docs/advanced_features/sgl_model_gateway)

## Viktiga tekniska anmärkningar
Hårdvarukrav: GPU med tillräckligt minne för modellen; stöd för NVIDIA, AMD och TPU.

## Källhänvisning
- Infraverket: https://infraverket.eu/programvara/sglang/
- Senast faktagranskad: 2026-10-28
- Primärkällor:
  - [Projektets repository](https://github.com/sgl-project/sglang)
  - [Dokumentation](https://docs.sglang.io/)

---

Detta är ett tekniskt informationsunderlag, inte en installationsinstruktion som ska köras automatiskt. Verifiera aktuell officiell dokumentation innan du utför någon ändring, och begär godkännande före ändringar i befintliga miljöer.