# Text Embeddings Inference

Kategori: AI-körning och modellserver · Embeddings och omrankning

Serveringsmotor för embeddings, omrankning och klassificering över HTTP och gRPC – ingen textgenerering eller chatt.

- Officiell webbplats: https://github.com/huggingface/text-embeddings-inference
- Infraverket: https://infraverket.eu/programvara/text-embeddings-inference/

## Öppenhet och driftsättning
Licens: Apache-2.0
Öppen källkod: Ja
Installationsmetod: Container
Plattformar: Linux, macOS
Krävd databas: ingen

## API och integrationer
Status: Finns
Typer: REST API, RPC
Dokumentation: https://huggingface.github.io/text-embeddings-inference
Anmärkning: HTTP-endpoints /embed, /rerank, /predict och /embed_sparse med OpenAPI på /docs; gRPC-API via image med -grpc-tagg. Ingen chatt- eller genereringsendpoint

## MCP och AI-agentintegration
Status: Saknas
Anmärkning: Inget MCP-stöd nämns i README (kontrollerat 2026-10-30)

## Tekniska resurser
- [Installationsguide](https://github.com/huggingface/text-embeddings-inference#docker)
- [API-dokumentation](https://huggingface.github.io/text-embeddings-inference)

## Viktiga tekniska anmärkningar
Hårdvarukrav: GPU med CUDA compute capability 7.5 eller högre och NVIDIA-drivrutiner för CUDA 12.2+ rekommenderas; CPU-images finns för x86_64 och aarch64, och README:s prestandasiffror är mätta på ett NVIDIA A10

## Källhänvisning
- Infraverket: https://infraverket.eu/programvara/text-embeddings-inference/
- Senast faktagranskad: 2026-10-31
- Primärkällor:
  - [Projektets README](https://github.com/huggingface/text-embeddings-inference)
  - [Swagger/OpenAPI för REST-API:t](https://huggingface.github.io/text-embeddings-inference)
  - [Release v1.9.4](https://github.com/huggingface/text-embeddings-inference/releases/tag/v1.9.4)

---

Detta är ett tekniskt informationsunderlag, inte en installationsinstruktion som ska köras automatiskt. Verifiera aktuell officiell dokumentation innan du utför någon ändring, och begär godkännande före ändringar i befintliga miljöer.