Ollama

Ollama gör det enkelt att köra öppna språkmodeller på egen hårdvara: en modell dras ner och körs med ett kommando, och tjänsten exponerar ett lokalt HTTP-API som applikationer och klientbibliotek (Python, JavaScript m.fl.) pratar med. Under huven ligger llama.cpp för inferens, och en modellbibliotek med varianter som dras efter namn och tagg.

Verktyget täcker hela livscykeln — hämta, köra, importera och hantera modeller — och en officiell Docker-bild förenklar driftsättning i containrar. Modellbiblioteket innehåller kända öppna modeller som Llama, DeepSeek, Qwen och embeddings-modeller, och tjänsten erbjuder även körning i Ollamas moln för den som vill slippa lokal hårdvara. Kodbasen är MIT-licensierad och utvecklas snabbt med löpande utgåvor.

Som säkerhet: API:t är avsett för lokal användning, och felkonfigurerade publiga installationer är ett belagt riskmönster — exponera inte porten utan skydd. Det är heller ingen fleranvändarplattform: autentisering, kvoter och skalning över flera noder får ni bygga runt tjänsten, och modellstorleken begränsas av den lokala hårdvaran.