llama.cpp

Projektet utvecklas under MIT-licensen hos ggml-organisationen och är en referensimplementation för GGUF, den öppna de facto-standarden för kvantiserade modeller. Modeller körs på såväl CPU som GPU, och förbyggda binärer för de vanliga skrivbordssystemen sänker tröskeln: en nedladdad binär och en GGUF-fil räcker för att komma igång. Kvantiseringen gör att modeller kan köras på betydligt mindre maskiner än vikternas råstorlek antyder, och backends täcker CUDA, Metal, Vulkan med flera.

Utöver kommandoradsverktygen finns llama-server, en HTTP-server som exponerar modellen med ett OpenAI-kompatibelt gränssnitt och stöd för verktygsanrop. En experimentell del kan även ansluta externa MCP-servrar via stdio. Det gör att agentramverk och andra klienter kan prata med modellen över samma typ av API som annars förknippas med molntjänster — fast på egen hårdvara.

Detta är ett rent verktyg: inget agentlager, ingen användarhantering och inget webbgränssnitt — den som vill erbjuda modellen till en grupp bygger själv tjänsten runt om. Minnesbehovet styrs helt av vald modellstorlek, så ni planerar hårdvaran efter de modeller ni vill köra.