- Published on
Lokaler LLM-Betrieb konkret
Was es praktisch bedeutet, ein Sprachmodell auf eigener Hardware zu betreiben: Werkzeuge, Quantisierung, eine durchgerechnete Abschätzung von Speicherbedarf und Geschwindigkeit, und eine nachvollziehbare Installation mit Ollama auf einem Mac.