Installare una AI in locale e Open Source and Open-Weight

Abstract

Far girare un LLM sul proprio hardware oggi è un comando. Scegliere cosa far girare, con quale motore e con quale licenza, no.

Una panoramica per chi vuole capire prima di installare:

Open Source e Open-Weight: cosa vuol dire davvero «open» per un modello, e quali licenze sembrano libere senza esserlo.

I modelli: famiglie, taglie, quantizzazione, e perché il limite non è solo la VRAM.

I runner: da llama.cpp e Ollama a LM Studio e vLLM, e quando usare cosa.

I framework per costruirci sopra, con un esempio reale di applicazione RAG.

Demo dal vivo, una parte interattiva e, per chi deve decidere, uno strumento per scegliere fra locale, server dedicato e cloud: il Triangolo di ferro dell'AI.

Speaker

Vincenzo Iodice è fondatore di DeepAiUG. Nell'informatica dal 1987, co-fondatore del Linux User Group Brescia.