IA in locale
Modelli che girano sul PC dell'ufficio, senza mandare dati fuori: memoria, velocità e consumo misurati.
Registro aperto, ancora senza pezzi pubblicati.
che cosa trovi qui
Un modello di intelligenza artificiale non deve per forza girare nel cloud di un fornitore. Programmi gratuiti permettono di scaricarne uno e farlo funzionare sul computer dell'ufficio. Il vantaggio principale è che i documenti restano lì: non vanno su server esterni. Per uno studio che tratta dati riservati è un argomento serio.
Il prezzo si paga in hardware e in pazienza. Le domande giuste sono pratiche: quanta memoria video serve per un certo modello, quanto è veloce sul tuo computer, quanto consuma in watt, quanto vale il risultato rispetto a uno strumento online. In questa sezione trovi le risposte misurate. Ogni verbale indica la scheda video, la memoria, il sistema, la versione del programma e del modello: senza queste condizioni un numero di velocità non vuol dire niente.
Le misure valgono per il computer descritto. Sul tuo i numeri cambieranno, ma il metodo resta lo stesso e lo puoi rifare. Come misuriamo è spiegato in Come collaudiamo.
In programma
- Ollama e LM Studio sul PC dell'ufficio: memoria, velocità e consumo misuratiIn preparazione
- Quanta memoria della scheda video serve per un modello in localeIn preparazione