racascao
- É verdade, a máquina precisa ter uma placa de vídeo dedicada. Uma Nvidia com 3GB consegue rodar os modelos menores com um desempenho satisfatório. Mas muito do desempenho depende de como é configurado o modelo para responder.
- Atualmente é possível rodar localmente diversos modelos, como Llama3, Gemma2 e Phi3. Caso tenha interesse, tenho alguns repositórios no github com exemplos.