Cara, eu antes estava procurando modelos de LLM que rodassem em minha máquina e em português igual você. Acho interessante poder rodar no meu computador ou em algum outro com poucos recursos, mas dependendo do que você for fazer, não compensa usar um modelo destes e sim utilizar a api do Gemini, OpenAI ou qualquer outro, pois estes modelos trazem respostas melhores do que um modelo igual pequeno com poucos parâmetros e não consumiria os recursos do meu PC de forma a travar ou precisar de mais recursos. Mas ai depende da finalidade para o que você vai usar, dependendo um modelo destes pequenos já é o suficiente.
Mas fala ai, pretende usar como este modelo?
Realmente, estes pequenos modelos são bem capados se comparamos com os que estão no mercado. Na verdade, não tenho nenhum projeto em mente. A ideai é brincar de rodar o modelo localmente e aprender a se comunicar programaticamente com ele.