Qual o menor LLM que responde em português?
Salve!
Pessoal, consegui executar com sucesso o modelo 'smollm2 (135m)' em uma máquina com 1 core de CPU e 1 GB de RAM, sem nenhum tipo de aceleração (GPU ou TPU).
Infelizmente o modelo só responde em inglês, se tento obter respostas em português ele se enrola todo.
Vocês conhecem algum LLM que responda em português e que seja capaz de rodar com poucos recursos (somente CPU e pouca RAM)?
Valeu!
Cara, dá uma olhada nesse post; eu até comentei lá:
https://www.tabnews.com.br/rafinhahdc19/rode-modelos-de-ai-100-por-cento-offline-no-celular
Muito bacana isso. Sucesso pra ti.
https://huggingface.co/nicholasKluge/TeenyTinyLlama-160m Meio que você sempre sofrerá mas esse foi treinado ideal em pt
Cara, eu antes estava procurando modelos de LLM que rodassem em minha máquina e em português igual você. Acho interessante poder rodar no meu computador ou em algum outro com poucos recursos, mas dependendo do que você for fazer, não compensa usar um modelo destes e sim utilizar a api do Gemini, OpenAI ou qualquer outro, pois estes modelos trazem respostas melhores do que um modelo igual pequeno com poucos parâmetros e não consumiria os recursos do meu PC de forma a travar ou precisar de mais recursos. Mas ai depende da finalidade para o que você vai usar, dependendo um modelo destes pequenos já é o suficiente.
Mas fala ai, pretende usar como este modelo?