Primeiramente parabens pelo post e por compartilhar!! Conteudo muito escasso ainda e muito mal explicado, pra leigos como eu!! To ate testando aqui! Localmente, usando o modelo em portugues, vamos ver no que vai dar!! 20% ja, pelo que vi ele pega modelos do Hugging Face, tem como treinar e usar com o ollama? por exemplo treino e uso o llama3.2 em cima dos dados trienados? algo assim?
Olá,
Sim, você pode tunar em cima de qualquer modelo.
Geralmente o tunning é feito em cima de modelos menores mas que entendam pelo menos o idioma que você vai usar, assim ele sabe a gramática etc.
A ideia geral é que os algoritmos recentes conseguem a partir de um texto entender a relação entre as palavras com o que foi chamado de "attention" (https://en.wikipedia.org/wiki/Attention_(machine_learning)).
Esse que eu usei (pierreguillou/gpt2-small-portuguese) foi treinado com dados da Wikipedia (https://huggingface.co/pierreguillou/gpt2-small-portuguese).
Então ele já sabe construir frases em português, só precisa de tunning para entender os seus dados.
Para usar no Ollama, você precisa gerar um modelo compatível (modelo GGUF) e adicionar nele um novo Modelfile (https://github.com/ollama/ollama/blob/main/docs/modelfile.md). Algo como:
FROM ./my-model.gguf
PARAMETER temperature 0.7
e
ollama create mymodel -f Modelfile
ollama run mymodel
Abraços.