Eu gostaria de criar um para servir como copilot ao de 1.5b a 3b, só que não sei como fazer isso.
Pois quero treina-lo com as docs e projetos em uma linguagem especifica, que até o momento só o claude sonet conhece essa linguagem, e além disso queria algo bem personalizado e com propriedade sobre a linguagem.
Faz um vídeo ou um tuto por aqui de como treinar? please!
pode instalar o ollama do site ollama.com ele já abstrai grande parte do trabalho com llms, aí tu pode baixar modelos como imagens docker por exemplo ollama run llama3.2
Ele vai baixar e rodar o modelo. Além de disponibilizar o acesso através de uma api no localhost:11434.
Para usar no vscode, tem uma extensão muito boa que pode encontrar no site continue.dev, ela permite adicionar modelos via llm para autocomplete de código além de uma interface na lateral para conversar com o modelo similar com o gpt.
Pra fazer fine tuning você pode usar unsloth.ai.
Pois quero treina-lo com as docs e projetos em uma linguagem especifica, que até o momento só o claude sonet conhece essa linguagem, e além disso queria algo bem personalizado e com propriedade sobre a linguagem.
Treinar um modelo é uma tarefa cara e exige muitas horas e expertise. Existe uma diferença no termo "treinar" e "ajustar" (Fine Tuning)!
Fine Tuning
Descartando a possibilidade de treino para nós meros mortais, vamos para o fine tuning.
Quando você treina um modelo, vc cria o que chamamos de "weights" (pesos), então estes pesos vão guiar o modelo treinado a escolher um próximo token, dito isso, o processo de fine tuning é ajustar estes "pesos" para que o próximo token venha conforme seu estilo.
Baseado no seu input, fine tuning não vai ensinar novos dados ao modelo, ele vai ajustar o peso para o modelo responder conforme sua necessidade, vou dar um exemplo.
Você pode fazer fine tuning para seu modelo sempre responder com emojis, e então ele vai aprender que depois de certas expressões ou no lugar de certa expressões deveria usar emojis, e vc vai especializá-lo nisso.
Retrieval-Augmented Generation (RAG)
Esta é a técnica recomendada para "adicionar" novas informações ao modelo. Dito isso é melhor você estudar como implementar um RaG para poder então plugar sua documentação e dar poder ao seu sistema de consultá-la.
Este cara é um dos fundadores do Ollama e ele tem um curso totalmente grátis sobre esses temas, então recomendo assistir.
Faz um vídeo ou um tuto por aqui de como treinar? please!