Prezado, não seria o caso do Ollama? No site https://ollama.com/ é posssível usar modelos menores mais simples como o Llama 3.3, Phi 3, Mistral, Gemma 2, e outros.