Cara, isso me chamou muito a atenção, porque o futuro é bem por ai...

Parece que esses "small language models (SLMs)" são implementados com frameworks mais brandos como o TensorFlow Lite, programado majoritariamente com C++. Isso permite a execução nos smartphones, e até conseguem fazer uso de qualquer GPU que o smartphone tenha.

Acho que o repo do app é esse aqui: https://github.com/a-ghorbani/pocketpal-ai

Muito fascinante! Valeu pela dica.

valterpatrickhá 2 meses

Da para usar eles no desktop por exemplo, com talvez uma placa de vídeo inferior ou até mesmo sem placa de video? Se sim, como?

rafinhahdc19há 2 meses
Dá sim, usando o ollama, consegue rodar varios modelos do hugging face e muito bem, recomendo modelos como o gemma do google ou o Llama da meta. Apenas temque ter uma noção sobre a quantidade de paramentros a a quantizaçâo do modelo para não baixar um modelo que não
hagakamês passado

Cara, muito legal esse app!!! Já tô com uns 4 modelos aqui no meu celular kkkkkk. Muito legal ver como um modelo de 1B mesmo já dá resultados. No meu celular eu acho que conseguiria ir até uns 3B, mas eu não sei se quero tanta assertividade e tanto peso assim, prefiro só a brincadeira mesmo. Valeu por compartilhar!!