Cara, isso me chamou muito a atenção, porque o futuro é bem por ai...
Parece que esses "small language models (SLMs)" são implementados com frameworks mais brandos como o TensorFlow Lite, programado majoritariamente com C++. Isso permite a execução nos smartphones, e até conseguem fazer uso de qualquer GPU que o smartphone tenha.
Acho que o repo do app é esse aqui: https://github.com/a-ghorbani/pocketpal-ai
Muito fascinante! Valeu pela dica.
Da para usar eles no desktop por exemplo, com talvez uma placa de vídeo inferior ou até mesmo sem placa de video? Se sim, como?
Dá sim, usando o ollama, consegue rodar varios modelos do hugging face e muito bem, recomendo modelos como o gemma do google ou o Llama da meta. Apenas temque ter uma noção sobre a quantidade de paramentros a a quantizaçâo do modelo para não baixar um modelo que não