(DUVIDA) Poderiam me ajudar ?
Bom dia, pessoal!
Estou começando a me aprofundar na área de inteligência artificial e gostaria de tirar algumas dúvidas com quem já trabalha ou tem experiência, principalmente em projetos voltados para treinamento e análise de imagens.
Atualmente, estou desenvolvendo um aplicativo com React Native utilizando o Expo, e pretendo implementar uma IA que seja capaz de analisar imagens e, com base em um prompt que eu enviar, fornecer sugestões ou interpretações sobre o conteúdo dessas imagens.
Pesquisando sobre soluções, encontrei o Google Vertex AI, que parece ser bem robusto, mas observei que há custos por requisição, o que pode ser um problema para mim neste momento.
Outra alternativa que considerei foi usar a LLaMA, mas nesse caso o modelo teria que rodar localmente no meu backend, o que exigiria mais infraestrutura da minha parte.
Queria saber se alguém já trabalhou com algo semelhante e se poderia me indicar a melhor abordagem, considerando custo, desempenho e facilidade de integração com o aplicativo.
Meus 2 cents:
Da uma olhada no openrouter.ai - da para contratar tokens para diversos modelos (e ver o melhor custo).
Analise tambem usar um LiteLLM ou AnythingLLM como wrappers (eles podem rodar em docker local e ser acessados via API) - assim nao precisa ligar direto no modelo e fica mais facil mudar se necessario.
Com a solucao LiteLLM+openrouter.ai ainda da para tirar relatorios de uso e custo previsto e eventualmente usar um fallback quando determinado valor ser alcancado (para nao estourar teu orcamento).