Eu acho que quanto menos contexto pior. Eu uso o Claude pago e me tornei muito produtivo com ele, mas é sempre dando muitas referências. Como eu tenho um certo padrão que envolve mvp e um kit visual, ele retorna baseado no que eu entrego de referência pra ele. Existem algumas iniciativas de geração de sistemas via prompt, mas são para coisas pequenas. Eu imagino que existem inúmeros meios de fazer isso, mas quem conhece a variedade de modelos (inclusive os open source) toma vantagem.
Tem diferença de usar a interface dessas ferramentas e usar a API, eu já fiz o teste com a OpenAI, mesmo prompt, formato de resposta totalmente diferente.
Meu exemplo era, quero retornar somente o JSON dado uma análise.
No ChatGPT ele explicava e só depois colocava o JSON.
Via API ele retornava apenas o JSON, que é o que eu precisava.
Ou seja, a versão "chat" dessas ferramentas são mais prolíxas embora mais fácies de manipular, acredito que nosso amigo esteja usando via API uma vez que está integrado na solução dele e não como um auxiliador, pq se ele está dizendo que está ficando tão caro quanto um programador... é pq não é o custo fixo mensal baratinho que vc paga pra usar uma versão premium do chat, e sim o custo de tokens veiculados nas APIs.