Eu acho que quanto menos contexto pior. Eu uso o Claude pago e me tornei muito produtivo com ele, mas é sempre dando muitas referências. Como eu tenho um certo padrão que envolve mvp e um kit visual, ele retorna baseado no que eu entrego de referência pra ele. Existem algumas iniciativas de geração de sistemas via prompt, mas são para coisas pequenas. Eu imagino que existem inúmeros meios de fazer isso, mas quem conhece a variedade de modelos (inclusive os open source) toma vantagem.

Tem diferença de usar a interface dessas ferramentas e usar a API, eu já fiz o teste com a OpenAI, mesmo prompt, formato de resposta totalmente diferente.

Meu exemplo era, quero retornar somente o JSON dado uma análise.

No ChatGPT ele explicava e só depois colocava o JSON.

Via API ele retornava apenas o JSON, que é o que eu precisava.

Ou seja, a versão "chat" dessas ferramentas são mais prolíxas embora mais fácies de manipular, acredito que nosso amigo esteja usando via API uma vez que está integrado na solução dele e não como um auxiliador, pq se ele está dizendo que está ficando tão caro quanto um programador... é pq não é o custo fixo mensal baratinho que vc paga pra usar uma versão premium do chat, e sim o custo de tokens veiculados nas APIs.

Conheço bem a api e uso em diversos projetos. Já ouvi falar que eles retornam uma resposta "pior" quando você pede a saída em json (acho que também é questão de ajuste). Mas de toda forma, fique atento pois o melhor jeito de trabalhar com resposta json é usando o "strict" que tem lá no manual.. senão ele viaja na resposta e altera o padrão.
e um sempre determino o formato e nunca me ocorreu essa alucinação na estrutura do json, já mudou formato de resposta poucas vezes mas vou me atentar.