Tem diferença de usar a interface dessas ferramentas e usar a API, eu já fiz o teste com a OpenAI, mesmo prompt, formato de resposta totalmente diferente.
Meu exemplo era, quero retornar somente o JSON dado uma análise.
No ChatGPT ele explicava e só depois colocava o JSON.
Via API ele retornava apenas o JSON, que é o que eu precisava.
Ou seja, a versão "chat" dessas ferramentas são mais prolíxas embora mais fácies de manipular, acredito que nosso amigo esteja usando via API uma vez que está integrado na solução dele e não como um auxiliador, pq se ele está dizendo que está ficando tão caro quanto um programador... é pq não é o custo fixo mensal baratinho que vc paga pra usar uma versão premium do chat, e sim o custo de tokens veiculados nas APIs.
Conheço bem a api e uso em diversos projetos. Já ouvi falar que eles retornam uma resposta "pior" quando você pede a saída em json (acho que também é questão de ajuste). Mas de toda forma, fique atento pois o melhor jeito de trabalhar com resposta json é usando o "strict" que tem lá no manual.. senão ele viaja na resposta e altera o padrão.
Nesse caso você pode sempre criar um assistente e informar a ele qual o modelo de resposta desejado, ele vai retornar.