Olá!

Muito obrigado pela crítica tão bem redigida, tenho certeza que o mundo seria um lugar muito melhor, principalmente na Web, se todos tivessem esse cuidado ao realizar um comentário sobre o trabalho alheio. 🌻

Você levantou pontos muito interessantes a respeito da pesquisa realizada, e aproveitarei este espaço para descorrer um pouco sobre eles.

A quantidade de membros para cada grupo de fato é pequena, e para ter conclusões ainda mais concretas, seria necessário a quantidade centenas ou milhares que você comentou. Infelizmente, dentro do espaço que havia para realizar o desafio do começo ao fim, conseguir um número maior de participantes é algo que ficaria inviável para o projeto. Tendo em mente essa deficiencia, tentei deixar o experimento o mais replicável possível, de maneira geral, para que outras pessoas conseguissem adaptá-lo e replicá-lo dentro de seus próprios contextos.

Por isso, fica aqui meu convite a você, leitor que acompanha essa resposta: basei-se nesta experiêtação para realizar mais pesquisas em campo, ou até mesmo use meu TCC como base para o seu!

Voltando a resposta, parte das informações pertinentes a aplicação do desafio e sua análise preferi deixar somente no TCC, pois o objetivo da publicação era apontar as informações mais relevantes e assim fomentar uma discussão sobre o tema. Assim que conseguir publicar ele, será uma honra compartilhar ele aqui, para aqueles que quiserem mais informações sobre estes detalhes.

Concordamos que o sensacionalismo do 'estudo prova que usar o ChatGPT ajuda a programar' é estúpido, e o ponto que quero atacar é justamente esse. Já temos achismos, sensacionalismos, e gente espalhando desinformação o suficiente, e por isso acredito que chegou a hora de construirmos algo concreto e baseado em fatos, sendo essa minha singela maneira de agregar um pouco mais de certezas às discussões sobre o uso da IA.

Por fim, agradeço de coração por todos os elogios e melhorias apontadas! 🫶🫶🫶

khtano passado

Complementando, acho que seria interessante colocar um terceiro grupo que pudesse usar somente as ajudas tradicionais: Google, Stack Overflow, documentação, e qualquer outro conteúdo da internet que já existia antes do ChatGPT. A única restrição seria não usar nenhuma ferramenta de IA (assim já elimina ChatGPT, CoPilot, Bard, etc). Acredito que assim teríamos um comparativo melhor.

Afinal, há muitos anos os desenvolvedores usam a internet como ferramenta de ajuda. Por isso achei meio "injusto" o fato de um grupo não poder consultar nada, é meio irreal se considerarmos o que acontece na prática. Sejamos francos, a maioria das coisas ninguém mais memoriza, muita coisa é consultada na internet o tempo todo.

Assim, vc teria um estudo mais realista, pois conseguiria comparar com a situação pré-ChatGPT (pessoas consultando a internet). E aí sim daria para medir algo mais próximo do impacto real deste.

Galandano passado
De fato, acredito que, no final, mostrou-se mais uma pesquisa sobre o impacto da consulta à internet do que sobre o GPT, tendo em vista que o segundo grupo não teve acesso à consulta alguma. De qualquer maneira, é incrível ver como a ausência de um google torna o trabalho mais difícil. Inclusive, remonta à questão de como os programadores estão se tornando cada vez mais dependente de suas ferramentas. Antigamente, os desenvolvedores mais antigos tinham que memorizar a grande maioria dos detalhes para conseguir fazer o seu trabalho. já Os desenvolvedores de hoje precisam de, no mínimo, um google. Então os do futuro precisarão de um GPT pra conseguir trabalhar?
khtano passado
Acho que a questão vai além da dependência. Pra mim o que influencia muito mais é **como** usamos as ferramentas. Por exemplo, praticamente todo mundo usava e ainda usa a internet pra programar (geralmente o Google, que cai em algum link do Stack Overflow, por exemplo). O que muda é como a pessoa usa as informações encontradas. Alguns só copiam e colam o código sem pensar, e se "funcionar" tá valendo. Outros aproveitam para estudar o código, o que ele faz, entender como e porque ele funciona, e se realmente é a melhor solução para o problema. Adivinha qual desses costuma ser um profissional melhor? Qual desses constrói sistemas mais robustos e confiáveis? Qual desses evolui mais na carreira? Claro que tem casos e casos, mas de forma geral, os copiadores de código não costumam se dar tão bem quanto os que procuram aprender com o que pesquisaram. Com o ChatGPT é a mesma coisa. Se a pessoa acredita cegamente em tudo que ele diz, se não tenta entender o que ele sugeriu e sai fazendo de qualquer jeito, sem questionar, cairá no mesmo problema. Pode usar, mas tem que conferir o que ele faz. Tem que aproveitar e aprender algo com aquilo, tem que usá-lo ao seu favor. É assim com toda ferramenta, precisa saber quando usar e quando não usar, e principalmente como usar, com senso crítico e nunca aceitando cegamente tudo que ela te fornece. Com IA não deveria ser diferente.
Dunkedano passado
Pessoal, que discussões interessantes estamos gerando aqui! Acredito que seria muito interessante realizar o mesmo desafio só que comparando o uso do ChatGPT com o uso da Internet, inclusive sugeri isso na seção de Trabalhos Futuros da defesa do TCC. Hoje é muito comum os desenvolvedores utilizarem a internet para tirar dúvidas, resolver erros e verificar implementações, e isso faz com que a área de desenvolvimento de software se torne mais **acessível**. Sem todas as facilidades que existem hoje, com certeza teríamos um déficit muito maior de profissionais para suprir a demanda de desenvolvedores. Não vejo o uso da internet ou de qualquer outra ferramente com maus olhos, pois acredito que muito mais vale o desenvolvedor saber como funcionam e como devem ser implementadas as Regras de Negócio do software desenvolvido do que como funciona e como se implementa as linguagens de programação utilizada. Afinal, a linguagem é um meio para que consigamos implementar um software para atender uma demanda no mundo real, não para entendermos como ela gerencia memória, como suas instruções são executadas e implementadads pelo processador, e todas essas questões mais técnicas de cada uma. Sendo assim, acho que o que torna uma pessoa que desenvolve boa é compreender e implementar plenamente as Regras de Negócio necessárias, assim como melhorias e outras demandas exigidas pelos clientes. E esta pessoas se torna melhor com o conhecimento que ela conquista dentro da linguagem, pois assim ela tem mais subsídio para melhorar o software como um todo.