Olá!

Primeiramente, parabéns pela conclusão do seu curso e pelo TCC! É evidente que você não apenas escolheu um tema muito relevante, mas também abordou de uma maneira inteligente e prática. A forma como você propôs um experimento simples e replicável para investigar a eficácia do ChatGPT no desenvolvimento de software demonstra uma abordagem bem pensada.

O experimento, embora simples, é eficaz em fornecer insights iniciais. A comparação entre grupos com e sem acesso ao ChatGPT oferece uma base para uma discussão mais ampla sobre a interação entre IA e desenvolvimento de software. Por outro lado, a principal limitação do seu estudo parece ser o tamanho da amostra. Com um número tão pequeno de participantes, as variações nos resultados podem ser significativas e não necessariamente representativas.

Isso não desvaloriza seu TCC, mas sugere que há espaço para uma investigação mais aprofundada. Seria interessante ver um estudo semelhante com um número muito maior de participantes (centenas, milhares) e que considere variáveis como a proficiência em programação e a experiência prévia com o ChatGPT. Além disso, é imporante mitigar qualquer viés do tipo, será que os participantes que tiveram sucesso com o ChatGPT, não teriam obtido os mesmos resultados sem ele? Ou o pior, alguém que acertaria sem ajuda, ser obrigado a usar a ajuda acabou atrapalhando. - Do ponto de vista prático, acredito que qualquer conclusão do tipo: "estudo prova que usar o ChatGPT ajuda a programar" é estupidez, embora de fato pode ajudar.

O que realmente tem valor aqui é como as melhoras soluções ao desafio com consulta, usaram o ChatGPT. Que tipo de perguntas os estudantes fizeram? Como eles incorporaram as respostas da IA em seu processo de desenvolvimento? Essas são informações práticas, mas valiosas para quem deseja usar o ChatGPT de maneira eficiente no desenvolvimento de software, mesmo sem o embasamento de investigação acadêmica rigorosa.

Parabéns novamente pelo trabalho realizado e pela contribuição ao campo! Continue explorando e estudando! 🌟💻🔍

Dunkedano passado

Olá!

Muito obrigado pela crítica tão bem redigida, tenho certeza que o mundo seria um lugar muito melhor, principalmente na Web, se todos tivessem esse cuidado ao realizar um comentário sobre o trabalho alheio. 🌻

Você levantou pontos muito interessantes a respeito da pesquisa realizada, e aproveitarei este espaço para descorrer um pouco sobre eles.

A quantidade de membros para cada grupo de fato é pequena, e para ter conclusões ainda mais concretas, seria necessário a quantidade centenas ou milhares que você comentou. Infelizmente, dentro do espaço que havia para realizar o desafio do começo ao fim, conseguir um número maior de participantes é algo que ficaria inviável para o projeto. Tendo em mente essa deficiencia, tentei deixar o experimento o mais replicável possível, de maneira geral, para que outras pessoas conseguissem adaptá-lo e replicá-lo dentro de seus próprios contextos.

Por isso, fica aqui meu convite a você, leitor que acompanha essa resposta: basei-se nesta experiêtação para realizar mais pesquisas em campo, ou até mesmo use meu TCC como base para o seu!

Voltando a resposta, parte das informações pertinentes a aplicação do desafio e sua análise preferi deixar somente no TCC, pois o objetivo da publicação era apontar as informações mais relevantes e assim fomentar uma discussão sobre o tema. Assim que conseguir publicar ele, será uma honra compartilhar ele aqui, para aqueles que quiserem mais informações sobre estes detalhes.

Concordamos que o sensacionalismo do 'estudo prova que usar o ChatGPT ajuda a programar' é estúpido, e o ponto que quero atacar é justamente esse. Já temos achismos, sensacionalismos, e gente espalhando desinformação o suficiente, e por isso acredito que chegou a hora de construirmos algo concreto e baseado em fatos, sendo essa minha singela maneira de agregar um pouco mais de certezas às discussões sobre o uso da IA.

Por fim, agradeço de coração por todos os elogios e melhorias apontadas! 🫶🫶🫶

khtano passado
Complementando, acho que seria interessante colocar um terceiro grupo que pudesse usar somente as ajudas tradicionais: Google, Stack Overflow, documentação, e qualquer outro conteúdo da internet que já existia antes do ChatGPT. A única restrição seria não usar nenhuma ferramenta de IA (assim já elimina ChatGPT, CoPilot, Bard, etc). Acredito que assim teríamos um comparativo melhor. Afinal, há muitos anos os desenvolvedores usam a internet como ferramenta de ajuda. Por isso achei meio "injusto" o fato de um grupo não poder consultar nada, é meio irreal se considerarmos o que acontece na prática. Sejamos francos, a maioria das coisas ninguém mais memoriza, muita coisa é consultada na internet o tempo todo. Assim, vc teria um estudo mais realista, pois conseguiria comparar com a situação pré-ChatGPT (pessoas consultando a internet). E aí sim daria para medir algo mais próximo do impacto real deste.
Galandano passado
De fato, acredito que, no final, mostrou-se mais uma pesquisa sobre o impacto da consulta à internet do que sobre o GPT, tendo em vista que o segundo grupo não teve acesso à consulta alguma. De qualquer maneira, é incrível ver como a ausência de um google torna o trabalho mais difícil. Inclusive, remonta à questão de como os programadores estão se tornando cada vez mais dependente de suas ferramentas. Antigamente, os desenvolvedores mais antigos tinham que memorizar a grande maioria dos detalhes para conseguir fazer o seu trabalho. já Os desenvolvedores de hoje precisam de, no mínimo, um google. Então os do futuro precisarão de um GPT pra conseguir trabalhar?
khtano passado
Acho que a questão vai além da dependência. Pra mim o que influencia muito mais é **como** usamos as ferramentas. Por exemplo, praticamente todo mundo usava e ainda usa a internet pra programar (geralmente o Google, que cai em algum link do Stack Overflow, por exemplo). O que muda é como a pessoa usa as informações encontradas. Alguns só copiam e colam o código sem pensar, e se "funcionar" tá valendo. Outros aproveitam para estudar o código, o que ele faz, entender como e porque ele funciona, e se realmente é a melhor solução para o problema. Adivinha qual desses costuma ser um profissional melhor? Qual desses constrói sistemas mais robustos e confiáveis? Qual desses evolui mais na carreira? Claro que tem casos e casos, mas de forma geral, os copiadores de código não costumam se dar tão bem quanto os que procuram aprender com o que pesquisaram. Com o ChatGPT é a mesma coisa. Se a pessoa acredita cegamente em tudo que ele diz, se não tenta entender o que ele sugeriu e sai fazendo de qualquer jeito, sem questionar, cairá no mesmo problema. Pode usar, mas tem que conferir o que ele faz. Tem que aproveitar e aprender algo com aquilo, tem que usá-lo ao seu favor. É assim com toda ferramenta, precisa saber quando usar e quando não usar, e principalmente como usar, com senso crítico e nunca aceitando cegamente tudo que ela te fornece. Com IA não deveria ser diferente.
Dunkedano passado
Pessoal, que discussões interessantes estamos gerando aqui! Acredito que seria muito interessante realizar o mesmo desafio só que comparando o uso do ChatGPT com o uso da Internet, inclusive sugeri isso na seção de Trabalhos Futuros da defesa do TCC. Hoje é muito comum os desenvolvedores utilizarem a internet para tirar dúvidas, resolver erros e verificar implementações, e isso faz com que a área de desenvolvimento de software se torne mais **acessível**. Sem todas as facilidades que existem hoje, com certeza teríamos um déficit muito maior de profissionais para suprir a demanda de desenvolvedores. Não vejo o uso da internet ou de qualquer outra ferramente com maus olhos, pois acredito que muito mais vale o desenvolvedor saber como funcionam e como devem ser implementadas as Regras de Negócio do software desenvolvido do que como funciona e como se implementa as linguagens de programação utilizada. Afinal, a linguagem é um meio para que consigamos implementar um software para atender uma demanda no mundo real, não para entendermos como ela gerencia memória, como suas instruções são executadas e implementadads pelo processador, e todas essas questões mais técnicas de cada uma. Sendo assim, acho que o que torna uma pessoa que desenvolve boa é compreender e implementar plenamente as Regras de Negócio necessárias, assim como melhorias e outras demandas exigidas pelos clientes. E esta pessoas se torna melhor com o conhecimento que ela conquista dentro da linguagem, pois assim ela tem mais subsídio para melhorar o software como um todo.