A IA parece saber tudo... até você pedir pra ela justificar 😬

Eu também acho incrível o mar de possibilidades q a IA vem criando, mas você tá ligado nas armadilhas⁉️

Veja este exemplo:

Eu pedi pra IA revisar um trabalho de arquitetura que estou finalizando aqui no GRAN (empresa onde trabalho) e ela fez algumas recomendações, nada fora do esperado, até pq ela não tem o contexto que eu tenho sobre o projeto.

O projeto não é dos mais simples e envolve uma sopa de termos técnicos: SQS, Dynamo, Lambda, DLQ, CloudFront, SES, REST, Stream, TTL, S3, OpenIA, Slack, Fargate, ECS, NextJS e por ai vai... 🤯

Mesmo assim, à primeira vista, as sugestões parecem fazer sentido, mas olhando direito achei coisas inapropriadas (na minha visão), então eu comecei a pedir pra ela justificar as recomendações... 🤷‍♂️

Pra minha surpresa, ela imediatamente começou a mudar de opinião, de certa forma até me bajulando pra tentar amenizar uma recomendação "errada" (q só virou errada pq eu pedi para justificar), o que me deixa extremamente desconfiado! 🤔

Isso me parece uma belíssima armadilha! ☢️

É preciso estar muito atento pra entender até onde uma inocente recomendação realmente faz sentido ou não pra um determinado projeto, além de tomar cuidado com o modo "bajulador" q pode acabar apenas dizendo o q vc quer ouvir...

E eu não vou nem falar do perigo daquele textão 3G (gerado, gigante e genérico) que, na integra e sem revisão, vira documento institucional.

Fica ligado! 😉

Flw, vlw, bj... tchau!

Meus 2 cents:

IA/LLMs tem um bocado de informacao mas zero discernimento.

Falo um pouco disso aqui:

https://www.tabnews.com.br/Oletros/como-funciona-a-ia-bibliotecaria-e-cartomante

Resumo da opera: quando mais complexo o assunto, cheio de interpolacoes, conhecimentos cruzados e tecnologias distintas - maior a probabilidade da IA se perder.

Melhorias que estao sendo feitas no tamanho das janelas de input/output e desenvolvimento de MCPs de memoria/contexto/RAG provavelmente darao mais substancia as respostas em um futuro proximo. Falo tambem um pouco sobre isso aqui:

https://www.tabnews.com.br/Oletros/mcp-server-como-o-context7-faz-rag-e-melhora-seu-codigo-e-a-armadilha-que-ninguem-te-conta

Enquanto isso, consuma LLM com moderacao (e uma cartela de Tylenol a mao caso necessario).

Tenho vivido isso na prática diariamente! A maioria dos projetos em que trabalho envolve muitas pontas, com muitos detalhes... raramente são casos simples. No geral, ainda assim a IA consegue me ajudar... mas eu curto mais usá-la como revisora em projetos mais complexos, e mesmo assim sempre desconfiando do que ela aponta.
Meus 2 cents extendidos: Tenho interagido bastante ultimamente com IA/LLM e tentando entender como usa-la como ferramenta util para DEV e semelhantes. Existem 3 desafios: 1. Entendimento do projeto: como a IA nao faz ideia de como teu projeto funciona, eh necessario uma forma de deixar este conhecimento claro. Diversos estudos estao sendo feitos utilizando arquivo PRD.md ou semelhante, contendo todas as informacoes persistentes que a IA precisa ter na mao para tomar decisoes. 2. Memoria persistente entre interacoes: Ainda que alguns LLMs consigam persistir parte do contexto entre as interacoes, a janela de input eh um limitador e apos 2 ou 3 interacoes com prompts longos a IA costuma "esquecer" o que tinha sido dito antes ou mesmo no inicio do prompt. Dai tambem surge a necessidade de "quebrar" longos prompts em atividades menores e mais facilmente gerenciaveis pela IA. Solucoes usando MCP de memoria e apoio com arquivos em markdown ou mesmo DB de vetores estao em franco desenvolvimento - e que podem ajudar nestes 2 desafios iniciais. Alguns exemplos: https://github.com/eyaltoledano/claude-task-master https://medium.com/@vrknetha/the-ultimate-guide-to-ai-powered-development-with-cursor-from-chaos-to-clean-code-fc679973bbc4 3. Conhecimento atualizado: A IA/LLM tem o conhecimento que foi utilizado em seu treinamento - atualizacoes precisam ser informadas. Existe uma tecnica especifica (RAG) para isso e diversos MCPs estao surgindo para ajudar neste sentido. O Context7 (que listei no comentario anterior) eh um exemplo disso. Enfim - diversas ferramentas estao surgindo para enfrentar estes desafios. O nosso eh conseguir entender como utiliza-las para que a IA/LLM seja o que precisamos dela: uma ferramenta de apoio incansavel e disponivel 24/7.

Você pediu pra IA revisar um projeto denso, com termos técnicos avançados, e se surpreendeu porque ela não teve o mesmo contexto que você, um ser humano envolvido no projeto há semanas ou meses, tem. Ué... sério?

Mas aí vem o mais curioso: você pediu justificativa, e ao perceber que ela recuou ou mudou o tom, concluiu que ela “bajula”. Mas será que ela bajula… ou será que só está ajustando a resposta ao seu contra-argumento, como qualquer pessoa razoável faria numa conversa técnica de verdade?

A diferença é que, quando um estagiário muda de opinião depois que você aponta um furo, você chama de aprendizado. Quando uma IA faz isso, você chama de armadilha.

A real é que a IA é um reflexo brutal da maneira como você conduz o diálogo. Se você busca validação, ela dá. Se você confronta, ela recua. Se você desafia, ela explica, ou tropeça. E é justamente aí que mora o poder: ela força você a pensar, a questionar, a não aceitar resposta pronta. Isso não é um risco. É um treino.

A IA não substitui sua análise. Nunca prometeu isso. Mas ela amplia. Ela tensiona. Ela provoca. E se você se incomodou porque ela pareceu “ceder fácil demais”, talvez o incômodo maior seja perceber o quanto você mesmo pode estar esperando demais de uma ferramenta, e entregando de menos como pensador crítico.

No fim, a armadilha não é a IA. A armadilha é usar uma ferramenta tão poderosa esperando que ela pense no seu lugar… e depois culpar ela quando você não questiona.

Fica ligado! 😉

Então... eu não fiquei surpreso por ela não ter o mesmo contexto, inclusive até comecei o post tentando explicar que eu já esperava isso, quando escrevi: > ...nada fora do esperado, até pq ela não tem o contexto que eu tenho sobre o projeto... Eu inclusive concordo com a maioria dos pontos que vc colocou! #paz Porém, há pontos q não sei se concordo... por exemplo, sobre a questão de bajular. Pelo que li depois, parece q diversas pessoas sentiram o mesmo comportamento exageradamente bajulador nesses últimos dias... Inclusive o próprio Sam Altman fez [este post no X](https://x.com/sama/status/1916625892123742290?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1916625892123742290%7Ctwgr%5Efc37cf83a439b861bfbb8f20d273677fc2408a1f%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Ftecnoblog.net%2Fnoticias%2Fchatgpt-esta-agindo-como-um-puxa-saco-e-o-ceo-ja-promete-mudancas%2F) falando sobre isso... e até prometeu correções: o que prova que minha percepção tinha fundamentos reais. Tipo, eu não acho que qualquer estagiário sensato abandonaria sua própria proposta e me encheria de elogios, só pq eu perguntei: > pq vc está me recomendando ter uma DLQ neste caso? Eu acho que o caminho natural seria tentar explicar a proposta... mas acho q a parametrização do ChatGPT, pelo menos naquele momento, fez ele se comportar bem diferente do esperado e foi aqui que eu fiquei negativamente surpreso rsrs **Meus 2 cents:** Eu concordo com vc que a verdadeira armadilha é esperar que a IA pense por vc, eu estava justamente tentando passar essa dica para as pessoas... para elas ficarem ligadas. Talvez eu não tenha explicado direito :( Eu não sei vc, mas eu acho meio utópico pensar que todo mundo vai fazer os questionamentos e reflexões necessárias para usar a IA de forma correta. Talvez eu esteja um pouco pessimista aqui... mas eu acho q a maioria das pessoas tende a simplesmente consumir sem pensar muito... assim como é feito com muita fake news por aí. Sei lá... isso me faz pensar que vale a pena tentar alertar a galera, principalmente quem é iniciante ou não tem um contexto tecnológico. Fica ligado! 🫶
Boa, agora entendi melhor o seu ponto. De fato, você já tinha mencionado a limitação de contexto da IA logo de cara. Minha provocação foi mais sobre como a gente interpreta quando a IA muda de ideia: será que é bajulação… ou só o reflexo da forma como conduzimos o diálogo? Porque sejamos honestos: se um estagiário muda de opinião após um argumento seu, você chama de aprendizado. Mas se a IA faz isso, vira “sinais de bajulação artificial”. Ué… parece que quando o ego tá em jogo, até a lógica entra em modo de manutenção 😂 Sobre o que você disse do Sam Altman, sim, também vi a postagem dele e concordo — tem hora que o modelo escorrega pro “coach carismático que só falta te oferecer um café”. Isso precisa de ajuste mesmo. Mas o ponto é que o problema não é só a IA parecer bajuladora. É a gente se sentir ameaçado quando ela muda de tom rápido demais. E aí, meu caro, talvez a pergunta incômoda seja: será que a gente queria mesmo uma resposta… ou só alguém que confirmasse nosso raciocínio com cara de gênio? No fundo, a IA não pensa por você. Ela só faz parecer que tá pensando, o que é bem mais perigoso. A armadilha é a ilusão de inteligência, não o modelo em si. E sim, você tem razão de estar preocupado com quem consome isso tudo sem questionar. A maioria vai engolir resposta de IA do mesmo jeito que compartilha corrente de WhatsApp com “URGENTE” em caixa alta. Por isso seu alerta é valioso. Mas confessa: se ela tivesse elogiado um pouco menos e usado um termo em grego, você talvez até chamasse de sênior 😏 No fim das contas, estamos de acordo. Usar IA direito dá trabalho. E se não dá, é porque você virou o chatbot. 🫶
Eu concordo e confesso! E isso me dá medo, mano! Tipo, no final, somos apenas humanos, falhos e limitados... Eu estou usando IA pra um monte de coisas (muito além de apenas o trabalho técnico) e não sei até que ponto estou preparado pra questionar e argumentar com a IA... Talvez seja uma viagem da minha cabeça... mas parece que um pequeno "ajuste" de parâmetros pode influenciar milhões de pessoas... que podem não perceber, caso a "recomendação" seja mais sutil... isso é meio sinistro e fico bolado! Acho que ainda sei pouco sobre o que tem nessa "caixa preta", mas sinto que somos levados a acreditar que ela pensa, o que é perigoso! Outro dia, vi um vídeo muuuuuito didático sobre como isso funciona. Acredito que você já tem um conhecimento mais avançado, mas vou deixar o vídeo aqui para eventuais outros leitores: https://www.youtube.com/watch?v=LPZh9BOjkQs