A IA se sai bem no começo, mas sua precisão cai à medida que o projeto cresce.
Você está certíssimo!
A queda na precisão da IA conforme o projeto cresce vem da arquitetura dos modelos transformers atuais, que usam memória quadrática. Isso limita o tamanho do contexto que eles conseguem processar, não importa quanta memória ou otimização usemos — a partir de certo ponto, a IA simplesmente perde a visão do todo. A boa notícia? Transformers mais eficientes, com complexidade "n log n", já são realidade na pesquisa e uma nova geração de LLMs estão sendo treinados neste exto momento que estarão disponíveis nos próximos meses. Com a possibilidade de contextos virtualmente infinitos, a IA vai dominar a codifação e isso é fato consumado só não ver e aceita quem não quer...
Mas isso não significa o fim dos engenheiros de software — a ingenuidade humana ainda será essencial.
Caramba isso é incrível, nao sabia dessa nova geração de IA, será que o GPT 5 ja chega com essa possibilidade de contexto?
Com a possibilidade de contextos virtualmente infinitos, a IA vai dominar a codifação
Na verdade? Não, a janela de contexto de um LLM funciona de forma parecido com a equação do foguete, quanto mais o contexto cresce, mais compressão com perdas o modelo faz para buscar tópicos e ironicamente mais degradada a informação se torna e mais s ia alucina
Você está se referindo ao Infini-attention?