E se ao invés de perder o contexto, ele esteja com "contexto demais"?
O modelo busca as informações com base no que processou, na pergunta inicial, tendemos ser mais diretos, logo, ele vai buscar o que pedimos, na segunda questão, temos detalhes da primeira, logo, ele vai buscar a primeira + segunda para gerar a resposta, e assim segue.
Não seria esse "emburrecimento" do GPT uma grande confusão interna ao tentar manter uma linha de raciocinio? Ele busca informações demais, não consegue montar algo concreto, apenas pedaços de tudo o que encontrou e então retorna. Para mim faz sentido pensar assim já que é o modos operandi do modelo, buscar e montar a resposta com base no que ele acha certo. Se ele tem um monte de coisas que são certas, e sabendo que ele não tem uma capacidade de decisão apropriada para dividir isso, ele retorna um picotado delas já que estão todas certas kkkkk
Bom, foi isso o que pensei, e talvez eu esteja errado... mas talvez esteja certo kkkk Parabéns pelo projeto, muito bom!
Sim, você está absolutamente correto. Se considerarmos que, em essência, tudo se resume a um exercício estatístico de predição de "palavras" subsequentes, fica claro que quanto mais ampliarmos o contexto de uma sessão de chat, mais opções estatísticas o modelo encontrará para a próxima palavra, aumentando, consequentemente, a probabilidade de um erro na resposta.
Para ilustrar este conceito, podemos recorrer ao famoso paradoxo do programa de TV conhecido como o "Problema de Monty Hall". Neste show, o apresentador apresenta ao concorrente três portas, uma das quais esconde um carro (o prêmio), e as outras duas, cabras. O jogador escolhe uma porta inicialmente. Em seguida, Monty, que conhece o que está por trás de todas as portas, abre uma das duas portas restantes que o jogador não escolheu e que contém uma cabra. Monty então pergunta ao jogador se ele gostaria de manter sua escolha original ou mudar para a única porta restante não aberta.
A intuição pode sugerir que não importa se o jogador muda de porta ou não, pois agora existem apenas duas portas e, portanto, a probabilidade seria de 50%. No entanto, as probabilidades estatísticas contam uma história diferente. Se o jogador mantiver sua escolha original, a probabilidade de ganhar o carro é de apenas 1/3, enquanto se ele mudar de porta, a probabilidade aumenta para 2/3.
Este paradoxo, embora contra-intuitivo, destaca a importância do contexto na análise estatística. Da mesma forma, se ampliarmos o contexto de uma sessão de chat e acrescentarmos mais "portas" (ou seja, opções de palavras), a probabilidade de "acertar" a próxima palavra correta (ou seja, produzir uma resposta relevante e precisa) diminui, assim como no "Problema de Monty Hall", a probabilidade de ganhar diminui se o jogador não mudar sua escolha depois que uma das portas erradas é eliminada.
A compreensão precisa de como o ChatGPT funciona nos permite explicar, de uma perspectiva matemática, por que após a exportação de todos os arquivos para o contexto de uma sessão de chat e a instrução ao GPT-4 para executar uma tarefa, os primeiros prompts se mostram particularmente brilhantes. No entanto, à medida que solicitamos a criação de novos recursos e outros comandos, é notável que a qualidade das respostas se degrada progressivamente. Em termos estatísticos, sempre que ampliamos o contexto, a qualidade das respostas tende a se reduzir gradualmente em direção à mediocridade.
Questiona-se então se, com o desenvolvimento e lançamento de novas versões do GPT, essa degradação gradual será menos aparente.
Idealmente, devemos ter a capacidade de enviar todos os arquivos de contexto, registrar instantâneos do contexto com todos os arquivos relevantes e, ao realizar um novo prompt, fazê-lo com um contexto limpo, como se fosse uma nova sessão, mas que já contém todos os arquivos funcionais recentes. Parece que um procedimento semelhante a este será necessário mas atualmente não é possível fazê-lo de maneira automática.
A sua resposta ilustra as limitações inerentes aos Modelos de Linguagem de Grande Escala (LLMs), categoria de AI na qual o ChatGPT se insere.