A revolução da Inteligencia Artificial, só que não.... Parte 3 - O apagão digital...

Parte 3 - A Revolução da Inteligência Artificial, só que não... (Continuação)

Introdução: Relembrando a Jornada

Olá a todos, se você está acompanhando essa série, já discutimos muito sobre a realidade e os mitos que cercam a Inteligência Artificial (IA). Nos artigos anteriores, eu trouxe uma visão crítica sobre o hype em torno da IA e questionei se realmente estamos testemunhando uma revolução ou apenas nos deixando levar por promessas vazias.

Para quem ainda não leu as primeiras partes, aqui estão os links:

Agora, vamos mergulhar em um exemplo recente que exemplifica as preocupações levantadas no artigo anterior.

O Caso do Apagão Cibernético de Julho

Em julho de 2024, o mundo testemunhou um evento cibernético que acendeu um alerta vermelho sobre os riscos que corremos ao depender de tecnologias avançadas sem uma compreensão completa de suas limitações. Segundo a CrowdStrike, a causa do apagão cibernético que ocorreu nesse período foi resultado de uma falha associada ao uso de Inteligência Artificial em sistemas críticos.

Impacto Global e Prejuízos

O apagão cibernético de julho de 2024, causado por uma falha na plataforma de segurança cibernética da CrowdStrike, afetou serviços críticos ao redor do mundo. Esse incidente resultou em impactos significativos, incluindo:

  • Interrupções em Serviços Globais: O apagão afetou aeroportos, redes de televisão, telecomunicações e até mesmo bolsas de valores em várias regiões.
  • Consequências Econômicas: A CrowdStrike sofreu uma perda de valor de mercado estimada em US$ 9 bilhões.
  • Tempo de Recuperação e Custo: Empresas enfrentaram longos períodos de inatividade e elevados custos para mitigar os efeitos do apagão e restaurar suas operações. Sem contar que clientes estão processando a empresa.

O Perigo da Dependência Cega

Este caso não é isolado. Como mencionei na Parte 2, a IA atual é probabilística, ou seja, ela faz suposições baseadas em padrões de dados, mas essas suposições estão longe de serem infalíveis. A dependência cega de IA em áreas sensíveis pode ter consequências devastadoras, como foi o caso do apagão.

É crucial que as empresas e os desenvolvedores entendam que a IA, embora poderosa, tem limitações inerentes. A falha no sistema que levou ao apagão cibernético não é apenas um problema técnico; é um sintoma de um problema maior: a falta de compreensão e preparação para lidar com as imperfeições da IA.

Um Caminho Responsável para o Futuro

Olhando para o futuro, é essencial que mudemos a forma como lidamos com a IA. Não podemos tratá-la como uma solução mágica para todos os problemas tecnológicos. Devemos abordá-la com cautela, sempre cientes de suas limitações e prontos para intervir quando as coisas saem do controle.

Para encerrar, quero deixar claro que não sou contra a IA. Pelo contrário, vejo um enorme potencial nela. No entanto, acredito firmemente que precisamos de uma abordagem mais responsável e consciente para integrá-la em nossas vidas e negócios.

Se você deseja ler mais sobre o apagão cibernético de julho e como ele está relacionado com o uso imprudente de IA, confira o artigo da Forbes: CrowdStrike revela o que causou o apagão cibernético de julho.

Conclusão

Estamos em um ponto crucial da evolução tecnológica. Podemos escolher seguir o caminho da euforia desenfreada, ignorando os sinais de alerta, ou podemos adotar uma abordagem mais equilibrada, onde o uso de IA seja guiado por princípios sólidos e uma compreensão profunda de suas capacidades e limitações. Eu opto pela segunda opção, e você?

Espero que essa série de artigos esteja ajudando a abrir os olhos para a realidade que nos cerca. Vamos continuar essa conversa e, juntos, trabalhar para um futuro onde a tecnologia realmente sirva ao bem comum.

Entendo que a IA e suas promessas possam paracer bem revolucionárias e que no fundo é mais uma tecnologia que vamos nos acostumar e tratar como todas as outras, mas o caso da CrowdStrike é mais um erro de não testar profundamente o software e não um problema de IA, como divulgado recementemente:

"Em 19 de julho de 2024, uma atualização de Conteúdo de Resposta Rápida foi entregue a determinados hosts do Windows, evoluindo a nova capacidade lançada pela primeira vez em fevereiro de 2024. O sensor esperava 20 campos de entrada, enquanto a atualização fornecia 21 campos de entrada. Nesse caso, a incompatibilidade resultou em uma leitura de memória fora dos limites, causando uma falha no sistema."

Sim o conteúdo de resposta rápida é feito por IA. Leia nas notícia onde a própria empresa declara: O que aconteceu Em seu RCA, a empresa descreve como seu sensor CrowdStrike Falcon “oferece IA e aprendizado de máquina para proteger os sistemas do cliente, identificando e remediando as ameaças avançadas mais recentes”. O problema que levou à interrupção decorre de um novo recurso que foi adicionado ao seu sensor em fevereiro, “para permitir a visibilidade de possíveis novas técnicas de ataque que podem abusar de certos mecanismos do Windows”. Leia mais em: https://forbes.com.br/forbes-tech/2024/08/crowdstrike-revela-o-que-causou-o-apagao-cibernetico-de-julho/ Este é exatamente o problema que cito no artigo 2. sobre começar a se tornar impossível testar e verificar tudo que a IA faz. Não é que eles falharam em testar, não há como testar tudo, a IA produz mais e mais complexo do que times humanos podem analisar. É possível aumentar lentamente salvaguardas para impedir que erros passem nos testes claro, mas ai está o grande problema a IA está lá para produzir mais e economizar em mão de obra, mas para que ela não cause problemas quanto mais ela produz mais precisa de aumento de mao de obra qualificada para monitorala e evitar erros entende a bola de neve? O problema que as empresas nao estao aumentando a mao de obra para isso por que estamos em uma bela crise financeira (Leia artigo 1) e ai é que mora o perigo.
Eu entendi, e não discordo que com a IA os testes começam a ficar bem mais nebulosos e difíceis de prever, mas no caso da Crowdstike era um bug de campos, onde nos testes feitos eles adicionaram um campo a mais do que era esperado: https://www.crowdstrike.com.br/channel-file-291-rca-executive-summary/ Mas concordo com você dos perigos de dependermos cegamente da IA, só falei que nesse caso o bug aconteceria mesmo se não tivesse IA.
Não, meu amigo, o erro foi cometido por IA, e para falar a verdade, por mais de um modelo de IA. Recomendo que leia "TODO" o relatório oficial em PDF da Empresa aqui(estou colocando para os outros também verem): https://www.crowdstrike.com.br/channel-file-291-rca-executive-summary/ Vou dar uma resumida. O documento está em inglês, por isso vou colocar os trechos traduzidos: **Página 3 - trecho que fala:** "Descobertas:**O Conteúdo de Resposta Rápida para o Arquivo de Canal 291 instruiu o Intérprete de Conteúdo a ler a 21ª entrada da matriz de ponteiros de entrada. No entanto, o tipo de modelo IPC gera apenas 20 entradas.** Como resultado, depois que o conteúdo de resposta rápida foi entregue e usou um critério de correspondência não curinga para a 21ª entrada, o intérprete de conteúdo executou uma leitura fora dos limites da matriz de entrada. Esta não é uma gravação arbitrária na memória e foi revisado de forma independente." while True: (kkk) Ou seja, uma instrução criada por IA, que é o conteúdo de resposta rápida passada ao modelo (também uma IA), gerou um comportamento errado. **(Para entender o que é o conteúdo de resposta rápida leia o ultimo trecho publicado neste post)** **Página 7:** **Página 4** Descobertas: **o validador de conteúdo avaliou as novas instâncias de modelo.** Contudo, baseou sua avaliação na expectativa de que o Tipo de Modelo IPC receberia 21 insumos. Isso resultou no envio da Instância de Modelo problemática ao Interpretador de Conteúdo. **Ou seja, o Validador de Conteúdo também é um algoritmo de aprendizado de máquina, que também falhou ao não ter mitigação nem trabamento pro erro.** **Página 5:** Descobertas: Os tipos de modelo recém-lançados são testados em vários aspectos, como utilização de recursos, impacto no desempenho do sistema e volume de detecção. Para muitos tipos de modelo, incluindo o tipo de modelo IPC, uma instância de modelo específica é usada para testar a resistência do tipo de modelo, comparando com qualquer valor possível dos campos de dados associados para identificar interações adversas do sistema. Ou seja, muitos tipos de algoritmos trabalhando e gerando informação. **Página 6:** Descobertas: **Cada instância de modelo deve ser implantada em uma implementação gradual. Mitigação: O Sistema de Configuração de Conteúdo foi atualizado com recursos adicionais, camadas de implantação e verificações de aceitação. A implantação em etapas reduz o impacto se uma nova instância de modelo causar falhas, como falhas no sistema, picos de volume de detecção de falsos positivos ou problemas de desempenho.** As novas instâncias de modelo que passaram no teste canário devem ser promovidas sucessivamente para anéis de implantação mais amplos ou revertidas se forem detectados problemas. Cada anel é projetado para identificar e mitigar possíveis problemas antes de uma implantação mais ampla. A promoção de uma Instância de Modelo para o próximo anel sucessivo é seguida por um tempo de preparação adicional, onde a telemetria é coletada para determinar o impacto geral da Instância de Modelo no endpoint. **A CrowdStrike contratou dois fornecedores independentes de segurança de software** terceirizados para conduzir uma revisão mais aprofundada do código do sensor Falcon para segurança e garantia de qualidade. Além disso, estamos conduzindo uma revisão independente do processo de qualidade de ponta a ponta, desde o desenvolvimento até a implantação. Ambos os fornecedores iniciaram revisões com foco imediato no código e processo impactados em 19 de julho. Ou seja, só agora eles entenderam que precisam ir mais devagar e checar tudo lentamente, o que aumenta os custos de mão de obra devido à necessidade de aumentar as equipes, mesmo que terceirizadas. **Página 7:** **Conteúdo do sensor:** Determina como combinar dados relevantes para a segurança com conteúdo de resposta rápida para tomar determinadas decisões de detecção. **O conteúdo do sensor inclui IA no sensor e modelos de aprendizado de máquina, bem como tipos de modelo. Ele é compilado como parte da liberação do sensor.** **Ou seja, aí voltamos ao primeiro parágrafo que escrevi do documento: o "conteúdo de resposta rápida feito por IA" causou o problema.** `# Condição para continuar ou sair do loop` if usuário ainda não entendeu: break É exatamente como se você pedisse ao Chat GPT para fazer uma tabela para você com 20 campos e ele devolvesse com 21. Foi uma IA que fez isso, entendeu, por falta de mecanismos de validação. Não confie muito no que lê em canais de notícias por aí. Vá na documentação oficial e sempre leia toda ela, porque as coisas importantes ficam espalhadas e muitas vezes escondidas em linhas e linhas miudas para você ter preguiça de ler, a mídia não tem muito interesse em falar sobre erros da IA, até porque estraga a imagem deles mesmos, que estão usando IA aos montes, além de serem preguiçosos demais e saberem que o público também é preguiçoço para ler e dificilmente se ve um jornalista sério fazendo um artigo descente. Eu jamais escreveria um artigo inventando um motivo.
Ah entendi, erro meu então, eu li o próprio comunicado de incidente e interpretei que em produção colocaram um campo a mais do que era previsto nos testes, se foi a própria IA que estabele a quantidade de campos, isso então é uma falha difícil de ser prevista e bem imprevisível.
Exatamente, agora imagine muitas ias fazendo isso todo dia kkk

Grato pelas informações e pelo alerta. Importantes.