Minha pergunta é:
Com o adiventos das IA e seus crawlers os sites estão mais chatos com relação a scraps! Com uso grande da ferramenta da Cloudflare que detecta muito bom robos em ação!
E com mais difusão de outros sistemas de antibot(com captchas ou detecção de outras formas) além do uso de IPS(um mesmo IP acessando muitas páginas pode ser bloqueado)
Como seu sistema supera esses problemas?
Na verdade já temos soluções para tudo isso por fora, por exemplo para "enganar" a CloudFlare temos um plugin do puppeteer-extra chamado StealthPlugin.
Para resolver os Captchas temos um plugin do puppeteer-extra também, por exemplo, para o reCaptcha temos o RecaptchaPlugin e deve ter para outros também.
Para resolver o bloqueio do IP você pode usar Proxies e/ou CORS Proxies que é um recurso já disponível atualmente na plataforma.
O que me falta mesmo é um pouco de tempo e sentir confiança dos usuários da plataforma para integrar essas funcionalidades...