Muito boa postagem, exemplificou bem alguns dos problemas dessa área. Sinto falta de discussões como essa sobre o assunto aqui no TabNews. Parece que a maioria dos conteúdos é direcionado à área de desenvolvimento web. Falando nisso, alguém teria uma indicação de lugar de divulgação/debate de assuntos relativos a esse tema?
Eu também sou dos que prefere utilizar Python. Inclusive há um crawler muito bom que já utilizei para projetos pessoais, o Scrapy. É uma ferramenta bem robusta.
Utilizei o Scrapy também, gostei bastante. Simplifica muito lidar com questões chatas que ocorrem quando utilizamos o requests ou httpx.
Eu acredito que há certa escassez de fóruns dedicados ao assunto mesmo, o material é bem espalhado pela web. Tem um livro que estava na minha lista de compras durante um tempo, mas não cheguei a comprar pra dizer se é bom. Parece ser, pelo que li dele.