Fiz um robo de scraping em 3horas, somente usando GPT4-o ele me disse a linguagem e como instala-la, rodar no windows 10, bem como os pacotes necessários, a página tinha lazy load + proteç ão no email por cloudflare. O resultado foi gerado um csv com nome, profissao, email, telefone, e redes sociais, de um site! Foram 2 robos. O primeiro ele lia a página inicial e gerava uma lista csv de todos os links 3500+-, o segundo lia esta lista e gerava outro CSV com os dados finais! Demorou pra extrair estas informações umas 12horas! Detalhe nunca tinha trabalhado com Python! Foi utilizado Python + Selenium + webdrive chrome + beautifulsoup4 + Panda
Bacana, se tu gosta de Web Scraping e quer aprender mais recomendo esse livro aqui: Web Scraping com Python – 3ª Edição: Coletando dados da web moderna
Tenho a a segunda edição dele, não lí de cabo a rabo mas o que eu ví até agora com certeza me trouxe mais confiança e "dicas" do que fazer em determinadas situações.