Você usa alguma lib para webscraping? Tens um repo de exemplo? Eu fiz alguns webscraping com java + selenium, mas eu quero encontrar algo que utilize menos recursos, pois a ideia é colocar isso pra rodar num Odroid XU4 que eu tenho aqui e deixar os dados disponibilizados para os meus testes/projetos de machine learning e ciência de dados no geral...

uso o beautifulsoup quando o request ja traz o HTML completo. tutorial

realmente usar um navegador completo deixa bem pesado.