O primeiro passo é ler o artigo que introduziu o Google ao mundo. Este documento é uma referência fundamental no campo de crawlers de web e motores de busca.

http://infolab.stanford.edu/~backrub/google.html

Python, sendo a linguagem usada nos primeiros crawlers do Google, é uma escolha adequada para o desenvolvimento de crawlers de web.

Ao construir crawlers, a limitação não está na velocidade da linguagem de programação, mas sim na espera por respostas da rede. Portanto, uma linguagem "mais rápida" não vai trazer benefícios significativos. A melhor abordagem para melhorar a eficiência do crawling não é mudar a linguagem, mas sim usar um cluster de crawlers distribuídos. Isso vai aumentar significativamente a velocidade e a abrangência do processo de crawling.

A inteligência artificial pode ser usada após o processo de crawling para gerar sumários das páginas, gerar listas de sinônimos e listar todas as entidades nomeadas reconhecidas. Esses processos podem enriquecer os dados coletados, tornando a busca mais eficiente. Em vez de buscar correspondência direta no texto original da página, pode ser mais eficaz e útil buscar similaridade nos textos gerados pela IA.

Finalmente, tenho dúvias sobre o uso do ElasticSearch, ele é uma ferramenta poderosa que abstrai muitas das complexidades envolvidas no armazenamento, indexação e recuperação de grandes volumes de dados. Embora isso seja vantajoso em termos de facilidade de uso, é limitador na compreensão dos processos subjacentes e na customização destes para suas necessidades: indexar a web inteira.

Por exemplo, o ElasticSearch usa o BM25, um algoritmo de ranking sofisticado, para determinar a relevância dos documentos em relação a uma consulta. No entanto, ele faz isso de forma opaca, sem permitir que o usuário explore e entenda plenamente todas as nuances e complexidades desse algoritmo. Para construir um motor de busca que seja verdadeiramente personalizado e otimizado, é crucial entender e possivelmente modificar tais algoritmos de acordo com suas necessidades.

Compreender como armazenar e indexar muitos terabytes de dados de forma eficiente é fundamental no desenvolvimento de sistemas de busca. O ElasticSearch gerencia essas tarefas de maneira eficaz, mas também mantém os detalhes internos ocultos, como a estrutura de índices e o gerenciamento de arquivos. Esse conhecimento oculto pode ser essencial para otimizar o desempenho e a eficácia de um sistema de busca, especialmente quando lidamos com requisitos específicos ou desafios únicos de indexar toda a Web.

Show de bola! Acho que precisamos de mais search engines independentes e nos livrar do oligopólio.

Sobre opções para fazer um crawler, sinto que preciso dizer que qualquer linguagem serve! Sério, qualquer linguagem que permita que você faça uma request http e que você consiga fazer o parsing do conteúdo, serve. Mas o ponto principal é que nem todas são ideais, todas servem, mas não necessariamente devem ser utilizadas.

Uma search engine precisa, em média, mais de 2TB de dados (uma pesquisa que fiz a um bom tempo atrás, não consigo afirmar com certeza) para conseguir servir buscas decentemente. E isso é só o começo, você vai precisar muito mais do que isso e manter todo esse índice atualizado. Logo, ou você tem um processo muito otimizado e rápido, ou você vai gastar dinheiro em compute e tempo.

Então, voltando as ferramentas, recomendo escolher uma linguagem baseada nessas nescessidades, até por que nenhuma tem uma biblioteca "Google" já pronta pra você. Minha opinião: descarte Selenium imediatamente, gasta muito recursos e não vale a pena, escolha Rust/Go ou qualquer linguagem minimamente rápida (infelizmente python não é) para o desenvolvimento.

Isso é só minha visão, então estude e veja o posicionamento dos outros para ver possíveis caminhos. Espero que tenha ajudado.

PS: para evitar ser barrado como bot sei que a Cloudflare tem uma página sobre como se inserir no programa de search engines e ter um "passo livre" fazendo web crawls.

Elasticsearch é uma das ferramentas mais fodas que existem, show de bola seu artigo.

Nao sei se eu cheguei tarde no post, mas existe uma outra alternativa legal para o elasticsearch https://www.meilisearch.com/.

Eu ja usei o ES em producao (mais especificicamente o OpenSearch da aws), eu ainda nao usei esse meilisearch mas ele me parece melhor, vi uns benchmarks e ele performava melhor, sendo que a DX dele tambem me parece melhor, as queries se assemelham mais a outras ferramentas ja usadas.

Claro que existem outras coisas para se colocar na balanca, ate pq o seu desafio eh gigante entao quanto menos incertezas melhor rs

Atualmente ando trabalhando com Elasticsearch também, juntamente com IA.

recomendo que dê uma olhada nesse exemplo de RAG com elastic search: https://www.elastic.co/search-labs/blog/articles/privacy-first-ai-search-langchain-elasticsearch

Uma das coisas interessantes também para se fazer com IA é a geração de Tags e classificadores durante o crawl. Algo também que deve ser levado em consideração é a técnica de fingerprint para que não haja documentos duplicados nos seus índices.

Por fim uma das formas de melhorar os resultados obtidos do elastic, é por meio do similarity search. Onde você indexa também um vetor com os embeddings do documento. Em seguida durante o search você procura através do embedding.

A técnica anterior pode ser melhorada utilizando conceitos como HyDE e RRF