Pitch: Criei um mecanismo de busca, GoFind.
GoFind é para ser um mexanismo de busca feito usando o maximo de tecnologias possiveis para eu aprender, nele, uso o Next.JS, TailWild CSS, tentando ESLint e MongoDB.
E um site simples (que ganhou nota maxima no site do Google SpeedTest, não sei como), e ele tem poucos sites até o momento, estou testando um web scrapper, alem do mecanismo tambem se basear, ainda irá, no conteudo em si de sia pagina.
Link:GoFind
Aceito sugestões 😃.
Minha sugestão é ver o projeto https://github.com/yacy. É um mecanismo de busca que faz indexação e ainda pode funcionar de forma distribuida utilizando o DTH. Isso pode te ajudar.
Me sinto pessimo por não entender certas coisas, mas gostei demais de sua ajuda!