Sem alguma contrapartida, não vejo razão para fornecer os dados do TabNews exclusivamente para uma ou outra empresa. Apenas se houver uma contrapartida que seja vantajosa principalmente para os criadores de conteúdos.

O Google já fez alguma proposta? 🚀🤩

Já o contrário, impedir uma ou outra empresa de raspar nossos dados, pode valer a pena se não concordarmos com o que a empresa faz com eles, ou se a raspagem não é feita com o cuidado de não impactar significativamente no uso dos nossos recursos.

Sobre o último ponto, já precisei bloquear pela Cloudflare algumas redes usadas para raspagem e que estavam abusando nas requisições continuamente.

De qualquer forma, acho importante a discussão sobre como deveríamos configurar nosso robots.txt.