Eu tenho visto muitos casos como esse, e a tendência a longo prazo é destruirem a iniciativa live e open-source que não tem como bancar as despesas de hosting por conta dos crawlers.

Acho que a solução seria algo como "boi de piranha". O próprio site dispor de download do conteúdo em alguma área FTP configurada em hosting mais barato, ou um feed RSS zipado... Pra não ter que amargar uma conta de cartão de crédito dobrando a cada 4 meses.