Da hora de mais! Usar o Apache Spark como solução de engine de dados em memória ajuda muito a escalar o processamento, de forma barata. Gosto bastante hehe.