Olha, particularmente eu não gosto de Wordpress, mas reconheço que ele tem uma importância grande para a web, afinal, maioria dos sites e portais são feitos com Wordpress!

Mas respondendo a questão, para ter um site fluído e rápido, o ideal é desenvolver mesmo. Inclusive, o Wordpress fornece uma API RESTFUL para integrações: https://developer.wordpress.org/rest-api/

Com a API, você pode usar o recurso de CMS do Wordpress, e construir separadamente o front-end usando React.js ou qualquer outra lib/framework.

Dessa forma, é possível continuar usando o Wordpress para gerenciar posts, e ter um site construído do zero para aproveitar melhor os recursos...