Já tinha ouvido falar, desde que a API Rest foi lançada, né? Taí um desafio para eu pôr em prática ao aprender React. Valeu pela dica!
Você já fez isso? Sentiu diferença no tempo de carregamento ou o Banco de Dados mysql é um fator limitante de performance?
Então, nunca cheguei a implementar nada nesse sentido, porque não é meu foco de trabalho no dia a dia.
Mas, acredito que você deve ter resultados melhores do que usando o Wordpress Full, pois vai ser a API e o banco apenas :)
Quanto ao MySQL, existem otimizações que podem ser feitas a nível de configuração que podem deixar ainda mais rápido as operações de leitura e escrita, bem como sugiro uma configuração com pool de conexões e replicas, porém esse é um caso extremo!
Sugiro começar entendendo mesmo como funciona essa API e depois ir melhorando as coisas conforme a necessidade \o/