Esse erro normalmente e gerado pelo fato de não ter um arquivo estatico legivel pela hospedagem, react e um framework para facilitar a criação de interface e a manutenabilidade (entre outros), mas no final de tudo, e um JavaScript, é os navegadores não entendem somente o JS no client-side, você precisa "buildar" sua aplicação para um html legivel, ou usar algum outro framework que faça isso, como Babel, webpack, NextJs (recomendado), ai sim o servidor pode entender a estretura do react.

Esses 9 vídeos vão te explicar passo-a-passo como fazer um site e hospedar.

Com React, Tailwind e tudo mais.

https://youtube.com/playlist?list=PLS3TJhYClNqz_1Olt96HUVJ_a8YVVr7Q9

E o melhor, praticamente de graça na AWS.

Se quiser ir direto pra parte do React https://youtu.be/ej2jezRtsZI mas é bom aprender a configuração completa.

Complementando a resposta do leonardo1, entendo que faltou você rodar o comando npm run build no seu projeto. Aqui está a documentação deste procedimento.

Obrigado pela orientação Leonardo