Sugiro começar com Amazon LightSail. Eu também fui nessa de EC2, banco de dados RDS, etc. mas é caro. Quando a gratuidade acabou, eu quebrei a cara, venho quase uns R$ 500,00 de conta. Então tive que fazer backup e sair apagando tudo e alterar rapidamente para Amazon LightSail. Agora pago R$ 35,00 por mês.

Sugiro esse provedor, me atendeu muito bem antes de eu ir para a AWS https://hostmach.com.br/

Não conheço o Azure mas sei que é Microsoft e ela tem a fama de fazer as coisas fáceis. Se eu fosse me aventurar agora, tentaria o Azure. Eu penei na Amazon para entender as políticas do tal "I AM", configurar o domínio que eu tinha registrado no registro.br sem usar o Amazon Route 53, configurar certificado Let's Encrypt sem o AWS Certificate Manager. É perceptível que eles deixam as coisas grátis complicadas, só para você pagar por esses serviços, como Amazon Route 53, AWS Certificate Manager, etc.