A complexidade do heroku acaba sendo menor do que da aws. Em geral, para aplicações pequenas, o custo também, pois você consegue provisionar uma instancia de postgress gratuita usando plugins.
Na aws tem algumas alternativas, dependendo do que for, pode usar o App Runner, Lambda Functions, SAR, EC2, montar containers...
Mas se estiver começando, sugiro fugir. Um cliente meu estava usando EC2 pra tudo, migrei a maioria das coisas pro Heroku e diminui em 500% os custos dele.
Aí, enquanto sua aplicação escala, tente escalar seus conhecimentos sobre essas plataformas. Em geral elas são bastante equivalentes, inclusive em preço.
Os treinamentos deles, docs e certificações são bons caminhos, na minha opinião
Sugiro que use AWS para aplicações que utilizem os serviços PAAS da mesma. Uma aplicação que não foi desenvolvida para cloud fica mais caro