Eu estou com o custo semelhante ao seu na AWS, com EC2 e RDS representando a maior fatia e batendo os 300 USD no total. Realmente a conta está apertando, na cotação de hoje + ou - R$ 1800.

Estou migrando para uma VPS da Hetzner, onde o pessoal da gringa tem usado muito pelo baixo custo e o que ele entrega. Ainda não sei se vou para o banco gerenciado deles, mas existe também essa possibilidade.

Agora nacional, não sei se você vai encontrar uma boa alternativa no custo/benefício. A latência é algo crítico para o seu serviço? Precisa mesmo estar no BR?

Você vê vantagem real no RDS para um setup tão "pequeno"? Eu pulei o RDS para varios casos por não ver vantagem

Não precisa estar no BR, latência até 100ms é aceitável.

Lá está hospedado um sistema ERP, e os websites da empresa que estão atrás de uma CDN, então não faz muita diferença a latência.

Se é um ERP e sites institucionais, acho que o VPS da Hetzner vai te atender bem então. Dê uma olhada nos planos lá, meu custo caiu desses 300 USD na AWS que te falei para ~ 50 euros.