Eu sinceramente não sei o preço do cloudformation, mas o framework serverless eu acho incrível, vc define os serviços a serem criados/ atualizados em um arquivo yaml e o serviço cloud monta a solução pra você. Nunca testei ele com github actions, mas acredito que não tenha problemas ao integrar as duas coisas. Além disso, é grátis e funciona com aws, gcp e azure =]