Não acho que sou a pessoa ideal pra responder sobre a utilização disso mas vou dar meus pitaco.

Acho que daria muita diferença de custo ec2 rodando um container x ec2 rodando a aplicação

Considerendo o uso do EC2, independente de se ter container ou não, o ideal é você utilizar um auto scaling group para garantir a aplicação rodando. (você pode ter um autoscaling de uma maquina só também e caso a vm venha a dar problema ou morrer ele ja inicia uma nova).

Em relação a containerização da aplicação isso te da uma facilidade na possbilidade de utilizar um ecs/eks.

Acho que tudo depende do tamanho e da escalabilidade que a aplicação precisa.

Realmente, o projeto atual não é tão grande, acredito que caso a escalabilidade da aplicação aumentar vou considerar implementar o docker

Muito obrigado pela opinião!