Você vai precisar trabalhar as regras do seu storage em conjunto com authentication do firebase. Assim você consegue ter a segurança que precisa conforme sua necessidade.
Regras do storage: https://firebase.google.com/docs/storage/security?hl=pt-br
Autenticação com firebase: https://firebase.google.com/docs/auth/web/start?hl=pt-br
Não entendi muito bem, pois no final da contas a url da imagem terá que ser publica, os meus usuarios que vão subir iamgens estarão autenticados, ok, mas os usuarios que vão consumir, não estarão, então ou deixo a url publica, ou forço o backend entregar uma url assinada com tempo de expiração para cada imagens? e a performance cairá?