Com pouco contexto envolvido é um grande "depende".

No geral existem algumas dicas:

1. Otimização de Imagens:
   • Compressão
   • Formatos mais eficientes
2. Lazy Loading:
   • Imagens só carregam ao aparecer na tela, caso tenha uma área de scroll muito grande por exemplo
3. Uso de sprites:
   • Combinar pequenas partes em uma única imagem, geralmente em casos de ícones e imagens que dependem de outras pequenas imagens. *Pelo que pesquisei, é só em alguns poucos casos em que nota-se a diferença
4. CDN (Content Delivery Network):
   • São servidores especializados na entrega de conteúdo, logo são extremamente rápidos
   • Dê uma olhada em: Como usar OneDrive como uma CDN de alta performance gratuita
5. Formato adequado:
   • Se a aplicação utilizar ferramentas em imagens, opte por formatos com maior compatibilide, PNG, JPEG e outros.
   • Se não depender e precisar apenas de performance, vai de WebPicture e derivados.
6. Dimensões apropriadas:
   • Se for um ícone pequeno de 64 x 64, pra que usar uma imagem 1000 x 1000?

Essas são dicas genéricas, mas tudo depende do contexto, um site para fotógrafos com certeza precisa de uma arquitetura mais avançada do que um blog por exemplo.