Isso!
O problema é que hoje se o algoritmo bom demora 0,000001 segundos e o ruim demora 0,0001 segundos, ambos serão considerados rápidos e a diferença é imperceptível (mesmo que o ruim tenha sido 100 vezes mais lento). Mas a pessoa não leva em conta que só rodou o código com poucos dados (e para poucos dados, tudo é rápido).
A pessoa só vai perceber a diferença se por um acaso tiver que rodar esse mesmo algoritmo com uma quantidade absurdamente grande de dados. Aí o algoritmo bom rodaria em 1 segundo, enquanto o ruim levaria 100 segundos (1 minuto e 40 segundos). Na verdade, provavelmente vai ser mais, porque algoritmos ruins costumam ter complexidade maior e o tempo aumenta exponencialmente.
Mas quase nunca se percebe isso, porque a maioria dos casos vai rodar com poucos dados mesmo.
O mesmo vale para gasto de memória. Hoje em dia RAM se tornou tão barato que ninguém parece se importar com desperdícios e alocação excessiva de memória (e as linguagens têm criado tantas abstrações que muito deste desperdício fica escondido e só é percebido quando é tarde demais).
tem um vídeo do Akita ( não si se vocês conhece ) mas ele fala exatamente sobre isso, computadores potentes entregando bons resultados para. código ruim.
acredito que os devs só vão fazer levar em consideração otimização de código quando a "água bater na bunda" que pessoalmente não vai acontecer nem tão cedo.