Por serem lentas? Se a implementação for feita em alguma linguagem compilada, não vejo problemas. Mas algo escrito com Node.js puro seria um tanto overkill.
O que JonasRR93 falou está correto. Um ORM decente, seja em linguagem compilada ou não, não tem impacto grande na performance. Além disso, ORM é melhor para evitar consultas maliciosas. YouTube foi feito em Django; Github em Rails. Eles tem grandes ORMs por trás e não são compilados.
ORM é somente uma abstração e nao gera impacto significativo nas consultas.
O que ocorre normalmente é uso incorreto do ORM que ai sim pode gerar queries menos performáticas
Discordo, Jonas, apesar de ser apenas uma abstração, ocorre sim impacto nas consultas.
RAW SQL é notavelmente mais performático do que ORM.