São pontos realmente muito bons a considerar. Eu, gosto de usar SQL à medida que o modelo entidade-relacionamento fica complexo. Fica impossível usar a abstração do ORM à medida que o MER fica mais complexo. A diferença de performance vai se refletir em um bom MER e no uso correto dos SGBDs, independente do uso de ORM/SQL.
Sim, estou começando a adotar essa abordagem nos meus projetos futuros. Também gosto muito de montar queries e pretendo utilizá-las apenas para regras de negócios complexas ou para melhorar a performance de algumas consultas.