A minha resposta é com base em uma análise pessoal e não é um fato, mas que acredito que faz sentido.
Eu acho que o motivo de o PHP ser tão mal falado é pela própria linguagem mesmo. Infelizmente ela não tem um desempenho bom ao nível de outras linguagens, principalmente antes da versão 7, também não consegue ser poderosa, novamente comparando com outras linguagens, ela tem muitas limitações, como por exemplo ela nunca seria uma boa opção pra fazer um jogo, uma grande plataforma, fazer um aplicativo mobile, um SPA, entre outros.
A estrutura da linguagem também não é segura em questão de desenvolvimento, já que você geralmente só vai notar um problema quando o aplicativo está em execução, enquanto linguagens como o C# conseguem te ajudar antes mesmo de rodar a aplicação, até a evitar referências nulas. Não ter isso para um projeto grande se torna um enorme problema.
Outra questão, novamente comparando as outras linguagens, é como as coisas são feitas em PHP e maneira como você deve fazer, tudo pode ser feito de uma maneira "errada", que não é considerada boa quando se trata de grandes projetos. A sensação de quem trabalha em grandes projetos, quando olha pro PHP é como se fosse: Porque isso é assim? E porque tem que ser feito dessa maneira?
Resumindo, o PHP é como se fosse uma linguagem mais amadora e limitada, que por esse motivo geralmente só é vista em pequenos projetos, que geralmente só foi escolhida pela equipe ou desenvolvedor não saber uma linguagem mais apropriada. Geralmente você olha para a maioria das linguagens e meio que tudo funciona de uma maneira melhor.
Concordo em partes com o que você disse.
em minha opinião uma lang especializada em algo acaba sendo "superior" a uma lang "pato". ela voa, nada e anda. Mas não faz nada direito. pode ser ate ignorância de minha parte pois já usei outras lang como JS, Python e C# mas nunca me aprofundei tanto quanto fiz com o PHP
O PHP 5.x era lento? Sim mas não tanto! Na verdade, a maioria dos que reclamam da performance dele, no máximo desenvolveram sistemas com 2, 3, 5 usuários simultâneos e a performance NUNCA foi um problema real.
O PHP 7 foi um divisor de águas em termos de performance, e já foi lançado há 8 anos!
Quem fala em lentidão do PHP no mínimo está vivendo de passado.