Você está se confundindo. Matrizes são tensores, não o contrario. Matrizes são o caso particular para tensores de 2 dimensões, pela própria definição de matriz entendemos que elas podem ter no máximo 2 dimensões. Para uma abordagem simples pode até funconar essa visão, mas a matemática não funciona assim

Você está completamente certo. E eu me equivoquei ao dizer que os termos "matriz" e "tensor" são intercambiáveis. Na verdade não são.