Um caso particular é um subconjunto contido em outro. Portanto, não deixa de também de estar contigo no conjunto maior. Impreciso. Tensores são matrizes, sim. Tensores não são a generalização. Matrizes são.
Você está se confundindo. Matrizes são tensores, não o contrario. Matrizes são o caso particular para tensores de 2 dimensões, pela própria definição de matriz entendemos que elas podem ter no máximo 2 dimensões. Para uma abordagem simples pode até funconar essa visão, mas a matemática não funciona assim
Você está completamente certo. E eu me equivoquei ao dizer que os termos "matriz" e "tensor" são intercambiáveis. Na verdade não são.