Matrizes multidimensionais são usadas o tempo todo! Não conheço a sintaxe do Java, mas a ideia de matriz multidimensional é o mesma para todas as linguagens. Por exemplo, imagine que você queira criar um conjunto de usuários. Ficaria algo mais ou menos assim:

[
    ['nome' => 'John'], // Linha 1
    ['nome' => 'Doe'] // Linha 2
]

Quase sempre quando você consultar várias linhas em um banco de dados, por exemplo, você estará lidando com matrizes multidimensionais.

Espero ter ajudado!