Comecei usar Next recentemente, já o MUI, utilizo há algum tempo. Estou criando um projeto pessoal com essas duas tecnologias juntas pela primeira vez, até então não tive nenhum problema. Você pode ler essa documentação para fazer a integração.
Eu tava dando uma olhada justamente nessa documentação. Em grande parte, perguntei porque no Zustand por exemplo, tinha uma documentação bonitinha como essa, mas na pratica, não funcionava.
Porém, quando eu vi seu comentario, resolvi fazer um teste rápido (devia ter feito antes, inclusive) e funcionou tudo que teste.