Cara, seu que você citou back-end próprio, mas dependendo do tipo de aplicação, a própria documentação do Next já sugere alguns providers de autenticação que integram muito bem com o NextJS. Já chegou a verificar isso?

Já sim mano, isso que gerou dúvidas, usei o iron-session para testar e gostei bastante, mas como sou "cru" em autenticação. Fiquei perdidão para onde continuar, se altero para autenticação social ou algo do tipo.

Eu acho melhor usar o NextAuth do que o iron-session. E normalmente crio um sistema de autenticação por email junto com autenticação social. Dependendo da aplicação uso só a autenticação social, é mais fácil pra desenvolver e mais fácil pro usuário final.