Uma observação é que caso eu altere diretamente nas configurações do meu navegador o tamanho da fonte, tmb será alterado o valor rem.

Print da tela de configurações de um browser

Esse é um ponto que esqueci de mencionar, se não colocar um valor de font-size no root do css, ele vai pegar o valor que está no navegador, como você detalhou.