Então eu criei fastnav_up, uma função em shell script que faz exatamente isso. É bem simples:
Muito massa esse script!
Só por curiosidade tem o comando cd - que é bastante útil para voltar ao diretório anterior.
Uma coisa massa do cd - no zsh é que se você apertar tab ele sugere um histórico de diretórios de onde você já esteve.