Temas como este estão cada vez mais escassos, isso porque a grande maioria dos programadores, hoje em dia não precisa mais se preocupar tanto com como as coisas funcionam por baixo.
Uma coisa que me ajudou a entender esses temas foram dois assuntos (Sistemas Operacionais e Redes)
Principalmente no assunto de redes é bem legal dar uma pesquisada sobre como os dados trafegam pela rede, como o outro (computador) entende os dados.
Já na parte de S.O, tem vários tópicos como: Gerenciamento de Memória, Sistema de Arquivos, Threads.
Também existe o assunto de compiladores, que aborda principalmente como as linguagens de programação funcionam.
Hacking também é um bom tema para explorar o funcionamento de memória e threads.
Passando para os livros, recomendo estes: