Arquitetura e Organização de computadores é um ótimo livro para iniciar Computer Organization and Design é um livro mais cabeçudo mas bom também. Organização Estruturada de Computadores é um livro clássico também

Agora se quer algo mais relacionado a estrututura de dados e algoritmos eu recomendo o Entendendo Algoritmos: Um Guia Ilustrado Para Programadores e Outros Curiosos que pra mim é um livro sensacional sobre o assunto.