Vá ler o livro "Sistemas Operacionais Modernos" de Andrew Stuart Tanenbaum, livro referência na área.
Não é de java mas, realmente um dos melhores livros. Agora se quer um em java eu recomendo o Java Performance: The Definitive Guide
Parece interessante pela sipnose, valeu!