Antes de qualquer coisa leia o paper que começou tudo:

https://bitcoin.org/bitcoin.pdf

Depois é estude a implementação de referencia:

https://bitcoincore.org/bin/bitcoin-core-26.0/bitcoin-26.0.tar.gz

Não deixe de ler tambem um livro chamado "The Truth Machine"