Você já deve conhecer o canal desse cara, mas vou tentar indicar assim mesmo. https://www.youtube.com/@javidx9 Ele não usa Java mas mostra todos os cálculos de geometria por trás da sua engine.

Esse outro tem uma rica playlist de matemática para games https://www.youtube.com/@JorgeVinoRodriguez/playlists

Computação gráfica https://www.youtube.com/@huerst/playlists

Código-fonte jogo antiquíssimo Berzerk https://www.youtube.com/@mnetogames8384/playlists

Esse usa muito DirectX mas acho que já foge do seu escopo né, pois parece que você quer criar a coisa em um nível muito baixo https://www.youtube.com/@ChiliTomatoNoodle/playlists

Seria interessante comprar o jogo desse Chinês e seguir ele nas redes sociais, GitHub, etc. Ele ama criar engine. Acho que essa é a sua segunda https://store.steampowered.com/app/1386180/Bitty_Engine/