Tenho sim um canal, mas infelizmente não fiz nenhum conteúdo ainda sobre esse projeto cara
Você já deve conhecer o canal desse cara, mas vou tentar indicar assim mesmo. https://www.youtube.com/@javidx9 Ele não usa Java mas mostra todos os cálculos de geometria por trás da sua engine.
Esse outro tem uma rica playlist de matemática para games https://www.youtube.com/@JorgeVinoRodriguez/playlists
Computação gráfica https://www.youtube.com/@huerst/playlists
Código-fonte jogo antiquíssimo Berzerk https://www.youtube.com/@mnetogames8384/playlists
Esse usa muito DirectX mas acho que já foge do seu escopo né, pois parece que você quer criar a coisa em um nível muito baixo https://www.youtube.com/@ChiliTomatoNoodle/playlists
Seria interessante comprar o jogo desse Chinês e seguir ele nas redes sociais, GitHub, etc. Ele ama criar engine. Acho que essa é a sua segunda https://store.steampowered.com/app/1386180/Bitty_Engine/