Poxa andre, que maneiro eu ja tinha pensando uma vez ate em criar algo parecido usando canvas, mas bom saber que ja existe uma lib que abstrai essas implementações.
Exatamente, o React Flow ajuda demais na construção do ambiente! O mais complexo mesmo fica sendo a lógica do real time e a posição dos objetos no ambiente.