Resposta:
Coloquei meu projeto para executar e utilizei um comando no cmd dentro da VM tscon rdp-tcp#0 /dest:console , após executar esse comando você será desconectado, mas o teclado e o mouse funcionarão normalmente.
Confira aqui: https://learn.microsoft.com/en-us/answers/questions/1086036/is-it-possible-to-have-a-virtual-mouse-or-keyboard
Caraca que massa a solução, quando a sessão e finalizada os os periféricos virtuais no cado da sua máquina deixam de existir.