Obrigado pela observação, eu testei com máquina virtual e não consegui usar de tão lento, pra mim o wsl roda liso, ajuda muito não ter a parte gráfica.
Mas quando falo em usar um servidor Debian, é justamente usar ele sem um ambiente gráfico. Apenas o shell e o servidor SSH para se conectar usando o VSCode.
Não conhecia, obrigado pela dica