Cara, se não for o nuget source configurado errado é algum problema de rede que tá bloqueando de baixar.
Por que não faz sentido, se você der um dotnet new mvc por exemplo e der um restore no teu projeto e não restaurar é por que não é problema no projeto.
Tenta rodar o restore via terminal, talvez, você consiga ver o problema (isso se seu projeto for .net core, no mínimo).
Basta abrir o terminal, ir na raiz do teu projeto, e digitar dotnet restore. Se falhar o comando é por que você precisa instalar o dotnet sdk.
Show!
Se for pra te dar mais uma dica, te falaria pra sempre fazer isso pelo terminal.
Tenta colocar isso no teu dia a dia, executar esses procedimentos pela CLI.
Nós desenvolvedores .NET estamos muito acostumados ao Visual Studio executar esses procedimentos em background pra gente, e isso tira muita visibilidade do que realmente acontece. Até mesmo o trobleshooting fica mais difícil. Executando as coisas pelo terminal você vai ter mais autonomia.
Eu desde o .net core eu literalmente abandonei o ambiente windows, só trabalho com Linux, vscode e terminal. E vou ser muito sincero: não tenho saudade alguma do VS, JURO.
----------- Edit
Pra agregar mais ainda ao que eu falei acima, depois procura sobre o CAKE (ou dotnet cake). Ele pode automatizar suas tarefas e rodar absolutamente tudo do teu ambiente só com 1 comando. Fica muito mais fácil.