Creio que isso aconteça por que essas libs são de criação da sua empresa, então ao fazer o restore do teu projeto elas não são encontradas no nuget.org, gerando a necessidade de adicionar a referencia manualmente e localmente na sua maquina.

Nos dois casos tenho que adicionar manualmente, tanto libs criadas na empresa, tendo que adicionar no references e tambem bibliotecas externas no nuget

Cara, se não for o nuget source configurado errado é algum problema de rede que tá bloqueando de baixar. Por que não faz sentido, se você der um `dotnet new mvc` por exemplo e der um restore no teu projeto e não restaurar é por que não é problema no projeto. Tenta rodar o restore via terminal, talvez, você consiga ver o problema (isso se seu projeto for .net core, no mínimo). Basta abrir o terminal, ir na raiz do teu projeto, e digitar `dotnet restore`. Se falhar o comando é por que você precisa instalar o dotnet sdk.
Obrigado lucassvasconcelos, o restore só funcionou pelo terminal mesmo!
Show! Se for pra te dar mais uma dica, te falaria pra sempre fazer isso pelo terminal. Tenta colocar isso no teu dia a dia, executar esses procedimentos pela CLI. Nós desenvolvedores .NET estamos muito acostumados ao Visual Studio executar esses procedimentos em background pra gente, e isso tira muita visibilidade do que realmente acontece. Até mesmo o trobleshooting fica mais difícil. Executando as coisas pelo terminal você vai ter mais autonomia. Eu desde o .net core eu literalmente abandonei o ambiente windows, só trabalho com Linux, vscode e terminal. E vou ser muito sincero: não tenho saudade alguma do VS, JURO. ----------- Edit Pra agregar mais ainda ao que eu falei acima, depois procura sobre o CAKE (ou dotnet cake). Ele pode automatizar suas tarefas e rodar absolutamente tudo do teu ambiente só com 1 comando. Fica muito mais fácil.