Eu tinha dado uma olhada mas pelo que vi ele traz a implementação dos algoritmos já, eu queria usar a minha propria implementação
Entendi, você quer somente uma biblioteca gráfica crua, isso? Sendo assim, eu desenvolveria algo com HTML e criaria os grafos com JS ou talvez alguma lib gráfica e usaria os algoritmos vindo do C#.
Vou ver se tem algo mais simples usando WinForms.
Atualização: o mais próximo que encontrei foi o GoDiagram. Você pode utilizar com WinForms. Acredito que vá servir pra você. https://github.com/NorthwoodsSoftware/GoDiagram