Importante apontar que essas bibliotecas sobre as quais você perguntou não são exatamente frameworks, são apenas bibliotecas. Nesse caso, são bibliotecas que facilitam o gerenciamento de rotas pra servidores HTTP.
Quanto a "não precisar mais dessas bibliotecas": tenta implementar seu próprio Express usando o módulo de http do próprio Node. Não é tão difícil e você vai aprender muito! Mas pra projetos em produção, eu aconselharia usar, sim, Express ou Hono.
Citei "framework" pois estava taxado em todos os lugares em que eu vi, apesar de serem pacotes bem simples. Como sou novato no mundo do Backend, nem pensei muito sobre.
Nem passou pela a minha mente criar meu próprio "express", mas já veio uma enxurrada de ideias quando você falou. Acredito que ao ter um certo domínio do HTTP e o Node.js, e claro, ter uma boa estruturação, nem deve ser tão difícil quanto parece ser!