Geralmente os downvotes e upvotes refletem bem a qualidade do post ou resposta. Não acho que deveria mudar.
Há comentários aqui muito ácidos/agressivos, e o downvote expoe isso, confortando o autor do post. E há comentários excelentes, acima da média, e a grande quantidade de upvotes reflete bem isso... ou seja, a ferramenta está sendo muito bem usada pela comunidade.
Concordo com o @Victor2752, se os downvotes, que são protestos totalmente pacíficos, não passarem a refletir o descontentamento de quem vota, mais dia menos dia essas pessoas vão passar a expressar seu descontentamento através de comentários agressivos. E para isso já temos o twitter, o maior exemplo de comunidade tóxica hoje.
Como comentei, da forma como esta o sistema começa a ser inflado artificialmente com respostas positivas, pois o usuário é obrigado a remover as respostas muito negativas com o tempo. Mas isso não significa que a resposta é ruim, é apenas algo que o usuário não gostou, e pode ser uma verdade. Ou seja, obviamente o sistema começará a ter apenas respostas positivas, mesmo que isso não reflita a necessidade. Tem uma falha grave ai nesse conceito de votos realmente.