Talvez seja interessante criar um sistema de votação. Por exemplo, se uma postagem for irrelevante, os usuários podem clicar em um botão para para dar uma nota de irrelevante, e essa postagem irá para o final da fila, por exemplo, se tiver 10 notas ruins, ela será automaticamente excluída. E se tiver notas boas, ficará em evidência no topo.
Sobre o sistema de votação, o Edson295 explicou bem, mas sobre a sugestão de remover automaticamente uma publicação que foi negativada "demais", tem essa sugestão no GitHub: Remover conteúdos negativados + Economia. Se quiser acrescentar algo à sugestão, deixe seu comentário lá que é importante para caso decidam implementar.
Exclusão automática eu acho meio drástico, e é algo que eu faria somente em caso de spam descarado ou violação dos termos, como por exemplo, um post só com xingamentos, trollagem, ou com um assunto completamente nada a ver com tecnologia/programação.
Mas claro, para isso precisaria implementar algum outro mecanismo específico (por exemplo, alguma forma de sinalizar para o staff do site que aquele conteúdo não é apropriado).
Esse botão já existe, é justamente essa "setinha pra cima" e "setinha pra baixo" que fica no topo esquerdo de cada post ou comentário. A ideia de "exclusão automática" não existe, mas podemos debater a respeito. Quanto a ficar em evidência é justamente o que ocorre na aba 'Relevantes' do site.