Já vi uma solução que era mais ou menos o seguinte:
O corretor era uma série de testes unitários (a maioria era com React Testing Library ou Cypress, pq eram projetos de front-end). O código da pessoa tinha que seguir alguns padrões, por exemplo ter um data-testid específico.
Aí o corretor era um script que rodava os testes unitários e gerava um JSON falando se a pessoa passou ou não no requisito. Tudo isso rodava em uma Github Action na hora que a pessoa abria um Pull Request no GitHub.
Era legal, mas o principal defeito é que você tem que limitar muitas coisas. O código da pessoa tem que ter um certo padrão pra corrigir certo.
@icaroharry, você comentou algo muito importante mano, até me levantou um questionamento, eu realmente não sei como vou pegar a resolução do usuário. Queria muito fazer com git, mas não faço ideia de como prosseguir, se tiver alguma referência de estudo eu agradeço demais.
Além disso, gostei bastante desse exemplo que deu, no meu caso não seria em front-end mas sim em C, porém ja me serve de exemplo e me ajudou bastante!!