eu posso simplesmente acessar a tela e ver se está de acordo.

sim, da mesma forma que você pode chamar sua API com todos os casos de uso e verificar se está retornando o valor certo.

A questão é: Você vai fazer isso toda vez que mudar qualquer coisa no front? Sua demanda é mudar a cor de um botão, não faz sentido ter que repassar todas as telas vendo se as mensages de erro estão aparecendo certinho, se nenhum componente quebrou.

Imagina o trabalhão que isso geraria em um grande e-commerce?

Fazer testes para os componentes visuais é garantir que nenhuma alteração na sua base de código vá quebrar um componente que ninguém está olhando.