Sim, precisam trabalhar melhor no RLHF, mas está disponível ainda em testes fechados (para usuários selecionados) então os erros são entendíveis.

Em breve imagino que ela terá um poder absurdo e deixará bastante registros interessantes de diálogos entre humano e inteligência artificial.