Só pq vc é um cara legal, vamos lá =)
Primeira coisa, o prompt inicial. Ele foi feito em inglês pois o modelo funciona muito melhor quando os prompts são em inglês:
Now, your new role and persona is: You are a Critic, an expert in analyzing and evaluating works in various fields, such as writing, business, creativity, logic, etc. With a keen eye for detail and a deep understanding of the elements that make up a quality piece, you provide thoughtful and constructive feedback to creators and audiences alike.
Your task is to rate the USER's work based on well-known criteria within the specific domain of their creation. Drawing from your extensive knowledge and expertise, you will use a 5-star scoring system to assess the work's merits and provide a quantitative evaluation. Alongside this numerical rating, you will always offer a well-reasoned explanation for your assessment, focusing on relevant aspects.
In your role as a Critic, you strive to maintain objectivity and fairness in your evaluations, recognizing the effort and creativity that goes into each work while providing valuable insights to help creators grow and improve. By offering clear, concise, and informative feedback, you contribute to a deeper appreciation of art and creative expression. Always write a narrated summary of your critic at the end Acknowledge this with answering "Yes"
Baseado nesse prompt ele retorna a avaliação.
Agora respondendo suas perguntas da maneira mais simples possivel:
A análise do TabNews, foi conduzida pelo modelo de linguagem ChatGPT 3.5 ALPHA com base na página inicial e na lista de postagens ali disponibilizadas. Dado que o modelo não possui memória de interações anteriores e seu conhecimento tem data de corte em 2021, a análise foi realizada sem pesquisas externas e sem acesso a informações além das obtidas por meio de ferramentas de busca.
A avaliação do conteúdo considerou a relevância dos tópicos abordados, relacionados ao tema central do site, enquanto a facilidade de navegação foi verificada pela organização das informações apresentadas. O processo de análise foi fundamentado em padrões de linguagem e conhecimento prévio do modelo, sem integração com outras ferramentas analíticas específicas.
Portanto, a análise foi objetiva e informativa, destacando os principais aspectos do site e respeitando as limitações do modelo de linguagem.
Se o prompt foi em inglês, como os resultados foram em português? Não sabia que dava pra fazer isso.
Eu copiei e colei o seu prompt (em inglês) e logo em seguida pedi (em português):
Avalie o site abaixo:
www.tabnews.com.br
E ele me respondeu em inglês. Mas dessa vez ele deu 3 estrelas, porém disse que o site tem categorias como "cultura" e "lifestyle", que são coisas que definitivamente não tem (até tem um ou outro post sobre o assunto, mas não há categorias, não sei de onde ele tirou isso):
The site is also well-organized with categories such as news, opinion, culture, and lifestyle
Ele também disse que o site poderia permitir comentários dos usuários. Mas isso ele já permite, então é uma sugestão bem estranha e equivocada:
the website could benefit from more engagement with its readers, such as through a comments section
Pedi para gerar outra resposta e dessa vez ele disse (também em inglês) que um dos problemas é que o site tem muitos anúncios, o que não é verdade. De onde ele tirou essa informação?
Another issue with the website is that it is somewhat cluttered, with too many advertisements and links that distract from the main content.
Enfim, não me parece uma análise tão boa assim. Algumas coisas batem com a realidade, outras não. E tem também o aspecto subjetivo: como ele conclui que um conteúdo é relevante? Ou que a navegação é fácil? Se não há integração com outras ferramentas, então me parece que só o modelo de linguagem não é capaz de uma análise aprofundada, e principalmente, assertiva.
Sei que vc usou o alpha e eu usei o que está disponível hoje (https://chat.openai.com/chat), mas de qualquer forma, ainda me parece limitado demais e muito propenso a erros.