Arquivo contendo todos os conteúdos do tabnews (E algumas curiosidades)

[Edit]

Eu também fiz um arquivo contendo todos os usuários do TabNews, para saber mais sobre ele clique aqui

Estou disponibilizando um arquivo json que contém todos os conteúdos do TabNews, isso inclui também todas as respostas.

O código que usei para gerar esse arquivo é open source, e você pode encontrar ele aqui

o JSON está localizado em https://raw.githubusercontent.com/33gustavo33/tabnews-fetch-all-contents/main/data.json

É um arquivo de 7,9 megabytes, então pode demorar um pouco para carregar tudo.

Algumas curiosidades do TabNews que eu descobri:

filipedeschampshá 2 anos

Toda vez que isso acontece (de usarem a API do TabNews para construir algo), eu e o Guga ficamos extremamente felizes, pois é de fato um sonho se realizando: pessoas usando a API e os conteúdos aqui para construir algo, treinar programação, fazer qualquer coisa que descubra algo novo, como no seu caso Gustavo33, que fez o levantamento destas curiosidades. Muito muito bom!

E muito legal que usou o cabeçalho Link para pegar a última página e também a lib tabnews.js 🤝 Uma curiosidade é que o cabeçalho Link traz as URLs absolutas das páginas, por exemplo a URL da próxima página, então não precisaria nem pegar qual a última página nem calcular o índice da próxima página, bastando apenas pegar a URL que é devolvida pelo campo next, e se ele não existir, significa que chegou ao final. Mais informações sobre essa mecânica nessa publicação: Nova melhoria: Paginação na API e no Site

Em paralelo, algo que nossa API está sofrendo muito é justamente na paginação, sendo que nos últimos itens a API está tomando um timeout dentro da lambda (pois passa de 60 segundos de execução).

Gustavo33há 2 anos
> Toda vez que isso acontece (de usarem a API do TabNews para construir algo), eu e o Guga ficamos extremamente felizes, pois é de fato um sonho se realizando: pessoas usando a API e os conteúdos aqui para construir algo, treinar programação, fazer qualquer coisa que descubra algo novo, como no seu caso Gustavo33, que fez o levantamento destas curiosidades. Muito muito bom! O principal objetivo desse post não foi exatamente para levantar essas curiosidades, mas sim para disponibilizar o arquivo que contém todos os conteúdos, pois com este arquivo qualquer pessoa pode levantar suas próprias curiosidades, curiosidades como: `Qual é a resposta com mais tabcoins`, etc. > E muito legal que usou o cabeçalho `Link` para pegar a última página e também a lib `tabnews.js`🤝 Uma das partes mais legais de usar o `tabnews.js` nesse projeto, foi perceber coisas que faltavam nele, assim eu posso adicionar ao `tabnews.js` o que eu percebi que faltou. > Em paralelo, algo que nossa API está sofrendo muito é justamente na paginação, sendo que nos últimos itens a API está tomando um timeout dentro da lambda (pois passa de 60 segundos de execução). É, quando você está navegando depois da página `30` é bem comum aparecer isso: ![Erro 504 Gateway timeout](https://i.imgur.com/pDIG7IZ.png) Alías, uma pergunta que gostaria de fazer: porque a rota `/api/v1/users` não pode ser acessada por usuários 'normais'?
rafaelhá 2 anos
> O principal objetivo desse post não foi exatamente para levantar essas curiosidades, mas sim para disponibilizar o arquivo que contém todos os conteúdos, pois com este arquivo qualquer pessoa pode levantar suas próprias curiosidades, curiosidades como: Qual é a resposta com mais tabcoins, etc. Agora fiquei curioso, será que já tem dados o suficiente para alguém conseguir rodar uma "IA" para analisar o tipo de conteúdo que tem maior potencial de gerar comentários ou Tabcoins? Como humano é possível assumir algumas coisas, mas com certeza será legal ver esse tipo de experimento no futuro e como seria uma "publicação perfeita" criada pela IA, talvez com um título engraçado como _"Meta anuncia com um vídeo no Metaverso gerado por uma IA desenvolvida em Rust que demitirá todos os funcionários que não seguem Elon Musk no Twitter"_ 😂
Gustavo33há 2 anos
> Agora fiquei curioso, será que já tem dados o suficiente para alguém conseguir rodar uma "IA" para analisar o tipo de conteúdo que tem maior potencial de gerar comentários ou Tabcoins? É uma boa pergunta, atualmente o TabNews tem **1687** conteúdos (sem contar as respostas), **não sei nada sobre IA** mas acho que isso não seria o suficiente pra 'treinar' ela.
filipedeschampshá 2 anos
> Alías, uma pergunta que gostaria de fazer: porque a rota /api/v1/users não pode ser acessada por usuários 'normais'? Ela infelizmente está sem paginação e o retorno é impraticável sem isso (também vai dar timeout), mas espero que no futuro a gente consiga dispobilizar ela de forma pública novamente 🤝
Gustavo33há 2 anos
Entendi, queria fazer um ranking dos usuários que tem mais tabcoins, eu ainda vou fazer isso, mas vai ser por uma "gambiarra". > Ela infelizmente está sem paginação e o retorno é impraticável sem isso (também vai dar timeout), mas espero que no futuro a gente consiga dispobilizar ela de forma pública novamente Então se ela tivesse paginação isso resolveria o problema, certo? se sim talvez eu faça um PR para essa rota ter paginação 🤝
filipedeschampshá 2 anos
Correto! Show :) e eu ainda estou um pouco atrasado com os PRs lá por conta da volta do canal e curso, mas daqui a pouco consigo sincronizar todo o trabalho 🤝
FelipeBarsohá 2 anos
> É, quando você está navegando depois da página 30 é bem comum aparecer isso: Resolvido no [#823](https://github.com/filipedeschamps/tabnews.com.br/pull/823) 👍
Gustavo33há 2 anos
Maravilha, o tempo que demorou pra rodar esse script foi `1 hora e 2 minutos`, acho que vou fazer umas otimizações no codigo e rodar novamente, só para ver quanto tempo vai levar (acho que vai ser menor).
PabloJuan255há 2 anos

Um pouco irrelevante, mas agora o post com o título mais longo é "Lei de Resiliência Cibernética da União Europeia poderá gerar uma sobrecarga de conformidade em desenvolvedores de código aberto, alerta NLnet Labs".