Comparador de preços [Duvidas]

Galera Bom dia primeiramente, Utimamente estou estudando o famoso web scraping, Porem encontrei uma dificuldade no mini projeto em que estou fazendo e gostaria de tirar essa duvida com voces que concerteza ja fizeram isso. As duvidas são:

Como devo salvar na Base de Dados ? Cada Loja devera ter sua Tabela? Como vou comparar os valores depois, pois os id dos itens de cada loja/site e totalmente diferente, sera que vou ter que ir pela descrição? Essa e algumas das duvidas que tenho.

Alguem ja trabalhou com isso e poderia me ajudar? kkk

Valeuuu!

felintodevhá 2 anos

Como devo salvar na Base de Dados ? Depende muito dos dados do tipo de dado que você está obtendo. Por ex: digamos que você queira pegar os itens da Amazon e Mercado Livre. Algumas propriedades você terá em comum entre os dois sites como por exemplo nome do produto, preço e descrição, no entanto, você talvez queira salvar a reputação do vendedor no Mercado Livre pois isso geralmente indica o quão confiável é aquele anúncio e as informações ali apresentadas.

Cada Loja devera ter sua Tabela? Depende da sua regra de negócios. Se os dados que você precisa podem ser encontrados com facilidade em todos os sites que você escaneia então você pode ter uma tabela única. Se não, talvez queira salvar em tabelas diferentes e aplicar sua lógica de negócios depois.

Como vou comparar os valores depois, pois os id dos itens de cada loja/site e totalmente diferente, sera que vou ter que ir pela descrição? Você não pode ter uma coluna no seu banco de dados especificando o site que você pegou o item? Aqui eu uso vendor.

✅ Se gostou, dá um joinha na minha resposta para me apoiar.

RenanCMNhá 2 anos
Boaa, porem na ultima e que estou com duvida kk pois estou pensando em usar o nome do produto para comparar, e que estou tentando comparar itens de supermercado e no site dele o minimo que contem é nome do Produto,imagem e preço mais nda =(. isso complicou para min de uma forma gigantesca kkkkk
felintodevhá 2 anos
Se não tem um identificador único a única coisa que você pode usar o spider é no máximo para facilitar o seu trabalho, mas você não vai conseguir automatizar 100%, exceto se usar uma IA ou algo assim. Faz parte.
RenanCMNhá 2 anos
Realmente, mais vou tentar automatizar o maximo que der e o que nao encontrar vou deixar de fora kkk tenso .. mais nao vou desistir kk
tierishá 2 anos

Acho que o ideal seria ver quais as informações em comum você tem entre eles e gerar uma tabela que atenda isso, diferenciando eles pelo id_loja. Pois assim, com uma tabela só, muitas das tuas queries ficarão mais fáceis de serem implementadas. Quanto a comparação entre produtos, existe o código EAN-13 (popular código de barras), que será igual entre um mesmo produto, independente da loja que vende ele, provavelmente esse código é o mais confiável para garantir que você está comparando dois produtos iguais. Normalmente esse código fica na parte de especificação do produto.

RenanCMNhá 2 anos
Opa tudo certo, problema e que dos site que estou pegando não esta informando o codigo de barras isso que complica mais ainda, uma comparação que iria fazer para produtos de diferentes loja era pelo nome porem se for pelo nome e uma das lojas alterar ferrou kk nao vou conseguir mais comparar, sao produtos de site de supermercado, são sites basicos onde o produto nao tem muita descrição a na ser o item, imagem e preço. Acredito que vou ter que fazer alto pelo link talvez, meio que separa classificar por categoria e grupo. To em duvida agora somente na hora da comparação.
felintodevhá 2 anos
Você salva o ID no seu banco de dados. Geralmente o ID fica na URL e não muda. Veja a URL dessa postagem por exemplo. Aposto que você colocou o [Dúvidas] só depois, certo ?