Essa geralmente é a parte mais importante da análise de dados, que é a limpeza de dados...
É trabalhosa, mas é essencial e recompensa.
Você não ter todos os dados não é um problema, o problema é você fazer uma primeira entrega.
Faça essa primeira entrega como se não tivesse os dados completos, isso vai te motivar a seguir e depois você, com paciência, vai lidando com os outros dados que são mais complexos.
Eu estou nessa parte há muito tempo, mas do que deveria, kkkkk uns 2 meses, vou tentar rodar os dados como ele estão, lembrando que só testo o script com um único log, vou fazer um "for" e rodar em todos os 2000 arquivos e rezar para n dar erro, kkkkkkk...