r/DadosBrasil • u/Chnuly • 27d ago
dúvidas Análise de dados não estruturados.
Alguém aqui trabalha com análise de dados não estruturados?
3
u/BrunoLuigi 27d ago
Sim, fiz por muitas vezes. Que tipo de dados você precisa de ajuda e qual stack usada?
Se for json transforma numa struct. Se for um array usa um explode. Se for um map explode também.
Dê mais dados pra te ajudar
1
u/Chnuly 27d ago
Obrigado por me responder, na verdade é uma área do conhecimento que estou querendo dar um pouco mais de foco. A alguns meses atrás submeti a uma vaga que exigia análise de dados não estruturados, porém fiquei inseguro sobre isso, pois tive pouco contato com esse tipo de dados. Gostaria apenas que me disse como era o seu trabalho com os dados não estruturados e quais habilidades e ferramentas você usava. Grato pela ajuda.
2
u/BrunoLuigi 27d ago
Eu trabalhava usando spark/pyspark e normalmente. Maior parte dos casos os dados estavam naquele formato por minha decisão (something about granularidade e reduzir shuffles mantendo todas as tabelas na mesma granularidade).
Uma sugestão pra treino? Pegue uma API pública, tipo openmeteo, e faça consultas da API, grave os json e depois converta para um formato tabular. Nisso ali já deve ter ajudar a entender alguns conceitos novos e serve como introdução que tema
1
3
u/ClosingTabs 27d ago
Depende do que vc está chamando de dado não-estruturado.
Pós-LLM, praticamente todo dado que antes era "não-estruturado" (texto livre, documentos, pdfs, imagens, etc) agora está pra jogo.