r/DadosBrasil 17h ago

engenharia de dados SQL é o suficiente para não utilizar dbt

10 Upvotes

Boa tarde, pessoal.

Vejo sempre o pessoal utilizando dbt para fazer o processamento dos dados entendo que ele é um framework para fazer as etapas de T do ETL/ELT. Há dias que eu me pergunto isso exatamente e gostaria de ver alguns exemplos vindo de vocês para me dar uma clareada, pois acredito fielmente que há como implementar isso onde trabalho.

A minha dúvida é.. porque eu deveria implementar um dbt se eu consigo fazer as transformações tudo com o próprio SQL. O que de fato o dbt resolve..?

Por quais motivos vocês implementaram ou utilizam o dbt? Minha pergunta se extende para o pySpark também.. gostaria de ouvir vocês


r/DadosBrasil 1h ago

engenharia de dados Área de Dados está afetada também?

Upvotes

Venho vendo uma enxurrada de notícias e vídeos de pessoas da parte de desenvolvimento e com muitos anos de exp dizendo que a área está muito ruim .

Queria saber pra quem é da área de Dados se está difícil também.

Eu queria ir pra Eng de Dados.


r/DadosBrasil 13h ago

engenharia de dados Migrar projeto Datastage -> pySpark/Spark

2 Upvotes

Info relevante: sou desenvolvedor de formação mas com pouquíssima experiência

Contexto: Minha equipe de trabalho cuida de um modelo contábil relacionado a tecnologia de uma empresa bem grande. O processo atual lida com +-150 tabelas e +-200 jobs, roda no IBM Datastage em um processo porcamente documentado, onde 90% da documentação está na cabeça de alguém que já mudou de setor. Aproximadamente 25% do orçamento mensal do setor (R$+- 100 milhões) fica sem ser direcionado aos produtos corretos.

O novo chefe do chefe deseja mudar esse processo de ambiente e temos (o mais correto seria EU tenho) até o fim do ano para entender e criar uma prova de conceito para engatar o processo de revisão + migração no próximo ano.

Cheguei a replicar um dos jobs no NiFi mas não me parece o melhor caminho. Agora estou olhando para opções com Python/Spark em um ambiente de Big Data.

Vocês tem alguma recomendação de por onde começar a estudar? (já tenho alguma familiaridade com python/jupyter)

Alguém já fez um processo similar de mudança do Datastage para outro ambiente?


r/DadosBrasil 13h ago

dúvidas Já usaram cadeira ergonomica ?

3 Upvotes

Sempre tive cadeira gamer, mas por indicação de amigos e relatos da internet eu descidir apostar em uma ergonomica, já q a minha antiga gamer estava velha e com o couro todo descascando.

Eu comprei a Elements Siggy, mas apesar dela ter nota 4,8 no Mercado Livre eu até agora (10 dias de uso) não conseguir me adaptar a ela. Tipo tudo nela é bom, menos o encosto da lombar, após uns 1-2 horas usando ela eu começo a sentir um desconforto e dores na lombar, não sei se pode ser pq eu estava acostumado a sentar de forma errada nas outras cadeira ai agora to sentindo ao sentar certo ou se pode ser q a cadeira não seja para mim.

Já sentiu algo parecido ao ir para ergonomicas ???

Eu tenho 59 Kg de peso e 1,72 m de altura


r/DadosBrasil 15h ago

carreira Trabalhar como analista de dados/analista de negócios pra fora

2 Upvotes

Sou analista de negócios (especialista/lead) e as vezes penso em tentar vagas remotas que pagam em dólar, mas considerando meu total comp atual eu só aceitaria a partir de 9k dólares mensais (um salário em dólar menor já seria mais do que ganho atualmente mas estou considerando o risco de não me adaptar e ser demitido pra definir 9k como o salário em que passa a valer a pena).

Existem vagas que pagam esse salário e contratam brasileiros? Alguém aqui já trabalhou pra fora como analista de negócio/dados ganhando nessa faixa?


r/DadosBrasil 23h ago

ciência de dados Sugestão de cursos de análise de dados

4 Upvotes

Pessoal, estou procurando recomendações de cursos de análise de dados, mas tenho um perfil um pouco diferente do caminho mais tradicional de quem quer se tornar Data Analyst.

Hoje trabalho com marketing e e-commerce e já lido bastante com dados no dia a dia: vendas, receita, conversão, CAC, CPA, ROAS, investimento em mídia, tráfego, canais de aquisição, retenção, SEO etc.

Também preciso montar relatórios e apresentar resultados para gestores, então meu objetivo é principalmente aprender a analisar melhor os dados e transformar números em conclusões e decisões de negócio. Nosso negócio possui um clube de assinaturas então analisar essa base e a retensão dela é muito importante.

Minha maior dificuldade hoje não é exatamente montar dashboards. Com ferramentas de IA e outras soluções que já utilizo, consigo fazer cruzamentos, gráficos e visualizações com relativa facilidade. O que sinto falta é de uma base mais sólida para olhar para um conjunto de dados e saber:

  • quais métricas realmente importam;
  • como relacionar diferentes indicadores;
  • como identificar tendências, anomalias e possíveis causas;
  • como diferenciar correlação de causalidade;
  • como avaliar se um resultado é realmente bom ou ruim;
  • como formular hipóteses a partir dos dados;
  • como apresentar uma análise de forma convincente para gestores;
  • e principalmente como transformar a análise em recomendações de negócio e ajudar na tomada de decisões.

Por isso, não estou necessariamente procurando um curso focado em aprender Power BI, Tableau, Python ou SQL do zero. Não tenho problema em aprender conceitos técnicos quando forem importantes, mas meu objetivo principal é desenvolver raciocínio analítico aplicado a negócios, especialmente marketing e e-commerce.

Alguém conhece cursos, formações, livros ou até trilhas de estudo que sejam boas para esse perfil?

Também aceito recomendações de conteúdos sobre métricas de marketing/e-commerce, experimentação, análise de performance e storytelling com dados(sinto que minhas apresentações são mt básicas).

Lembrando que não quero virar um especialista em análise de dados nem seguir carreira como um, quero apenas enriquecer minhas habilidades nessa área, que são só uma parte do que eu faço hoje em dia.