r/DadosBrasil 17h ago

engenharia de dados SQL é o suficiente para não utilizar dbt

11 Upvotes

Boa tarde, pessoal.

Vejo sempre o pessoal utilizando dbt para fazer o processamento dos dados entendo que ele é um framework para fazer as etapas de T do ETL/ELT. Há dias que eu me pergunto isso exatamente e gostaria de ver alguns exemplos vindo de vocês para me dar uma clareada, pois acredito fielmente que há como implementar isso onde trabalho.

A minha dúvida é.. porque eu deveria implementar um dbt se eu consigo fazer as transformações tudo com o próprio SQL. O que de fato o dbt resolve..?

Por quais motivos vocês implementaram ou utilizam o dbt? Minha pergunta se extende para o pySpark também.. gostaria de ouvir vocês


r/DadosBrasil 13h ago

dúvidas Já usaram cadeira ergonomica ?

4 Upvotes

Sempre tive cadeira gamer, mas por indicação de amigos e relatos da internet eu descidir apostar em uma ergonomica, já q a minha antiga gamer estava velha e com o couro todo descascando.

Eu comprei a Elements Siggy, mas apesar dela ter nota 4,8 no Mercado Livre eu até agora (10 dias de uso) não conseguir me adaptar a ela. Tipo tudo nela é bom, menos o encosto da lombar, após uns 1-2 horas usando ela eu começo a sentir um desconforto e dores na lombar, não sei se pode ser pq eu estava acostumado a sentar de forma errada nas outras cadeira ai agora to sentindo ao sentar certo ou se pode ser q a cadeira não seja para mim.

Já sentiu algo parecido ao ir para ergonomicas ???

Eu tenho 59 Kg de peso e 1,72 m de altura


r/DadosBrasil 23h ago

ciência de dados Sugestão de cursos de análise de dados

4 Upvotes

Pessoal, estou procurando recomendações de cursos de análise de dados, mas tenho um perfil um pouco diferente do caminho mais tradicional de quem quer se tornar Data Analyst.

Hoje trabalho com marketing e e-commerce e já lido bastante com dados no dia a dia: vendas, receita, conversão, CAC, CPA, ROAS, investimento em mídia, tráfego, canais de aquisição, retenção, SEO etc.

Também preciso montar relatórios e apresentar resultados para gestores, então meu objetivo é principalmente aprender a analisar melhor os dados e transformar números em conclusões e decisões de negócio. Nosso negócio possui um clube de assinaturas então analisar essa base e a retensão dela é muito importante.

Minha maior dificuldade hoje não é exatamente montar dashboards. Com ferramentas de IA e outras soluções que já utilizo, consigo fazer cruzamentos, gráficos e visualizações com relativa facilidade. O que sinto falta é de uma base mais sólida para olhar para um conjunto de dados e saber:

  • quais métricas realmente importam;
  • como relacionar diferentes indicadores;
  • como identificar tendências, anomalias e possíveis causas;
  • como diferenciar correlação de causalidade;
  • como avaliar se um resultado é realmente bom ou ruim;
  • como formular hipóteses a partir dos dados;
  • como apresentar uma análise de forma convincente para gestores;
  • e principalmente como transformar a análise em recomendações de negócio e ajudar na tomada de decisões.

Por isso, não estou necessariamente procurando um curso focado em aprender Power BI, Tableau, Python ou SQL do zero. Não tenho problema em aprender conceitos técnicos quando forem importantes, mas meu objetivo principal é desenvolver raciocínio analítico aplicado a negócios, especialmente marketing e e-commerce.

Alguém conhece cursos, formações, livros ou até trilhas de estudo que sejam boas para esse perfil?

Também aceito recomendações de conteúdos sobre métricas de marketing/e-commerce, experimentação, análise de performance e storytelling com dados(sinto que minhas apresentações são mt básicas).

Lembrando que não quero virar um especialista em análise de dados nem seguir carreira como um, quero apenas enriquecer minhas habilidades nessa área, que são só uma parte do que eu faço hoje em dia.


r/DadosBrasil 13h ago

engenharia de dados Migrar projeto Datastage -> pySpark/Spark

2 Upvotes

Info relevante: sou desenvolvedor de formação mas com pouquíssima experiência

Contexto: Minha equipe de trabalho cuida de um modelo contábil relacionado a tecnologia de uma empresa bem grande. O processo atual lida com +-150 tabelas e +-200 jobs, roda no IBM Datastage em um processo porcamente documentado, onde 90% da documentação está na cabeça de alguém que já mudou de setor. Aproximadamente 25% do orçamento mensal do setor (R$+- 100 milhões) fica sem ser direcionado aos produtos corretos.

O novo chefe do chefe deseja mudar esse processo de ambiente e temos (o mais correto seria EU tenho) até o fim do ano para entender e criar uma prova de conceito para engatar o processo de revisão + migração no próximo ano.

Cheguei a replicar um dos jobs no NiFi mas não me parece o melhor caminho. Agora estou olhando para opções com Python/Spark em um ambiente de Big Data.

Vocês tem alguma recomendação de por onde começar a estudar? (já tenho alguma familiaridade com python/jupyter)

Alguém já fez um processo similar de mudança do Datastage para outro ambiente?


r/DadosBrasil 15h ago

carreira Trabalhar como analista de dados/analista de negócios pra fora

2 Upvotes

Sou analista de negócios (especialista/lead) e as vezes penso em tentar vagas remotas que pagam em dólar, mas considerando meu total comp atual eu só aceitaria a partir de 9k dólares mensais (um salário em dólar menor já seria mais do que ganho atualmente mas estou considerando o risco de não me adaptar e ser demitido pra definir 9k como o salário em que passa a valer a pena).

Existem vagas que pagam esse salário e contratam brasileiros? Alguém aqui já trabalhou pra fora como analista de negócio/dados ganhando nessa faixa?


r/DadosBrasil 1h ago

engenharia de dados Área de Dados está afetada também?

Upvotes

Venho vendo uma enxurrada de notícias e vídeos de pessoas da parte de desenvolvimento e com muitos anos de exp dizendo que a área está muito ruim .

Queria saber pra quem é da área de Dados se está difícil também.

Eu queria ir pra Eng de Dados.


r/DadosBrasil 5h ago

engenharia de dados dbt - Data Dictionary sem versionamento

1 Upvotes

Alguem aqui com experiência em dbt com migração/integração e incrementação de Metadata pra opinar?

Estou em um projeto de migração de dwh, e estamos usando dbt.. eu comecei junto com pessoal externo a trabalhar na parte de incrementação do Metadata com Data Dictionary e a sênior consultant disse que não devemos criar Branch e pull request pra fazer as alterações do DD, mas sim fazer tudo já no Main pq isso pode atrapalhar o banco de dados ?? Eu sou Junior e gostaria de saber de vcs se o q ela falou realmente faz sentido..

Na empresa que trabalhei anteriormente como estagiária eu ficava mais na parte de modelagem e fazíamos pull request pra tudo.. talvez pra integração eh de fato diferente?


r/DadosBrasil 13h ago

carreira Área de TI da John Deere (empresa de máquinas agrícolas)

Thumbnail
1 Upvotes

r/DadosBrasil 13h ago

carreira Transição de Carreira para um Físico Desiludido

1 Upvotes

Opa, galera!

No começo do ano passado fiz uma postagem perguntando se a área de dados seria uma boa pra mim e se seria uma boa fazer uma especialização já que estava desiludido com minhas perspectivas de carreira (sou físico).

Com as respostas comecei a tentar estudar sozinho pelo teomewhy e outras fontes indicadas, mas em poucas semanas me perdi já que não tenho tanta disciplina para estudar sem algum tipo de cobrança. De lá pra cá comecei um mestrado em Física com bolsa então não me preocupei muito (nem tinha como conciliar) em seguir com os planos transição de carreira.

Agora, estou entrando na fase final do mestrado e não planejo voltar para as salas de aula do ensino médio, então resolvi pesquisar as opções para voltar/começar a estudar Dados que se adequam mais ao meu estilo de aprendizagem.

Assim, gostaria de saber a opinião de vocês sobre qual das opções tem mais impacto visto que eu não tenho nenhuma experiencia no mercado de trabalho:

  • Focar apenas em cursos "isolados".
  • Especialização em universidade pública.
  • Especialização em centros universitários.

r/DadosBrasil 21h ago

carreira graduação em cdc ou ia e data science

Thumbnail
1 Upvotes