🇵🇹 Ler em Português | 🇺🇸 Read in English

Engenheiro de Dados | AWS & Databricks | Arquitetura Lakehouse

Sou um Engenheiro de Dados com 6 anos de experiência focado em preencher a lacuna entre ambientes caóticos e dados bem estruturados. A minha especialidade é desenhar, construir e manter pipelines de dados altamente escaláveis e arquiteturas resilientes.

Onde a maioria dos pipelines falha, eu atuo: o meu principal fator de diferenciação é a Ingestão de Dados de Alta Complexidade (web scraping avançado, engenharia reversa de APIs e superação de proteções estritas). Garanto que os dados fluam de forma contínua e segura para arquiteturas modernas orientadas a eventos (Event-Driven) e ecossistemas Lakehouse.

• Cloud & IaC (Infraestrutura como Código): AWS (S3, ECS, Lambda, SQS, CloudWatch), Terraform
• Processamento de Dados: Apache Spark (PySpark), Databricks, Delta Lake
• Orquestração e Fluxo de Trabalho: Apache Airflow (MWAA), Celery
• Engenharia de Software: Python (Avançado), CI/CD (GitHub Actions, Jenkins), Docker, TDD
• Mensageria & Arquitetura Orientada a Eventos: RabbitMQ, Amazon SQS, Dead Letter Queues (DLQs)

• Estruturação de pipelines End-to-End com base na Medallion Architecture (Bronze/Silver/Gold).
• Processamento de mais de 2 milhões de registos diários com recurso a arquiteturas orientadas a eventos na AWS.
• Desenvolvimento do DataRadar: Um pipeline Lakehouse que orquestra dados do Reddit e integra modelos de inteligência artificial (Llama 3.3) para extração de insights através da Groq API.

• Databricks Certified Databricks Fundamentals (2026)

Data Engineer | AWS & Databricks | Lakehouse Architecture

I am a Data Engineer with 6 years of experience bridging the gap between chaotic environments and structured data. I specialize in designing, building, and maintaining highly scalable data pipelines and resilient architectures.

Where most pipelines fail, I thrive: my core differentiator is High-Complexity Data Ingestion (advanced web scraping, API reverse engineering, and bypassing strict protections), ensuring data flows continuously into modern Event-Driven and Lakehouse architectures.

• Cloud & IaC: AWS (S3, ECS, Lambda, SQS, CloudWatch), Terraform
• Data Processing: Apache Spark (PySpark), Databricks, Delta Lake
• Orchestration & Workflow: Apache Airflow (MWAA), Celery
• Software Engineering: Python (Advanced), CI/CD (GitHub Actions, Jenkins), Docker, TDD
• Messaging & Event-Driven: RabbitMQ, Amazon SQS, Dead Letter Queues (DLQs)

• Architecting End-to-End Medallion (Bronze/Silver/Gold) pipelines.
• Processing over 2 million daily records using Event-Driven architectures on AWS.
• Building DataRadar: A Lakehouse pipeline orchestrating Reddit data with LLM (Llama 3.3) insights via Groq API.

• Databricks Certified Databricks Fundamentals (2026)

"Building the foundation so that data can drive the future."