Skip to content

Commit

Permalink
Study Robust Data Engineering Book
Browse files Browse the repository at this point in the history
  • Loading branch information
JeonDaehong committed Jan 8, 2025
1 parent 8ae9e2d commit b95cfc5
Showing 1 changed file with 17 additions and 5 deletions.
22 changes: 17 additions & 5 deletions _posts/2025-01-07-robust-data-engineering.md
Original file line number Diff line number Diff line change
Expand Up @@ -323,11 +323,15 @@ rating: 5
**2. 관찰 가능성과 모니터링**

- 페트렐라의 DODD 방법론은 데이터 관찰 가능성을 강조하는 훌륭한 프레임워크로, 데이터와 데이터 애플리케이션에 대한 가시성을 확보하고 그 변경 사항을 추적할 수 있도록 합니다. DODD는 데이터 엔지니어링 수명 주기 전반에 걸쳐 데이터를 추적하고 문제가 발생하기 전에 예방하거나 해결할 수 있게 도와줍니다. 이를 통해 모든 데이터 사용자들이 데이터 가치를 최적화하고, 문제를 신속히 파악하고 대응할 수 있도록 합니다.
- 페트렐라의 DODD 방법론은 데이터 관찰 가능성을 강조하는 훌륭한 프레임워크로, 데이터와 데이터 애플리케이션에 대한 가시성을 확보하고 그 변경 사항을 추적할 수 있도록 합니다.

- DODD는 데이터 엔지니어링 수명 주기 전반에 걸쳐 데이터를 추적하고 문제가 발생하기 전에 예방하거나 해결할 수 있게 도와줍니다.

**3. 사고 대응(Incident Response)**

- 데이터옵스는 이러한 기술적 요소들을 결합하여, 데이터 파이프라인을 신뢰성 있고 효율적으로 운영하며, 데이터 제품을 빠르게 개발하고 품질을 유지하는 데 필수적인 역할을 합니다.
- 데이터옵스는 이러한 기술적 요소들을 결합하여, 데이터 파이프라인을 신뢰성 있고 효율적으로 운영합니다.

- 데이터 제품을 빠르게 개발하고 품질을 유지 및 향상 시키는 것에 필수적인 역할을 합니다.
- <span style="color:blue;">**🔥 데이터 아키텍처**</span>
Expand All @@ -349,15 +353,23 @@ rating: 5

**작업 모니터링 및 오류 처리:**

- 오케스트레이션 시스템은 실행 중인 작업을 모니터링하고, 작업 간의 종속성이 완료되면 새로운 작업을 시작합니다. 또한, 외부 시스템과 도구를 모니터링하여 데이터가 도착하거나 조건을 충족하는지 확인하고, 조건이 맞지 않으면 오류를 발생시키며 경고를 보냅니다. 예를 들어, 이메일이나 다른 채널을 통해 경고 메시지를 전송할 수 있습니다.
- 오케스트레이션 시스템은 실행 중인 작업을 모니터링하고, 작업 간의 종속성이 완료되면 새로운 작업을 시작합니다.

- 또한, 외부 시스템과 도구를 모니터링하여 데이터가 도착하거나 조건을 충족하는지 확인하고, 조건이 맞지 않으면 오류를 발생시키며 경고를 보냅니다. 예를 들어, 이메일이나 다른 채널을 통해 경고 메시지를 전송할 수 있습니다.

**기능 및 시각화:**

- 고급 오케스트레이션 엔진은 작업 기록 기능, 시각화 기능, 경고 기능 등을 제공합니다. 이러한 기능은 작업의 진행 상황을 추적하고, 시스템에서 발생하는 문제를 시각적으로 쉽게 이해할 수 있도록 도와줍니다. 또한, **백필 작업(backfill)**과 같은 기능도 지원하여 새로운 DAG 또는 개별 작업을 기존의 종속성에 맞게 추가하거나 재실행할 수 있게 해줍니다.
- 고급 오케스트레이션 엔진은 작업 기록 기능, 시각화 기능, 경고 기능 등을 제공합니다. 이러한 기능은 작업의 진행 상황을 추적하고, 시스템에서 발생하는 문제를 시각적으로 쉽게 이해할 수 있도록 도와줍니다.

- 또한, **백필 작업(backfill)**과 같은 기능도 지원하여 새로운 DAG 또는 개별 작업을 기존의 종속성에 맞게 추가하거나 재실행할 수 있게 해줍니다.

**DAG의 이식성 및 테스트:**

- 초기 오픈 소스 프로젝트들은 에어플로(Airflow) 의 핵심 설계를 기반으로 하면서도, DAG의 **이식성(portability)**과 **테스트 가능성(testability)**을 개선하려고 노력했습니다. 이들 프로젝트는 엔지니어가 로컬 개발 환경에서 운영 환경으로 쉽게 이동할 수 있도록 돕는 목표를 가지고 있습니다. 대표적인 프로젝트들로는 **프리팩트(Prefect)**와 **대그스터(Dagster)**가 있습니다. 이러한 시스템은 더 나은 확장성과 테스트 기능을 제공하며, 개발 및 운영 환경 간의 차이를 최소화하려 합니다.
- 초기 오픈 소스 프로젝트들은 에어플로(Airflow) 의 핵심 설계를 기반으로 하면서도, DAG의 **이식성(portability)**과 **테스트 가능성(testability)**을 개선하려고 노력했습니다.

- 이들 프로젝트는 엔지니어가 로컬 개발 환경에서 운영 환경으로 쉽게 이동할 수 있도록 돕는 목표를 가지고 있습니다. 대표적인 프로젝트들로는 **프리팩트(Prefect)**와 **대그스터(Dagster)**가 있습니다.

- 이러한 시스템은 더 나은 확장성과 테스트 기능을 제공하며, 개발 및 운영 환경 간의 차이를 최소화하려 합니다.

**기타 오케스트레이션 엔진:**

Expand Down

0 comments on commit b95cfc5

Please sign in to comment.