Skip to content

Commit

Permalink
Study Robust Data Engineering Book
Browse files Browse the repository at this point in the history
  • Loading branch information
JeonDaehong committed Jan 7, 2025
1 parent f6cbabe commit 0b15999
Showing 1 changed file with 17 additions and 0 deletions.
17 changes: 17 additions & 0 deletions _posts/2025-01-07-robust-data-engineering.md
Original file line number Diff line number Diff line change
Expand Up @@ -28,3 +28,20 @@ rating: 5
데이터 엔지니어는 대규모 데이터를 수집하고 저장하며, 이를 추가 분석에 적합한 형태로 준비하기 위해 시스템을 설계하고 구축합니다.

이를 통해 조직의 데이터 인프라를 구축하고 운영하여 데이터 분석과 과학 작업이 원활히 이루어질 수 있도록 돕는 중요한 역할을 합니다.


- **데이터 엔지니어링 정의**

데이터 엔지니어링은 원시 데이터를 가져와 분석 및 머신러닝과 같은 다운스트림 사용 사례를 지원하기 위해 고품질의 일관된 정보를 제공하는 시스템과 프로세스를 개발, 구현, 유지 관리하는 작업입니다.

이는 보안, 데이터 관리, 데이터 운영, 데이터 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링의 교차점에서 이루어집니다.

데이터 엔지니어는 데이터 엔지니어링의 수명 주기를 관리하며, 원천 시스템에서 데이터를 가져오는 것부터 시작해 이를 분석 및 머신러닝과 같은 사용 사례에 활용할 수 있도록 준비하는 과정을 책임집니다.


### 1-2. 데이터 엔지니어링 기술과 활동

### 1-3. 조직 내 데이터 엔지니어

<br>

0 comments on commit 0b15999

Please sign in to comment.