요기요 Data Platform은 데이터를 수집·가공·분석할 수 있는 시스템을 구축하고, 이해관계자들이 데이터를 기반으로 의사결정을 내릴 수 있도록 표준화된 데이터, 전사 지표를 지원하는 역할을 합니다. 특히, Data Engineer(ETL) 직무는 요기요의 각 서비스에서 생성되는 내부 데이터, Real Time Data 및 공공 데이터를 수집하기 위한 Data Pipeline을 개발 하며, 효율적인 데이터 수집을 위한 Cloud Infra(AWS/Google Cloud)를 구축/운영하는 역할을 하고 있어요.
여러 부서(마케팅, 영업, 운영 등)와 협업하며 다양한 비즈니스 로직을 접하게 되어, 단순 개발을 넘어서 비즈니스 전반에 대한 이해를 쌓을 수 있어요.
데이터 신뢰성을 위한 Data Quality Rule, Data Quality Monitoring 구축, MTTR/SLA 목표 설정을 통해 Data Quality를 고도화 하기 위한 여정을 함께 할 수 있어요.
안정적이고 효율적인 의사결정을 위한 데이터를 위해 요기요의 데이터와 공공 데이터를 수집하는 역할을 하고, Data Pipeline을 구축/운영하는 역할을 하고 있어요
Airflow 기반의 전사 데이터 수집 Workflow 개발 및 운영
Kafka 기반 실시간 데이터 수집 및 처리 개발
데이터 수집 및 지표 제공 API 개발
GCP, AWS 기반 Data Platform 환경 및 Architecture 구성
위 사항들에 대해 4년 이상의 경험을 해보신 분
Python 개발 능력이 중급 이상이신 분
Airflow (혹은, 기타 Orchestration Tool) 경험이 있으신 분
BigQuery, Redshift 등 클라우드 데이터 웨어하우스 경험자
CSP(AWS/GCP) 운영 경험이 있으신 분
업무에 오너십을 갖고 책임감 있게 데이터를 꼼꼼하게 들여다 보시는 분
Apache Flink 관련 경험이 있으신 분
반복 적인 업무의 자동화를 위한 Admin 웹서비스 개발이 가능하신 분
K8s 기반의 Data Platform Architecture를 구성한 경험이 있으신 분
IaC(Terraform, pulumi, Cloud Formation 혹은 lakeformation 등) 경험이 있으신 분