데이터 엔지니어(5년 이상)

사용 기술

Python AWS Glue Apache Spark SQL Scala Amazon Kinesis Airflow PySpark Pandas Amazon Redshift

주요업무

ㆍ AWS Glue를 활용한 대용량 ETL/ELT 파이프라인 설계 및 개발
ㆍ AWS Data Catalog 기반 메타데이터 관리 및 데이터 거버넌스 구축
ㆍ Amazon Athena를 통한 서버리스 쿼리 환경 구축 및 최적화
ㆍ S3 기반 데이터 레이크 아키텍처 설계 및 데이터 파티셔닝 전략 수립
ㆍ Python을 활용한 데이터 처리 로직 구현 및 성능 최적화
ㆍ 규모 추정 알고리즘 설계 및 구현
ㆍ 데이터 검증 및 이상치 탐지 알고리즘 개발
ㆍ BI 도구와의 연동을 위한 데이터 마트 구축 및 API 개발
ㆍ 실시간 스트리밍 데이터 파이프라인 구축 및 운영
ㆍ 데이터 품질 모니터링 시스템 구축 및 이상 탐지 알고리즘 구현
ㆍ 데이터 파이프라인 성능 튜닝 및 비용 최적화

[개발 문화]
ㆍ데이터 중심의 의사결정 문화
ㆍ지속적인 기술 공유 및 학습 지원
ㆍ자율적이고 책임감 있는 업무 환경

자격요건

ㆍ데이터 엔지니어링 관련 5년 이상의 실무 경험
ㆍPython 활용 능력 (pandas, numpy, boto3, pyspark 등)
ㆍAWS 데이터 서비스 (Glue, S3, Athena, Data Catalog) 운영 경험 3년 이상
ㆍSQL 고급 활용 및 복잡한 쿼리 최적화 능력
ㆍETL/ELT 프로세스 설계 및 대용량 데이터 처리 경험
ㆍ데이터 웨어하우스 및 데이터 레이크 아키텍처 설계 경험
ㆍ통계적 분석 및 알고리즘 구현 경험 (규모 추정, 이상치 탐지 등)
ㆍ모델링 및 비즈니스 로직 구현 능력
ㆍ리눅스 환경에서의 개발 및 운영 경험
ㆍGit을 활용한 협업 및 코드 관리 경험

[필요 역량]
ㆍ대용량 데이터 처리 및 성능 최적화에 대한 깊은 이해
ㆍ복잡한 비즈니스 요구사항을 데이터 파이프라인으로 구현하는 능력
ㆍ데이터 품질과 신뢰성에 대한 높은 기준과 책임감
ㆍ클라우드 네이티브 아키텍처 설계 및 구현 능력
ㆍ팀 리딩 및 주니어 개발자 멘토링 능력
ㆍ새로운 기술 트렌드 파악 및 빠른 학습 능력
ㆍ다양한 이해 관계자와의 원활한 커뮤니케이션 능력

[기술 스택]
ㆍ언어 : Python, SQL, Scala(우대), R(통계분석용 우대)
ㆍAWS 서비스 : Glue, S3, Athena, Data Catalog, Redshift, Kinesis, Lambda, Step Functions
ㆍ빅데이터 처리 : Apache Spark, PySpark, Pandas
ㆍ스트리밍 : Apache Kafka, Amazon Kinesis
ㆍ워크플로우 : Apache Airflow, AWS Step Functions
ㆍ데이터베이스 : Amazon Redshift, RDS(PostgreSQL, MySQL), DynamoDB
ㆍBI 도구 : Tableau, Power BI, QuickSight, Looker
ㆍ알고리즘/분석 : scikit-learn, numpy, scipy, statsmodels
ㆍ인프라 : Docker, Kubernetes, Terraform
ㆍ모니터링 : CloudWatch, Grafana, DataDog
ㆍ버전 관리 : Git, GitHub/GitLab
ㆍ테이블 포맷 : Delta Lake, Apache Iceberg(우대)
ㆍ데이터 변환 : dbt(data build tool)

우대사항

ㆍAWS 자격증 (Data Engineer Associate/Professional, Solutions Architect 등)
ㆍApache Spark/PySpark를 활용한 대용량 데이터 처리 경험
ㆍApache Kafka, Amazon Kinesis 등 스트리밍 데이터 처리 경험
ㆍTerraform, CloudFormation 등 IaC 도구 활용 경험
ㆍApache Airflow, AWS Step Functions 등 워크플로우 도구 운영 경험
ㆍRedshift, RDS, DynamoDB 등 AWS 데이터베이스 서비스 경험
ㆍDocker, Kubernetes 컨테이너 기술 활용 경험
ㆍdbt(data build tool)를 활용한 데이터 변환 경험
ㆍScala, Java 등 추가 프로그래밍 언어 능력
ㆍDelta Lake, Apache Iceberg 등 테이블 포맷 기술 경험
ㆍ데이터 거버넌스 및 데이터 보안 구현 경험
ㆍ머신러닝/딥러닝을 활용한 예측 모델링 경험

마감일 및 근무지

• 마감일 : ~2025-07-24
• 근무지
- 서울 서초구 효령로 107, 4층

[채용절차]
• 서류전형 → 면접 → 처우 협의 → 최종 합격

[지원 시 주의사항]
• 근무 형태 : 3개월의 수습 기간 동안 계약직, 이후 수습 종료 내부 기준에 따라 정규직으로 채용 됩니다.
• 수습 기간은 지원자님과 회사가 서로를 알아가는 소중한 기간입니다. 수습 기간에도 급여 100% 지급됩니다.