Data Engineer(대용량 및 실시간 데이터 분산 처리)

Data Engineer(대용량 및 실시간 데이터 분산 처리)

핵심 업무

1.  대규모 데이터 파이프라인 구축 및 운영

o    1000+ 고객사의 3억+ 주문 데이터 및 일 5천만+ 고객 행동 로그 처리

o    확장 가능한 ELT 데이터 파이프라인 설계, 개발, 운영

2.  클라우드 기반 데이터 인프라 관리

o    데이터 레이크 및 클라우드 인프라 설계, 개발, 운영

o    다양한 데이터 사용자 요구사항 충족 및 새로운 가치 창출

3.  대용량 데이터 처리 시스템 개발

o    수억 건의 데이터를 분산 처리하는 애플리케이션 및 서빙 시스템 구축

o    복잡한 데이터의 안정적이고 체계적인 생성 방법 적용

4.  글로벌 데이터 엔지니어링 표준화

o    글로벌 서비스를 위한 데이터 엔지니어링 방법론 설계 및 적용

기술 스택

• 분산 처리: Apache Spark
• 프로그래밍: Python
• 클라우드 환경: (특정 클라우드 플랫폼)
• 데이터 파이프라인: ELT 도구

자격 요건

• 데이터 엔지니어링 및 플랫폼 개발/운영 2년 이상 경력
• 분산 처리 기술(예: Spark)에 대한 깊은 이해
• Python 등 최소 1개 이상의 프로그래밍 언어 숙련
• 클라우드 환경에서의 데이터 엔지니어링 경험
• 비즈니스 문제 해결을 위한 데이터 엔지니어링 적용 능력
• 원활한 팀 간 커뮤니케이션 능력

우대 사항

• 대용량 및 실시간 데이터 분산 처리 경험
• 사용 기술에 대한 깊은 이해와 실무 적용 능력
• 빠른 비즈니스 도메인 학습 능력과 문제 해결 능력
• 자기 주도적 과제 정의 및 해결 능력
• 스타트업 환경에서의 적응력과 성장 의지
• 다국적, 다중 시간대 데이터 엔지니어링 경험

지원 방법

• 필수: 상세한 프로젝트 포트폴리오 (역할, 과정, 기술 스택, 성과 포함)
• 선택: 개인 블로그, GitHub 계정 등 추가 자료

근무 조건

• 경력: 2년 이상 ~ 10년 미만
• 학력: 학사 이상
• 근무지: 서울 강남구