처음으로  l  로그인  l  회원가입  l  아이디/비밀번호찾기  l  2020.5.30 (토)
글씨크기 크게  글씨크기 작게  기사 메일전송  기사 출력  기사스크랩
 http://www.asiaherald.co.kr/news/24735
발행일: 2020/03/18  안소희 기자
2020년 유망 직업 5 : Data Engineer
– 쏟아지는 데이터를 기업에서 활용할 수 있도록 가공하여 제공

대부분 회사는 데이터베이스와 텍스트 파일 전반에 걸쳐 다양한 형식으로 데이터를 저장한다. 여기서 데이터 엔지니어는 기업이 사용할 수 있는 형식으로 데이터를 변환하는 파이프라인을 구축한다.  
 
데이터 엔지니어는 데이터를 분석하기 유용한 형식으로 변환하는 작업을 한다. 예를 들어, ‘배달의 종족(가칭)’이라고 불리는 ‘배달의 민족’의 경쟁 업체에서 일하는 데이터 엔지니어라고 가정해 보자. 사용자들은 자신의 기기에 서비스를 액세스하는 앱을 가지고 있다. 그들은 ‘배달의 종족’ 앱을 통해 목적지까지 배달을 요청하는데, 그것은 음식점과 배달원에게 전달된다. 그러면 음식점은 음식을 만들어 포장하고 배달원은 목적지까지 배달한다. 앱을 통해 결제하고, 음식점과 배달원의 등급을 매길 수 있다. 데이터 엔지니어는 이 모든 과정에서 수집되는 데이터를 분석하여 기업에 유용한 정보를 제공할 수 있도록 가공하는 것이다.
 
데이터 엔지니어에게 요구되는 능력은 다음과 같다.
1. 분산 시스템 설계
2. 신뢰할 수 있는 파이프라인 작성
3. 데이터 원본 결합
4. 데이터 저장소 설계
5. 데이터와 관련된 팀들과의 협업 및 적절한 솔루션 구축
 
▲ (출처: 아시아헤럴드)

 



 
  회사소개 연락처안내 기사제보 광고문의 개인정보취급방침 이메일집단수집거부 전체기사보기 찾아오시는길  
  Copyright©2016 아시아헤럴드. All rights reserved.
제호 : 아시아헤럴드 | 발행인 : 신진오 | 편집인 박현정 | 청소년보호책임자 박현정
정기간행물등록번호: 서울아01036 | 등록일자 : 2009.11.25 | 설립일자 : 2017.05.10
07299 서울시 영등포구 경인로 775, 에이스하이테크시티 1차 2동 909호 | Tel: 02-2690-1550 | Fax: 02-6918-6560
아시아헤럴드의 모든 컨텐츠를 무단복제 사용할 경우에는 저작권법에 의해 제재를 받을 수 있습니다.
powered by 뉴스빌더