교육개요
- 분산 병렬처리 능력 및 API를 이용한 프로그래밍 개발 능력, 데이터 관리 작업 수행에 관련한 배경 이론과 실무 기술을 학습한다.
- 실시간 데이터의 관리 기술과 분산 관리 기술 및 데이터 처리를 위한 배경 이론과 실무 기술을 학습한다.
- 서비스 프로그래밍 모델링 능력과 연속 조회 처리 및 관련 프로그래밍 기술을 학습한다.
- 학습은 주로 멀티미디어 강의로 진행되며, 관련된 내용을 학습한 후 간단한 실습을 진행한다.
- 학습자는 학습을 통하여 데이터 관리 작업 및 실시간 데이터의 처리 기술, 데이터 조회와 프로그래밍 모델링에 대한 실무 기술을 갖게 된다.
학습목표
- 수집 데이터의 크기, 생성 속도, 빈도에 따른 빅데이터 처리 전략, 방침과 수집 데이터의 크기, 생성 속도, 종류에 따라 분산병렬처리 모델을 정의할 수 있다.
- 분산병렬처리 모델에 따라 데이터의 분산 저장 구조를 정의하고, 분산파일시스템에 블록단위로 데이터를 저장할 수 있다.
- 분산병렬처리 알고리즘에 따라 병렬처리 프로그램을 작성하고, 대규모 병렬 연산 작업을 수행할 수 있다.
- 분산병렬처리를 반복적으로 수행하기 위하여, 스크립트나 쿼리 인터페이스를 사용하여 병렬 쿼리를 작성할 수 있다.
- 지속적으로 발생하는 수집 데이터의 규모, 생성 속도, 종류에 따라 실시간 처리 모델을 정의할 수 있다.
- 실시간처리의 목적과 상세 지표를 수립하여 실시간 질의 스크립트를 작성할 수 있다.
- 필요 없는 데이터를 필터링 또는 필요한 데이터를 추출하거나 변화하여 의미 있는 데이터로 정제할 수 있다.
- 정제한 데이터를 저장소에 저장하여 목적하는 응용시스템을 구축하거나, 응용 뷰(View)를 작성할 수 있다.
- 지속적으로 발생하는 수집 데이터의 규모, 생성 속도, 종류에 따라 실시간 이벤트 처리 모델을 정의할 수 있다.
- 스트림 데이터 이벤트 처리를 위해 쿼리문을 정의하거나 특정 조건문을 작성하여 이벤트를 처리하는 곳에 저장할 수 있다.
- 지속적인 이벤트 소스로부터 발생한 스트림 데이터를 분류하고, 여러 개의 함수를 중첩 적용하여 함수 처리를 순차적으로 수행하며, 특정 패턴을 추출하거나 감지할 수 있다.
- 다수의 노드로 구성된 분산 환경에서 대용량 데이터를 분할/복제하여 관리하고, 탐색 시간을 줄이고, 빠른 검색 속도를 보장하기 위해 병렬 질의 처리를 수행 할 수 있다.작성할 수 있다
학습대상
- 과정에 대한 학습자의 선수능력 : 빅데이터 수집, 빅데이터 저장, 리눅스 기초, Java 프로그래밍, SQL, RDBMS, 클라우드 컴퓨팅
- 전공 및 직군 : 재직자, 실업자, 직업능력개발훈련교사 등 현장 업무 능력을 키우고자 하는 자 등
- 연령대 : 20 ~30대
- 특 징 : 정보통신 관련 학과 2년제 이상 대학 졸업자 또는 산업기사 과정 이수자, 해당 분야 3년 이상 직무 수행자
수료기준안내
* 수료 기준(반영비율)
총점
, 항목
, 반영비율
, 기준
으로 이루어진 테이블
| 총점 |
항목 |
반영비율 |
기준 |
| 80점 이상 |
진도율 |
100% |
0점 이상 |
총 학습시간 : 00시 00분 00초
11. 스트림 데이터 분석을 위한 분산 시스템 처리
()
강사소개
구자환 (성균관대학교 사회과학대학 연구교수)
<학력>
1995. 2 성균관대학교 정보공학과 학사
1997. 2 성균관대학교 일반대학원 정보통신전공 석사
2006. 2 성균관대학교 일반대학원 전기전자컴퓨터공학전공 박사
<경력>
1999 –2002 LG CNS 기술연구부문 기반기술 아키텍트
2007 –2010 미국 위스콘신대학교 컴퓨터과학과 박사후연구원
2010 –2012 ㈜차후 기술연구소 본부장
2015 –2016 ㈜지어소프트 연구소장
2012 –현재 ㈜더모스트컨설팅 대표이사
2016 –현재 성균관대학교 사회과학대학 연구교수 (빅데이터전공 교수)
<주요활동>
한국연구재단 연구과제 평가위원
한국건설교통기술평가원 신기술인증 심사위원
고용노동부 NCS기반 응용 SW 및 빅데이터 훈련지도 교수
2002 ~ 2003 두원공과대학 소프트웨어 개발과 강의
2003 ~ 2006 한국정보통신교육원 강의
2012 중소기업 R&D 기획지원사업 평가위원
2012 ~ 현재 한국연구재단 일반연구자지원사업 평가위원
2013 ~ 현재 한국건설교통기술평가원 기술인증 심사위원
교재정보
1) 주교재
- 테일러 게츠, 아파치 스톱을 이용한 분산 실시간 빅데이터 처리, 에이콘출판, 2015
2) 부교재
- 오퍼 멘델리비치, 하둡과 스파크를 활용한 실용 데이터 과학, 길벗, 2016
- 박두순, 빅데이터 컴퓨팅 기술, 한빛아카데미, 2015
- 이상한, 빅데이터 시스템 구축 가이드, 프리렉, 2015
- 미래창조과학부, 빅데이터 활용 단계별 업무절차 및 기술활용 매뉴얼, 한국정보화진흥원, 2014
- 톰 화이트, 하둡 완벽 가이드, 한빛미디어, 2013
