[빅데이터] 텀 프로젝트(8) - 텀 프로젝트 최종

Updated: September 17, 2020

Intro

2020년도 1학기 수강과목인 빅데이터 이해 텀프로젝트 최종 발표 자료 입니다.

슬라이드1 슬라이드2

TermProject 주제 선정

슬라이드3

주제 및 목표 기술

해당 프로젝트의 주제는 2011년부터 2018년까지 국내에서 발생한 해상 조난사고 상세 데이터를 활용하여 해상에서 발생한 선박 관련 사고에 대하여 분석하는 것입니다. 해상 조난 사고 데이터를 활용하여 년도 별, 관할 해경서 별 해상 조난사고의 상세현황을 분석 및 도출 하였습니다.

슬라이드4

데이터 설명

해상 조난 사고 데이터는 공공데이터포털에서 2011년부터 2018년도까지의 해양경찰청 해상조난사고 상세데이터를 사용하였습니다.

슬라이드5

데이터 셋은 해상에서 발생한 모든 선박관련 해양사고 중 해양경찰청에 신고, 접수된 사오의 상세데이터로 이루어 져있고, 20개의 열 중 사용하지 않는 5개의 열을 드롭하였습니다. 최종적으로 Date/Jurisdiction/Area/Type/Causes/Weather/Accident Ship/Rescue/Injured/Death/Missing/Location/Latitude/Longitude/Ship Type 으로 구성된 15개의 항목으로 데이터 셋을 구성하였습니다.

슬라이드6

각 항목(열)에 대한 설명은 다음 표와 같습니다.

슬라이드7

소스 데이터 설명

슬라이드8

사건 데이터 생성

슬라이드9

데이터 하둡 적재

먼저 사건 데이터를 하둡에 적재하기 위해 WinSCP를 사용하여 본인의 컴퓨터에 있는 데이터 파일을 Master 서버로 업로드 하였습니다.

슬라이드10

업로드한 파일을 확인해보니 한글 인코딩 오류가 발생한 것을 알수 있었습니다.

슬라이드11

iconv 명령어로 원본 파일을 utf-8로 인코딩 변화하고, 변환된 csv 파일을 생성하였습니다.

슬라이드12

슬라이드13

hdfs에 디렉토리를 생성한 후 인코딩한 입력 데이터 로컬 파일을 하둡 파일 시스템의 파일로 복사하였습니다.

슬라이드14

데이터 세트 생성

슬라이드15

제플린 실행

제플린을 실행하여 클래스 임포트와 케이스 클래스, 데이터 프레임 데이터 세트를 정의하였습니다.

슬라이드16

데이터 세트 테이블 내용을 출력하였습니다. 처음 100개의 데이터를 출력하였고, show() 함수에 false 인자를 넣어주어 칼럼의 사이즈 조절 여부를 설정하였습니다. 데이터 세트의전체 레코드 수를 출력해본 결과 총 16389 행인 것을 알 수 있습니다.

슬라이드17

해양 사고 데이터 조사

슬라이드18

사용자 정의 함수

해당 데이터에서 발생일시는 yyyy-mm-dd hh:mm형식으로 저장되어 있습니다. 년도, 월 시간대를 추출하기 위해 ‘-‘와 공백문자를 기준으로 문자열을 자르고 나눠주어야 합니다.

슬라이드19

문자열을 인수로 받는 getYear value에 UDF 함수(사용자 정의 함수)를 정의하였습니다. 인수로 받은 문자열을 substring 메소드를 사용하여 추출합니다. 0번째 인덱스부터 첫번째 ‘-‘의 인덱스 -1 까지의 문자열을 추출하여 year 변수에 저장한 후 return 합니다. getYear 함수를 적용하여 년도 별 사건 수를 표시하였습니다.

슬라이드20

위의 방법과 마찬가지로 월 별 사건 조사를 하기 위한 사용자 정의 함수를 정의하였고 월별 사건 수를 출력하였습니다.

슬라이드21

년도별 사건 조사를 SQL 질의로 하기위해 문자열에서 년도만 추출해주는 UDF 작성 후 UDF 함수를 등록하였습니다.

슬라이드22

데이터 세트 재정의

위에서 정의한 사용자 함수를 적용하여 사건 테이블에 년도, 월로 이루어진 열을 추가하였습니다.

슬라이드23

질문 조사 사항

해상 조난 사고 데이터에 대해 다음 5가지의 질문을 조사하였습니다.

슬라이드24

사건 조사

Q. 사고가 가장 많이 발생한 해는?

A. 년도 추출 UDF를 사용하여 SQL 질의한 결과 2018 > 2017 > 2016 > 2015 > 2011 > 2012 > 2014 > 2013 순으로 사건이 가장 많이 발생한 것을 알 수 있었습니다. 또한 해당 결과를 스파크 SQL을 사용하여 데이터를 시각화 하였습니다.

슬라이드25 슬라이드26

Q. 사고가 가장 많이 발생한 관할 해경서는?

A. 관할 해경서 별 사건 수를 count한 후 내림차순으로 정렬한 결과 통영 > 목포 > 서귀포 > 평택 > 여수 > … 순으로 사건이 가장 많이 발생한 것을 알 수 있었습니다. 스파크 SQL을 사용하여 데이터를 시각화 하였습니다.

슬라이드27 슬라이드28

Q. 사고가 가장 많이 일어난 발생 원인은?

A. 발생 원인으로 그룹화한 데이터 세트를 생성하여 발생 원인별로 사건의 수를 카운트 한 후 내림차순으로 정렬하였습니다. 그 결과 정비불량이 6660건, 운항부주의 4819건, 기타 1853건이 가장 많이 일어난 사고 원인 세가지임을 알 수 있었습니다. 스파크 SQL을 사용하여 데이터를 시각화 하였습니다.

슬라이드29 슬라이드30