컴퓨터과학과
컴퓨터과학과 입학생, 재학생, 교수, 조교, 예비입학생분들을 위한 게시판입니다.
조회 수 127 추천 수 1 댓글 4

단축키

Prev이전 문서

Next다음 문서

빅데이터 3Vs
- Volume : 데이터의 양 ↑
- Variety : 데이터의 종류 (다양한 형태의 데이터) ↑
- Velocity : 데이터 발생 속도 ↑

 

Small Data Tool

-R

-Matlab

-Pandas (with Python)

-Numpy (with Python)

-Scikit-learn (with Python)

등등

 

Big Data System

=> Hardware Distributed Storage -> Distributed Processing -> Application ( 4단계로 구성)

 

Hardware : 빅데이터를 다루고 분석하기 위한 수많은 컴퓨터들로 구성

Distributed Storage : 많은 컴퓨터들의 데이터를 저장하고 관리하는 분산 스토리지 시스템

Distributed Processing : 저장 및 관리되는 데이터를 빠르게 분석하기 위한 분산 프로세싱 시스템

Application : 분산 처리를 가능하게 해주는 시스템

 

기능

많은 머신에서 데이터를 쪼개고 분배해주는 것을 자동으로 수행

분석 Job을 작은 단위의 task로 나누어 빠르게 수행하는 것을 자동으로 수행

장애가 발생했을 때 자동 복구

 

Data Analysis Categories

Batch processing : 데이터를 큰 단위로 분석

Interactive query : 데이터를 상호 질의를 통해 분석

Stream Processing : 실시간으로 분석하여 결과를 도출

Graph Processing : 그래프 데이터에 특화된 처리

Machine Learning / Deep learning : 예측 모델을 만듦

 

 

데이터 분석 시스템 및 머신러닝 대표 시스템

#2015년부터 머신러닝, 딥러닝 소프트웨어

 

 

Apache

- Hadoop(2006)

- YARN, HDFS, Hadoop MR로 구성

- HDFS : 빅데이터 분석 애플리케이션에 최적화, 데이터 복제(장애 복구)

- Hadoop MR(Map Reduce) : MapReduce라는 함수로 데이터 분석을 표현

표현된 데이터 분석은 수행 시 많은 데이터를 잘 처리할 수 있는 scalability를 보여줌

분석 Job이 수행 중 어떤 task에 장애가 발생했을 경우, 해당 task를 다시 시작(장애 복구)

=> 빅데이터 초기부터 운영되었으며, 빅데이터 시스템에 상당히 큰 영향을 줌

 

 

 

- Spark(2014, In-Memory Computing)

-더 다양한 분석 프로그램을 쉽게 표현할 수 있었다.

 -> 제한된 형태로 분석 프로그램을 표현할 수 밖에 없던 하둡에 비하여 일반적인 그래프 형태로 쉽게 표현 가능

- 메모리를 사용하여 분석 속도를 빠르게 함

 -> 분석한 중간 결과를 중간에 메모리에 저장하고 뒷부분에서 계산하는 부분에 해당하는 중간 결과를 읽어서 계산

 

쉬운 프로그래밍 인터페이스

 -> 복잡한 데이터 분석 파이프라인을 다양한 변환을 통하여 쉽게 데이터 분석 파이프라인을 표현 가능함

 

Google TensorFlow(2015)

오픈 머신러닝 프레임워크 (머신러닝에도 가능하지만 딥러닝에도 인기가 많음)

수학적인 계산으로 머신러닝 모델을 표현해서 수행하는 것들이 가능함

그렇게 표현한 것들을 내부적으로 Data Flow Graph라는 형태로 변환하여 수행

 

 

딥러닝 프레임워크

TensorFlow

Pytorch

Caffe2

MXNET

등등

 

분산 스토리지

데이터를 여러 머신에 읽고 쓸 수 있는 프로그램

분산 파일 시스템

하둡의 분산 파일 시스템

- 빅데이터에 최적화 (큰 데이터를 한 번에 쭉 읽음)

- 데이터를 맨 뒤에 붙이는 append 방식에 쓰는데 최적화

- 데이터 자체가 크기 때문에 하나의 데이터 유닛으로 큰 블록 사이즈 사용 (128MB, 256MB )

- 데이터를 안정적으로 보존하기 위해 장애 복구 지원 (HDFS) #Master-Worker architecture


List of Articles
번호 분류 제목 글쓴이 조회 수
공지 (필독) 공지 모음 / 코인(포인트) 얻는 방법 및 입문서 259 게시판관리 3320
공지 커뮤니티를 홍보하고 포인트를 적립해보세요 13 게시판관리 571
공지 ChatGPT 인공지능 기능을 포함하여 다양한 도구들을 사용해보세요 ⬆️ 6 file 게시판관리 745
567 일반 2013학년도1학기 컴퓨터과학과 지역별 오리엔테이션 일정 2 file 조민현 2753
566 정보 컴퓨터학과 학년별 교육과정이예요. 참고하세요~ 6 조민현 4598
565 정보 2008-2학기 자료구조 기말시험기출문제(2007) 풀이(장종성튜터) 3 조민현 3418
564 일반 1학기 과제 정보 공유 하실분 계세요? 5 김지윤 3368
563 정보 C 언어 변수 file 이한솔 2703
562 정보 2011_동계-_C프로그래밍 시험풀이 10 file 방송대커뮤니티 2445
561 일반 제가 3학년 이번에 들어가야하는데 휴학을 냈네요. 방송대커뮤니티 2372
560 일반 안녕하세요~ 조민현 1842
559 일반 안녕하세요. 1 짱구민이 1945
558 일반 반갑습니다. 1 총모아 1850
557 일반 천안사는 30살 1학년생입니다. 3 컴과1학년 3485
556 일반 안녕하세요 1 아코 1907
555 정보 [컴파일러] 초보자를 위한 C,C++컴파일러 추천 -이은석님이 작성한 글입니다. 공용자료실에서 펌 3 방송대커뮤니티 2929
554 일반 오늘 날씨가 참 좋네요 방송대커뮤니티 1283
553 일반 64비트 운영체제에서 강의 못보는건가요 ㅠㅜ 2 그냥바보형 2468
552 일반 망한건가요!? 2 루사이트 1837
551 일반 안녕하세요 1 줌마렐라 1493
550 일반 이번 소프트웨어 경진대회 참여해보고자 하는데 1 완봉 1517
549 정보 유비쿼터스 컴퓨팅 개론 과제물 자체해설. 2 티알피지 2123
548 정보 프로그램 무료다운로드 안내(Visual Studio 등) 5 file 방송대커뮤니티 1651
목록
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 29 Next
/ 29