출석체크하기
컴퓨터과학과
컴퓨터과학과 입학생, 재학생, 교수, 조교, 예비입학생분들을 위한 게시판입니다.
조회 수 24 추천 수 0 댓글 2

빅데이터 3Vs
- Volume : 데이터의 양 ↑
- Variety : 데이터의 종류 (다양한 형태의 데이터) ↑
- Velocity : 데이터 발생 속도 ↑

 

Small Data Tool

-R

-Matlab

-Pandas (with Python)

-Numpy (with Python)

-Scikit-learn (with Python)

등등

 

Big Data System

=> Hardware Distributed Storage -> Distributed Processing -> Application ( 4단계로 구성)

 

Hardware : 빅데이터를 다루고 분석하기 위한 수많은 컴퓨터들로 구성

Distributed Storage : 많은 컴퓨터들의 데이터를 저장하고 관리하는 분산 스토리지 시스템

Distributed Processing : 저장 및 관리되는 데이터를 빠르게 분석하기 위한 분산 프로세싱 시스템

Application : 분산 처리를 가능하게 해주는 시스템

 

기능

많은 머신에서 데이터를 쪼개고 분배해주는 것을 자동으로 수행

분석 Job을 작은 단위의 task로 나누어 빠르게 수행하는 것을 자동으로 수행

장애가 발생했을 때 자동 복구

 

Data Analysis Categories

Batch processing : 데이터를 큰 단위로 분석

Interactive query : 데이터를 상호 질의를 통해 분석

Stream Processing : 실시간으로 분석하여 결과를 도출

Graph Processing : 그래프 데이터에 특화된 처리

Machine Learning / Deep learning : 예측 모델을 만듦

 

 

데이터 분석 시스템 및 머신러닝 대표 시스템

#2015년부터 머신러닝, 딥러닝 소프트웨어

 

 

Apache

- Hadoop(2006)

- YARN, HDFS, Hadoop MR로 구성

- HDFS : 빅데이터 분석 애플리케이션에 최적화, 데이터 복제(장애 복구)

- Hadoop MR(Map Reduce) : MapReduce라는 함수로 데이터 분석을 표현

표현된 데이터 분석은 수행 시 많은 데이터를 잘 처리할 수 있는 scalability를 보여줌

분석 Job이 수행 중 어떤 task에 장애가 발생했을 경우, 해당 task를 다시 시작(장애 복구)

=> 빅데이터 초기부터 운영되었으며, 빅데이터 시스템에 상당히 큰 영향을 줌

 

 

 

- Spark(2014, In-Memory Computing)

-더 다양한 분석 프로그램을 쉽게 표현할 수 있었다.

 -> 제한된 형태로 분석 프로그램을 표현할 수 밖에 없던 하둡에 비하여 일반적인 그래프 형태로 쉽게 표현 가능

- 메모리를 사용하여 분석 속도를 빠르게 함

 -> 분석한 중간 결과를 중간에 메모리에 저장하고 뒷부분에서 계산하는 부분에 해당하는 중간 결과를 읽어서 계산

 

쉬운 프로그래밍 인터페이스

 -> 복잡한 데이터 분석 파이프라인을 다양한 변환을 통하여 쉽게 데이터 분석 파이프라인을 표현 가능함

 

Google TensorFlow(2015)

오픈 머신러닝 프레임워크 (머신러닝에도 가능하지만 딥러닝에도 인기가 많음)

수학적인 계산으로 머신러닝 모델을 표현해서 수행하는 것들이 가능함

그렇게 표현한 것들을 내부적으로 Data Flow Graph라는 형태로 변환하여 수행

 

 

딥러닝 프레임워크

TensorFlow

Pytorch

Caffe2

MXNET

등등

 

분산 스토리지

데이터를 여러 머신에 읽고 쓸 수 있는 프로그램

분산 파일 시스템

하둡의 분산 파일 시스템

- 빅데이터에 최적화 (큰 데이터를 한 번에 쭉 읽음)

- 데이터를 맨 뒤에 붙이는 append 방식에 쓰는데 최적화

- 데이터 자체가 크기 때문에 하나의 데이터 유닛으로 큰 블록 사이즈 사용 (128MB, 256MB )

- 데이터를 안정적으로 보존하기 위해 장애 복구 지원 (HDFS) #Master-Worker architecture

  • ?
    hyor 2021.11.03 19:46

    비회원은 작성 1년 이내의 댓글을읽을 수 없습니다.

    로그인 후에 바로 열람 가능합니다
  • ?
    쿠스코프 2021.11.07 12:12

    비회원은 작성 1년 이내의 댓글을읽을 수 없습니다.

    로그인 후에 바로 열람 가능합니다

List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
Hot글 3학년 3-2 컴퓨터구조 기출문제 풀이 5년치(2010~2014) 33 file 서예지(국문과) 2021.09.09 121
공지 공부자료를 공유해주시면 다음 후배들에게 큰 도움이 됩니다. 10 file 방송대커뮤니티 2021.11.07 72
공지 포인트 코인을 얻는방법 (파일 다운로드 방법) 315 updatefile 방송대커뮤니티 2021.01.06 2043
251 3학년 2020년도 기출문제 구할 수 있을까요? 4 도련님 2021.12.03 42
250 3학년 3-2 컴파일러구성 (기말시험, 대체시험, 하계계절시험 기출문제) 2015~2019 26 updatefile 제로스 2021.11.29 43
249 3학년 3-2 컴퓨터구조 (기말시험, 대체시험, 하계계절시험 기출문제) 2015~2019 15 file 제로스 2021.11.29 40
248 2학년 2-2 선형대수 기말시험, 대체시험, 하계계절시험 기출문제 2015~2019 file 제로스 2021.11.29 13
247 2학년 2-2 자료구조 기말시험, 대체시험, 하계계절시험 기출문제 2015~2019 8 file 제로스 2021.11.29 33
246 2학년 2-2 프로그래밍언어론 기말시험, 대체시험, 하계계절시험 기출문제 2015~2019 7 file 제로스 2021.11.29 23
245 일반글 <C++프로그래밍> 교과목 기말대비 김남희 튜터님 온라인 특강 안내 제로스 2021.11.28 21
244 2학년 선형대수, 자료구조, 프로그래밍언어론(15~19 기말,대체 기출시험모음) 16 file 서예지(국문과) 2021.11.08 52
243 1학년 [컴과1] C++프로그래밍, 멀티미디어시스템, 컴퓨터과학개론(15~19 기말,대체 기출시험모음) 17 file 서예지(국문과) 2021.11.08 53
242 3학년 [컴과3] JSP프로그래밍, UNIX시스템, 데이터베이스설계 및 구현 (15~19 기말,대체 기출시험모음) 47 updatefile 서예지(국문과) 2021.11.08 82
241 3학년 [컴과3] 컴파일러구성, 컴퓨터구조 (15~19 기말,대체 기출시험모음) 14 updatefile 서예지(국문과) 2021.11.08 37
240 4학년 [컴과4] HTML5, 시뮬레이션, 인공지능(15~19 기말,대체 기출시험모음) 13 updatefile 서예지(국문과) 2021.11.08 27
239 4학년 [컴과4] 컴퓨터그래픽스, 컴퓨터보안 15~19 기말,대체 기출시험모음 1 file 서예지(국문과) 2021.11.08 8
238 4학년 [컴과4] 모바일앱프로그래밍, 소프트웨어공학, 정보통신망(15~19 기말,대체 기출시험모음) file 서예지(국문과) 2021.11.08 12
237 3학년 HTML 웹프로그래밍, 데이터베이스시스템, 디지털논리회로 (15~19기말, 대체 기출시험 자료모음) 3 file 서예지(국문과) 2021.11.08 14
236 3학년 [컴과3] (알고리즘, 운영체제 기말시험) 기출문제모음 기말,대체,계절시험 2 file 서예지(국문과) 2021.11.08 24
235 1학년 C프로그래밍, 유비쿼터스컴퓨팅개론 file 서예지(국문과) 2021.11.08 16
234 1학년 [컴과1] 인터넷과 정보사회 1 file 서예지(국문과) 2021.11.08 11
233 2학년 [컴과2] Java 프로그래밍, Visual C++ 프로그래밍, 이산수학 8 file 서예지(국문과) 2021.11.08 25
232 3학년 그래픽커뮤니케이션 기말대비입니다. 1 file 서예지(국문과) 2021.11.08 6
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 13 Next
/ 13