출석체크하기
컴퓨터과학과
컴퓨터과학과 입학생, 재학생, 교수, 조교, 예비입학생분들을 위한 게시판입니다.
일반글

CNN

조회 수 14 추천 수 0 댓글 0

convolution (컨볼루션 연산, 합성곱신경망), Filter, Max pooling, Fully Connected Layer
=> CNN(convolution neural network)

CNN 모델 중 VGG 모델 많이 사용

PC에서는 Dot product과정이 Convolution Operation이지만,
모바일에선 Convolution Operation이 아니라 Matrix Multiplication으로 변환해서 수행

#GEMM기반의 매트릭스 연산을 Convolution 연산으로 바꿔서 푼 이유가
   GEMM이 굉장히 빠르고 좋다는 가정 하에 했지만 모바일에서는 그리 좋지 않음. 
     => 합성곱이 아닌 다른게 필요함.
#메모리 운영이 병목되는 상황에서 여러번 카피하여 새로운 매트릭스에 들어가는 것은 효율적이지 않음
    => 여러번 읽어야하며, 이는 실행 속도에 큰 영향을 줌

# 연속된 이미지의 경우에는 크게 변하지 않는 경우가 많은데, 그런 경우 프레임 간의 중복이 많아짐.
    => 크게 바뀌지 않는 이미지에서도 Deep Neural Network(DNN)를 해야하기 때문
        =>이를 해결하기 위한 기술들이 많이 등장하고 있으니 알아보자.

ex)
    
Mobile GPU-Aware Processing
{Convolution operations directly on input     //GEMM을 거치지 않고, 직접 컨볼루션 수행
- No matrix building overhead
- Less memory consumption

FFT-based convolution approximation        //FFT를 기반으로 기존과 근사하게 하여 가속화하는 기술

Leverage local memory (high performaance cache inside GPU)        //로컬캐쉬를 활용하여 연산을 빠르게 함
- Store reusable convolutional kernels inside the local memory
- It will be shared across multiple threads

Use half floating point (32bits -> 16bit)        // 수의 표현 정확도를 32bit에서 16bit로 줄임으로서 연산을 가속시킴
}


Convolution Caching    
- 2개의 연이은 이미지가 있을때, 컨볼루션 섬이 비슷하면 기존의 컨볼루션 이미지 재활용
- 다르면 그 부분만 컨볼루션 연산 수행


Matrix Decomposition
- 하나의 큰 매트릭스 연산을 여러개의 작은 매트릭스 연산으로 나눠서 수행하면 훨씬 더 빠른 속도로 가속화 가능
- 정확도의 저하가 생김

결론

딥러닝 기술의 많은 연구에 경우 정확도가 중요한 경우가 많지만,
다른 요소로 시스템에 잠재된 문제, 파워소모 등 고려해야함.
    => 자원의 제약이 큰 모바일 환경을 고려하여 딥러닝 기술을 IOT 기기에 활용해야함

accuracy의 문제 뿐만 아니라, latency, execution의 속도, power 소모 등 여러 시스템 문제에 대해서도
관심을 가지고 최적화 해주는 과정이 필요함


List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
Hot글 3학년 3-2 컴퓨터구조 기출문제 풀이 5년치(2010~2014) 33 file 서예지(국문과) 2021.09.09 121
공지 공부자료를 공유해주시면 다음 후배들에게 큰 도움이 됩니다. 10 file 방송대커뮤니티 2021.11.07 72
공지 포인트 코인을 얻는방법 (파일 다운로드 방법) 315 updatefile 방송대커뮤니티 2021.01.06 2043
251 3학년 2020년도 기출문제 구할 수 있을까요? 4 도련님 2021.12.03 41
250 3학년 3-2 컴파일러구성 (기말시험, 대체시험, 하계계절시험 기출문제) 2015~2019 26 updatefile 제로스 2021.11.29 43
249 3학년 3-2 컴퓨터구조 (기말시험, 대체시험, 하계계절시험 기출문제) 2015~2019 15 file 제로스 2021.11.29 40
248 2학년 2-2 선형대수 기말시험, 대체시험, 하계계절시험 기출문제 2015~2019 file 제로스 2021.11.29 13
247 2학년 2-2 자료구조 기말시험, 대체시험, 하계계절시험 기출문제 2015~2019 8 file 제로스 2021.11.29 33
246 2학년 2-2 프로그래밍언어론 기말시험, 대체시험, 하계계절시험 기출문제 2015~2019 7 file 제로스 2021.11.29 23
245 일반글 <C++프로그래밍> 교과목 기말대비 김남희 튜터님 온라인 특강 안내 제로스 2021.11.28 21
244 2학년 선형대수, 자료구조, 프로그래밍언어론(15~19 기말,대체 기출시험모음) 16 file 서예지(국문과) 2021.11.08 52
243 1학년 [컴과1] C++프로그래밍, 멀티미디어시스템, 컴퓨터과학개론(15~19 기말,대체 기출시험모음) 17 file 서예지(국문과) 2021.11.08 53
242 3학년 [컴과3] JSP프로그래밍, UNIX시스템, 데이터베이스설계 및 구현 (15~19 기말,대체 기출시험모음) 47 updatefile 서예지(국문과) 2021.11.08 82
241 3학년 [컴과3] 컴파일러구성, 컴퓨터구조 (15~19 기말,대체 기출시험모음) 14 updatefile 서예지(국문과) 2021.11.08 37
240 4학년 [컴과4] HTML5, 시뮬레이션, 인공지능(15~19 기말,대체 기출시험모음) 13 updatefile 서예지(국문과) 2021.11.08 27
239 4학년 [컴과4] 컴퓨터그래픽스, 컴퓨터보안 15~19 기말,대체 기출시험모음 1 file 서예지(국문과) 2021.11.08 8
238 4학년 [컴과4] 모바일앱프로그래밍, 소프트웨어공학, 정보통신망(15~19 기말,대체 기출시험모음) file 서예지(국문과) 2021.11.08 12
237 3학년 HTML 웹프로그래밍, 데이터베이스시스템, 디지털논리회로 (15~19기말, 대체 기출시험 자료모음) 3 file 서예지(국문과) 2021.11.08 14
236 3학년 [컴과3] (알고리즘, 운영체제 기말시험) 기출문제모음 기말,대체,계절시험 2 file 서예지(국문과) 2021.11.08 24
235 1학년 C프로그래밍, 유비쿼터스컴퓨팅개론 file 서예지(국문과) 2021.11.08 16
234 1학년 [컴과1] 인터넷과 정보사회 1 file 서예지(국문과) 2021.11.08 11
233 2학년 [컴과2] Java 프로그래밍, Visual C++ 프로그래밍, 이산수학 8 file 서예지(국문과) 2021.11.08 25
232 3학년 그래픽커뮤니케이션 기말대비입니다. 1 file 서예지(국문과) 2021.11.08 6
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 13 Next
/ 13