컴퓨터과학과
컴퓨터과학과 입학생, 재학생, 교수, 조교, 예비입학생분들을 위한 게시판입니다.
일반 😀
2021.10.20 07:57
CNN
조회 수 38 추천 수 0 댓글 0

단축키

Prev이전 문서

Next다음 문서

convolution (컨볼루션 연산, 합성곱신경망), Filter, Max pooling, Fully Connected Layer
=> CNN(convolution neural network)

CNN 모델 중 VGG 모델 많이 사용

PC에서는 Dot product과정이 Convolution Operation이지만,
모바일에선 Convolution Operation이 아니라 Matrix Multiplication으로 변환해서 수행

#GEMM기반의 매트릭스 연산을 Convolution 연산으로 바꿔서 푼 이유가
   GEMM이 굉장히 빠르고 좋다는 가정 하에 했지만 모바일에서는 그리 좋지 않음. 
     => 합성곱이 아닌 다른게 필요함.
#메모리 운영이 병목되는 상황에서 여러번 카피하여 새로운 매트릭스에 들어가는 것은 효율적이지 않음
    => 여러번 읽어야하며, 이는 실행 속도에 큰 영향을 줌

# 연속된 이미지의 경우에는 크게 변하지 않는 경우가 많은데, 그런 경우 프레임 간의 중복이 많아짐.
    => 크게 바뀌지 않는 이미지에서도 Deep Neural Network(DNN)를 해야하기 때문
        =>이를 해결하기 위한 기술들이 많이 등장하고 있으니 알아보자.

ex)
    
Mobile GPU-Aware Processing
{Convolution operations directly on input     //GEMM을 거치지 않고, 직접 컨볼루션 수행
- No matrix building overhead
- Less memory consumption

FFT-based convolution approximation        //FFT를 기반으로 기존과 근사하게 하여 가속화하는 기술

Leverage local memory (high performaance cache inside GPU)        //로컬캐쉬를 활용하여 연산을 빠르게 함
- Store reusable convolutional kernels inside the local memory
- It will be shared across multiple threads

Use half floating point (32bits -> 16bit)        // 수의 표현 정확도를 32bit에서 16bit로 줄임으로서 연산을 가속시킴
}


Convolution Caching    
- 2개의 연이은 이미지가 있을때, 컨볼루션 섬이 비슷하면 기존의 컨볼루션 이미지 재활용
- 다르면 그 부분만 컨볼루션 연산 수행


Matrix Decomposition
- 하나의 큰 매트릭스 연산을 여러개의 작은 매트릭스 연산으로 나눠서 수행하면 훨씬 더 빠른 속도로 가속화 가능
- 정확도의 저하가 생김

결론

딥러닝 기술의 많은 연구에 경우 정확도가 중요한 경우가 많지만,
다른 요소로 시스템에 잠재된 문제, 파워소모 등 고려해야함.
    => 자원의 제약이 큰 모바일 환경을 고려하여 딥러닝 기술을 IOT 기기에 활용해야함

accuracy의 문제 뿐만 아니라, latency, execution의 속도, power 소모 등 여러 시스템 문제에 대해서도
관심을 가지고 최적화 해주는 과정이 필요함


List of Articles
번호 분류 제목 글쓴이 조회 수
공지 (필독) 공지 모음 / 코인(포인트) 얻는 방법 및 입문서 259 게시판관리 3318
공지 커뮤니티를 홍보하고 포인트를 적립해보세요 13 게시판관리 570
공지 ChatGPT 인공지능 기능을 포함하여 다양한 도구들을 사용해보세요 ⬆️ 6 file 게시판관리 740
567 일반 html5 웹프로그래밍 장난아니네요 전주독거총각 355
566 질문 컴퓨터과학과 3학년 알고리즘(이소하 /줌 5반) 출석수업 과제 질문드립니다.. 1 cirotsee 617
565 질문 컴과 1학년 파이썬 기초 프로그래밍 박진희 교수님 출석 자료 어디서 찾나요 ㅜㅜ 1 짜르봄바 714
564 질문 대면수업이 보통 주말인가요..? 4 차곡차곡 623
563 일반 가입 인사 드립니다!! 2 update Tartaros 648
562 질문 안녕하세요 교재 연습문제 주관식 문제 답을 어떻게 구할 수 있을까요? 루스 758
561 일반 올해부터 Onedrive 용량이 100기가로 줄었네요.. 1 Antonio 638
560 일반 안녕하세요 컴과 3학년 편입생입니다 2 update 빵찐 670
559 질문 출석수업 일정 및 장소 4 잇택잇 828
558 질문 강의에 대한 교재 어디서 확인할 수 있나요? 2 차곡차곡 592
557 질문 졸업유예시 학점을 높일수 있나요? 2 그로 99
556 질문 수강신청하는데 졸업하려면 전공필수 x점이상, 교양 x점 이상 이런거 없나요? 3 wnswnswns 189
555 일반 가입인사 드립니다~! 8 update 넓고얕은파랑 45
554 질문 비전공자 컴퓨터의 이해, 파이썬 프로그래밍 기초 들어도될까요? 3 꽃님이란다 373
553 질문 계절 학기 들으시는분 2 우지도리 145
552 질문 컴과 3학년 편입예정인데 3 하늘천 341
551 1학년 컴퓨터의이해기말시험대비워밍업학습자료 1 file 구름발치 152
550 정보 4학년 2학기 까지의 기말고사를 끝낸 지금...후배들에게... 13 개미허리 480
549 일반 대중영화의 이해 기말과제 만점 받은 학우님 계신가요? jisu 90
548 일반 학습용 인텔리제이 방통대 계정으로 발급받으신 분 계신가요?? 3 만금대부 975
목록
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 29 Next
/ 29