강의 복습 내용
- 공간과시간
- 시간과공간 복잡도
- hyperparameter search
- neural architecture search(NAS)
- 알뜰히
모델의 시간복잡도
- 5가지의 기본 동작
- inputting, processing, outputting, controlling
공간과 시간
- 공간
- solution space, search space
- 어떤 문제를 해결하기위한 candidate?모아놓은 집단
- problem space
-
- 사이클 만들지 않고 모든 영역 거쳤는지
- 빨간박스로 되어있는게 solution space
- 그외는 problem spce에 있지만, solution space에 있지 않은 것들
- 시간
- P
- 결정론적 튜링 기계로 다항시간안에 풀수있는 판정문제
- NP(Non deterministic plynomial)
- 비결정론적 튜링 기계로 다항시간 안에 풀 수 있는 판정 문제
- 머신러닝이 쓰이는 영역
- 시간이 오래걸린다고 생각
- 시간 공간 trade off
- 엔트로피
- 미래에서 과거로
- low->high->low라는 관점?
- low는 정렬된상태(초기,완료된상태)
- high는 정렬이안되는 무질서한 상태
parameter search
- 하이퍼 파라메터를 조절해주는게 점점 줄어든다
- loss를 줄이는 방식으로 parameter를 찾는다.
hyper parameter search
- 한번 바꾸는데 많은 시간과 비용이 든다.
- exploitation
- exploration
-
- manual, grid, random search방식이 존재
- surrogate model
- gaussian process
- 대리자라는 뜻
- ml model에 대한 hyperparameter(x,f(x))세트를 가진다.
- 이 hyperparameter에 대한 세트를 학습
neural architecture search(NAS)
- vgg,resnet 등등에서 찾기
- 여러 후보군에서 전부 돌려보기
- 몇층할지, conection을 어디에 할지
NAS for edge devices
- MnasNet
- 모바일에 맞춘 acrchitecture search
- proxylessnas
- 이전엔 proxy로 일부를 대신 해주는 방식을 했다고한다.
- 이런 proxy없이 했다고한다.
- once-for-all
- regular convolution, depth-wise separable convolution
compression
압축
- 비손실, 손실로나뉨
- 복원시 손실이되냐 안되냐
- 허프만 코드
- 많이 사용되는 단어는 적은비트, 적게사용되는 단어는 좀더 큰 비트로 저장
부호
- coding
- 프로그램밍- 컴파일 - FSM을 만든다
- 이러한 구조가 languagage를 통해 이루어진다.
- 모델
- 입력, 모델이 인코딩(부호화)를 통해 출력을 만든다.
부호화
- encoding
- cross entropy
- q라는 codebook을통해 p라는 메시지를 해독
압축률
- compression rate
- space saving rate
- (파라매터수-압축한파라메터수)/압축한 파라메터 수
- speedup rate
좀더 찾아보기
피어세션 정리
- 질문
- 엔트로피?
- 하나의 분포
- a-z에서 p와 a-p에서 p의 정보량은 a-z가 더 크다.
- 크로스엔트로피
- 엔트로피참고
- 엔트로피참고2