강의 복습 내용
- 양자화
- knowledge distillation
얻은 지식
양자화
fixed-point, floating-point
- fixed(32비트)
- 소수부의 자릿수를 고정
- 구조
- 1비트는 부호
- 8비트는 정수(integer part)
- 23비트는 소수(fractional part)
- floating-point
- 고정보다는 넓은범위
- 구조
- 1비트는 부호
- 8비트는 지수
- 23비트는 가수부
- FPU(floating point unit)
quantization
- 양자화
- 모델크기가 줄어든다.
- 표현력은 줄어든다.
- 추론속도가 빨라진다.
- 4비트는 16층으로 이루어져 bit로 4bit가 된다.
- 3비트는 8층으로 이루어져 bit로 3bit
- int는 -127부터 127까지 5층으로 표현이된다.
- 위 그래프의 색이 칠해진게 에러라고 볼수있다.
- float으로 양자화를 적용하여 int로 변환하면 float의 적은범위가 int에서는 큰 범위로 적용되므로 손실이 발생
- 양자화 하는 방식
양자화 종류
- diynamic
- static
- quantization awaer training(qat)가 있다.
knowledge distillation
- 지식 증류
- 큰 모델이 학습한것을 작은곳으로 증류하여 넘기는 컨셉
- teacher, student모델학습에서 사용된다.
좀더 찾아보기
- 양자화란?
- knowledge distillation
피어세션 정리
