강의 복습 내용

얻은 지식

모델경량화 개요

결정

  • 연역적
    • 기존 진실을 이용해 증명
  • 귀납적
    • 관찰 결과를 이용해
  • 결정이 머신러닝의 핵심

결정기

  • 머신러닝은 결정기
  • 청소를 할지 안할지를 결정해주는 결정기
    • 기존에는 사람이 청소할지 결정하고 청소기를 작동
    • 결정기는 사람대신 청소할지 결정할지를 결정해주는거
  • 분류기
    • 어떤 물건인지 분류
  • 추천 시스템
    • 가벼운 결정
    • 책임이 필요없는 결정
    • 정확도 73프로 이하
  • 의사결정 시스템
    • 책임이 필요한 결정
    • 정확도 73프로 이상

가벼운 결정(경량화)

  • 경량화
  • tiny ml
    • 모바일보다 작은 장비에 탑재하도록 모델을 경량화
  • edge device에서 바로 계산되어 속도가 빠르다.

backbone과 dataset for model compression

  • 백본은 증명된것으로 사용

edge devices

  • 클라우드는
    • 네트워크를 통해야 한다는 단점
    • 고비용
    • 보안문제
  • edge device
    • 저비용
    • 보안문제없음
    • 통신할 필요없음
  • dump and fast
    • 멍청하고 빠르다.

edge intelligence

  • cloud intelligence
    • 클라우드가(중앙서버)전부 통제
  • edge intelligence는 임무가 분산되어있다.
  • edge training
  • edge caching
  • edge offloading
  • edge inference

돈전의 뒷면(팔리는물건)

  • the flip-side of the coin: on the AI
  • ai의 뒷면
  • 상식으로 알고있는것의 반대를 생각해보기
    • 미래를보기 / 과거를 보기
    • huge ai / edge ai

정방향, 역방향

  • 잘만들면 잘팔릴까
    • 우리가 원하는 물건, 시장이 원하는물건을 파악해야한다.
    • 잘만들었다고 해도 고객이 원하는 물건인지 알아야한다.
  • 문제를 정의하고 문제를 풀어보는것

AI

  • model training, model evaluation이 전부일까
  • ai는 입력에 대한 출력을 보장하지 않음
    • 제어하기 어렵다.
    • 복잡할수록 개선이 어렵다.
  • 그림
    • 언어가 달라서 생기는 문제
    • 초반에 문제를 찾는게 중요, 뒤에 문제를 발견하면 노력이 날라간다.

on-device ai

  • 크라우드 기반
    • 고비용, 네트워크통신, 보안
  • ai compression(edge device 기반)
    • 저비용, 통신불필요, 보안문제없음
  • 통신없이 해당 기계에서 바로 결과를 도출

optimization

  • 최단거리
    • 일반기계(DFA)
      • 모든경우를 전부 탐색하여 고려
      • 전부 탐색하기 전에는 최적의 해라는것을 보장하지 않음
    • ML
      • 랜덤한 시작점으로 부터 최단이 되도록 갑을 변경
  • decision, optimization 문제 차이
    • inference관점
      • decision은 하나의 inference로 모델M과 k이 있으면 M이 주어진 loss만큼 k에 가까운 값을 내는것
      • optimization은 loss를 최대한 줄이는것
        • decision을 반복적으로
    • desicion은 서울에서 부산까지 경로가 있는지?
    • optimization은 서울에서 부산까지 비용을 최소화하는 방법?
  • contraints

좀더 찾아보기

  • 소프트웨어 장인(책)

피어세션 정리

  • 밑바닥부터 딥러닝 3권 추천
  • 할수있는 만큼 재밌는 만큼

마스터세션

  • 피어세션
  • 짝작업
    • 내가 생각한 관념을 깨기위한 작업
  • 분업
    • 빠르게 개발
  • 협업
    • 다른관점을 보면서 새로운 관점으로 개발진행
    • 성장