오피스아워

  • 수식인식(ocr)의 시각화
  • activation map visualization on transformers
    • 이미지, 모델을 넣어으면 바로 확인 가능
  • satrn에 적용하기
    • 이미지로부터 encoding이 끝날때의 feature를 가져와서 확인한다.
    • encode끝날때 적용
    • 해당 이미지의 어느부분을 보고있는지 확인
  • 잘 못잡을때는?
    • 잘못잡는 이미지들을 뽑아내기
  • token단위로도 시각화 가능
    • grad cam?
    • cam br
    • 직접 찾아야할듯…

qna

  • teacher forcing
    • 제대로 학습해주는 목표

오늘한일

  • adaptive 2d positinal 교체, 실행중
    • 이게 성능향상의 주역이 될듯
    • 위치및 정확도를 높일 수 있는 핵심 모듈로 예상

아쉬운점

  • 코드에서 왜 이런식으로 돌아가는지를 이해하고 분석하는데 오래걸린다.
  • 코드를 잘 가져와서 적용했는지 알지 못한다.