강의확인

두문장 관계분류

  • sep토큰으로 나뉜 두문장의 자연어 추론과 의미론적인 유사성을 측정
  • 데이터
    • natural language inference(NLI)
      • 자연어의 맥락을 이해하는지 검증
    • semantic text pair
      • 두문장의 의미가 서로 같은 문장인지 검증

피어세션

  • roberta 좋다.
    • xlm-roberta-large
  • 코일렉트라 좋다.
    • 50이나…
  • k폴드?
  • torch native로 변경하니 좋다고 한다.

오늘 한일

  • 새로운 토큰 추가해보기
  • kykim모델 20epoch시도

어떻게 했는지

  • 새로운 토큰을 추가하는것으로 sentence에서 해당 단어를 e1,e2로 감싸는 방식을 적용하려함
  • epoch를 더 높이면 성능 향상을 기대함

좋았던 점

  • 새로운 토큰을 추가하는 방식을 공부함

아쉬운 점

  • 새로운 토큰을 넣는거 뿐만 아니라 새로운 embedding layer를 추가해야하는데 아직 더 나아가야할게 많다
    • entity토큰으로 표시한 부분만 1로 나타나게 해야한다.
  • 20epoch로 했는데 오히려 떨어졌다.