README.md

metadata

language:
  - ko
metrics:
  - accuracy
pipeline_tag: text-classification
model-index:
  - name: ko-answerable
    results:
      - task:
          type: text-classification
          name: text-classification
        metrics:
          - type: eval_accuracy
            value: 0.892
            name: eval_accuracy
            verified: false
          - type: test_accuracy
            value: 0.837
            name: test_accuracy
            verified: false

ko-answerable: Passage와 Question이 답변을 할 수 있는가?의 2진 분류

Model Details

SelfCheckGPT의 Answerable model에 감명받아 제작하게 되었습니다. (https://arxiv.org/abs/2303.08896)

monologg/kobigbird-bert-base 모델을 사용하여 BigBirdForSequenceClassification 으로 Fine-Tune 되었습니다

Max Seq Len: 4096

Input Text Style: <BOS>Question<SEP>Title<SEP>Passage<EOS>

Return: 1: 응답 없음, 0: 응답 가능 (sigmoid score 사용 가능)

사용된 데이터셋 (해당 데이터셋에서 'is_impossible'을 기준으로 50:50으로 랜덤 추출(0,1 비중이 맞도록))

1. KLUE
2. AIHub-도서자료 기계독해
3. AIHub-뉴스 기사 기계독해 데이터
4. AIHub-행정 문서 대상 기계독해 데이터
5. 표기반 질의응답 데이터 (매튜님에게 개인적으로 받음)

AIHub-기계독해 데이터도 존재하나, 데이터 전처리하기 구조가 좀 복잡하게 달라서 제외함.

예측 시간: 건당 평균 0.05초 이내 (RTX 3090 사용)

사용 GPU MEM: About 20GB (Seq가 길면 많이 먹음)