한국어 생성 요약 성능 평가 지표 분석 연구 


13권  12호, pp. 691-699, 12월  2024
https://doi.org/10.3745/TKIPS.2024.13.12.691


PDF Full-Text
  요약

본 연구는 한국어 생성 요약의 자동 평가 지표를 분석하고 검증하는 것을 목표로 한다. 언어마다 고유한 특성이 다르므로 각 언어에 적합한 평가 지표의 필요성에 따라 한국어에 특화된 연구가 요구된다. 현재 한국어를 대상으로 한 생성 요약 및 메타 평가 연구는 다른 언어에 비해 훨씬 부족한 상황이다. 따라서 한국어 생성 요약 데이터를 활용하여 평가 기준 및 문서 유형에 따른 신뢰성 있는 자동 평가 지표를 검증함으로써 향후 생성 요약 및 자연어 생성 분야의 한국어 모델 연구에 이바지하고자 한다. 요약 모델 평가 시 공신력 있는 지표로 여겨지는 인간 평가(Human Evaluation)는 시간과 비용이 많이 소요되므로 자동 평가 지표 연구는 효율성 측면에서도 중요한 의의가 있다. 10가지 한국어 문서와 참조 요약문, 세 가지 모델(T5, KoBART, GPT-3.5 Turbo) 생성 요약문을 대상으로 유창성, 일관성, 관련성 기준으로 인간 평가와 자동 평가 지표의 상관계수를 산출하였다. 평가 기준별 상관 분석 결과, T5 요약문에서는 일관성, 관련성에서 각각 0.33, 0.26, KoBART 요약문에서는 유창성, 관련성에서 0.33, 0.40의 상관계수와 함께 BERTScore가 제일 높은 상관관계를 보여 한국어 요약문 평가에 효과적인 지표임을 확인하였다. 한편, 대규모 언어모델인 GPT-3.5 Turbo 요약문은 환각 가능성 감지를 위해 개발된 평가 지표 HaRiM+가 일관성, 관련성 측면에서 0.23, 0.17의 유의미한 상관관계를 보였다. 또한, 문서 유형별 상관 분석 결과, T5 요약문은 보도자료와 회의록에서 BLEU 지표와 높은 상관관계를 나타냈고, KoBART 요약문은 나레이션 문서에서, GPT-3.5 Turbo 요약문은 사설 문서에서 BERTScore와 높은 상관관계를 보였다. 이러한 결과는 특정 문서 유형에 적합한 평가 지표를 선택하는 것이 중요하다는 점을 강조한다. 이와 같이, 본 연구는 향후 한국어 요약 연구에서 목표 과제의 목적에 따라 적합한 평가 지표를 선택하는 근거로서 활용할 수 있다.

  통계
  논문 참조

[IEEE Style]

S. Yoon and Y. Shin, "A Study on Automatic Metrics for Korean Text Abstractive Summarization," The Transactions of the Korea Information Processing Society, vol. 13, no. 12, pp. 691-699, 2024. DOI: https://doi.org/10.3745/TKIPS.2024.13.12.691.

[ACM Style]

Sehwi Yoon and Youhyun Shin. 2024. A Study on Automatic Metrics for Korean Text Abstractive Summarization. The Transactions of the Korea Information Processing Society, 13, 12, (2024), 691-699. DOI: https://doi.org/10.3745/TKIPS.2024.13.12.691.

논문 투고 양식

검색
(제목, 저자, 키워드)

세부 검색 ▼

관심이 많은 키워드
(상위 10개 키워드)

최근 출판 목록
(최근 3년)

과거 출판 목록

인덱싱

TKIPS에 출판되는 모든 논문은 DOI, EBSCO, Google Scholar, Crossref, CrossCheck에 인덱스됩니다.

TKIPS는 한국연구재단(National Research Foundation) 등재학술지입니다.

유관 저널