대화 시스템 평가 방법 (Survey on Evaluation Methods for Dialogue Systems)
논문 다운로드 : 링크
0. Dialog system
1) 대화시스템 평가방법의 지향점
자동화되어야하고, 반복가능해야하고, 사람의 평가와 관련있어야하고, 대화시스템 종류별로 구분지어져야하고, 설명 가능해야 한다.
1. Dialog system의 종류
일반적으로 대화시스템은 세가지로 나눠집니다.
1) Task-oriented
예시 : 예약봇, 콜봇, 스피커 등
가장 효율적으로 사용자가 문제를 해결할 수 있도록 돕는 시스템으로, 명확히 정의된 도메인에서 진행됩니다. 목적지향형 대화시스템으로 회사에서 상용화된 대부분의 시스템은 이 방식을 사용합니다. 시나리오 기반으로 데이터가 구성되어있습니다.
대화 목적과 도메인이 명확하고, 대화 항목이 정의되어 있기 때문에, 업무 정확도와 효율성에 집중을 하고 있습니다. 보통 데이터베이스에서 정보를 찾아 주거나, 어떤 action을 하거나, 정보검색을 해주는 것이 있습니다.
목적을 이루기 위해 쿼리, 검색, 행동 등 타 시스템과 연계되는 행동이 많기 때문에 API로 쉬운 연동을 하는 것도 특징입니다.
단순화된 pipeline은 다음과 같습니다.
2) Conversational agents
예시 : chit-chat, 이루다, 심심이
어떤 규격도 없이 open-domain으로 대화하는 시스템
3) Question Answering (QA) system :
예시 : FAQ 검색, 지식인 등
task-oriented systems처럼 규격화된 시나리오는 없으나, 고객의 질문에 대응하기 위한 구조입니다. 도메인에 종속되기보다는 가지고 있는 지식베이스에 영향을 받습니다 : 보통 트리플형태의 knowledge base나 지식인 Q&A 데이터 등을 연결하여, 대응하는 방법을 사용합니다.
2. 각 System 별 평가 지표
1) Task-oriented
예시 : 예약봇, 콜봇, 스피커 등
가장 효율적으로 사용자가 문제를 해결할 수 있도록 돕는 시스템으로, 명확히 정의된 도메인에서 진행됩니다. 목적지향형 대화시스템으로 회사에서 상용화된 대부분의 시스템은 이 방식을 사용합니다. 시나리오 기반으로 데이터가 구성되어있습니다.
2) Conversational agents
예시 : chit-chat, 이루다, 심심이
어떤 규격도 없이 open-domain으로 대화하는 시스템
댓글
댓글 쓰기