기업 AI 챗봇 전문업체, 왜 답변 시연만 보고 고르면 안 될까요?

업체가 준비한 질문 말고, 우리 질문을 가져가세요

시연용 질문은 제품의 장점을 보여주기 좋게 준비되어 있을 수 있습니다. 그것이 잘못된 일은 아니지만 우리 회사의 질문도 잘 처리한다는 증거는 아닙니다. 후보 업체마다 같은 자료와 같은 질문을 주면 비교가 쉬워집니다.

최근 문의에서 반복 질문, 조건이 붙는 질문, 자료에 답이 없는 질문을 골라보세요. 고객의 이름이나 연락처처럼 테스트에 필요하지 않은 정보는 빼고 사용합니다. 예쁜 답을 얼마나 하는지보다 실제 업무에 맞는 답을 얼마나 하는지 볼 수 있습니다.

한 번에 수백 개를 준비하지 않아도 됩니다. 중요한 질문부터 작은 묶음으로 시작하고, 답을 확인할 담당자가 기대 답과 근거를 적어둡니다. 무엇을 정답으로 볼지 미리 정하지 않으면 시연을 본 사람마다 평가가 달라집니다.

회사 자료를 참고한다는 말도 자세히 봐야 합니다

많은 AI 챗봇이 회사 자료를 찾아 답변에 활용합니다. 흔히 RAG라고 부르는 방식도 여기에 해당합니다. 쉽게 말하면 회사 안내서를 찾아 펼친 뒤 답하는 방식입니다. 다만 안내서가 낡았거나 관련 없는 페이지를 찾으면 답도 잘못될 수 있습니다.

자료를 올릴 수 있다는 것만 확인하지 말고 어떤 자료를 참고했는지 추적할 수 있는지 보세요. 가격 문서를 수정하면 언제 반영되는지, 잘못 올린 문서를 제거할 수 있는지, 여러 버전이 있을 때 어떤 것을 기준으로 삼는지도 중요합니다.

Intercom은 자료 종류별 업데이트 방식과 접근 설정을 별도로 안내합니다. 이는 모든 제품이 똑같이 동작한다는 뜻이 아니라, 자료 운영이 별도의 확인 항목이라는 좋은 예입니다. Intercom 지식 자료 FAQ

모르는 질문에서 제품의 성격이 드러납니다

자료에 없는 환불 예외를 물었을 때 자신 있게 약속하는 AI는 운영하기 어렵습니다. 반대로 모든 질문을 “담당자에게 문의하세요”로 돌려도 도입 목적을 이루기 어렵습니다. 기본 안내는 하고, 판단이 필요한 부분은 구분하는지 봐야 합니다.

예를 들어 공개 정책에 있는 일반적인 이용 안내는 AI가 설명할 수 있습니다. 고객별 계약 조건이나 예외 처리는 권한이 있는 담당자가 확인해야 할 수 있습니다. 이 경계를 회사가 정하고 제품에 반영할 수 있어야 합니다.

사람에게 연결할 때도 버튼만 있는지 보지 마세요. 앞선 질문을 담당자가 볼 수 있는지, 고객이 같은 설명을 반복해야 하는지, 운영시간 밖에는 어떤 안내가 나오는지 살펴보세요. 연결의 품질은 다음 상담의 품질과 이어집니다.

‘답변’과 ‘처리’를 견적서에서 나눠보세요

배송 방법을 설명하는 것과 특정 주문의 배송 상태를 조회하는 것은 다른 기능입니다. 예약 방법을 알려주는 것과 실제 자리를 확보하는 것도 다릅니다. 회사 시스템과의 연결, 권한, 처리 결과 확인이 필요한 일이기 때문입니다.

도입 회의에서 이 차이를 놓치면 고객과 직원의 기대가 어긋납니다. 업체가 말한 ‘예약 상담’이 안내만 뜻했는데 회사는 자동 확정까지 기대할 수 있습니다. 아래처럼 요청과 실제 동작을 적어보면 좋습니다.

기능이 적다고 무조건 부족한 제품은 아닙니다. 회사가 필요한 것이 공개 안내와 문의 접수라면 그 범위를 잘하는 제품이 더 적합할 수 있습니다. 필요한 일을 정확히 정하는 것이 기능을 많이 고르는 것보다 중요합니다.

도입 전 테스트는 운영 중에도 다시 써야 합니다

같은 질문 묶음을 남겨두면 자료나 설정을 바꾼 뒤 다시 확인할 수 있습니다. 새 기능을 추가하면서 기존 안내가 틀어졌는지도 볼 수 있고요. 이때 답이 문장 하나까지 완전히 같아야 하는 것은 아닙니다. 핵심 사실과 조건, 연결 방식이 맞는지를 평가하면 됩니다.

Fin의 공식 배치 테스트 안내도 여러 질문을 미리 시험하고 결과를 확인하는 기능을 설명합니다. 특정 도구를 쓰지 않더라도 같은 질문과 기준으로 비교하는 운영 방식은 참고할 수 있습니다. Fin 배치 테스트 안내

테스트 결과를 ‘정답률 95%’처럼 요약한다면 무엇을 정답으로 봤는지 함께 적어야 합니다. 기본 안내만 넣은 쉬운 질문 100개와 예외 상황이 섞인 질문 100개는 같은 시험이 아닙니다. 숫자보다 질문 목록과 틀린 답의 유형을 먼저 보세요.

운영 담당자가 하루 동안 할 일을 상상해보세요

오전에 가격이 바뀌면 누가 자료를 수정하나요? 오후에 고객이 잘못된 답을 받았다면 누가 확인하나요? 담당자가 퇴사하면 권한을 어떻게 바꾸나요? 이런 일상적인 질문이 실제 운영비를 결정합니다.

이 항목은 제품마다 지원 여부가 다릅니다. 도입할 서비스가 모두 갖췄다고 추정하지 말고 실제 관리자 화면과 계약으로 확인하세요. 초기 설치비뿐 아니라 자료 관리, 추가 연결, 사용량에 따른 비용도 함께 비교해야 합니다.

비비페이지는 어떤 상황에서 살펴볼 수 있나요?

비비페이지는 기존 콘텐츠를 모은 브랜드관, 등록 자료에 기반한 AI 안내, 고객 대화와 문의 관리, 방문 반응 확인을 연결하는 서비스입니다. 여러 채널에 흩어진 소개와 문의 경로를 정리하려는 팀이 검토할 수 있습니다.

다만 대규모 콜센터의 모든 시스템 연결이나 주문·예약 자동 실행을 기본 제공한다고 생각하면 안 됩니다. 필요한 업무와 현재 제공 범위를 맞춰보고, 자료·팀원·고객관리 등 요금제별 한도를 확인해야 합니다. 기능 목록을 우리 업무 표에 대입해보면 적합한지 더 쉽게 판단할 수 있습니다.

도입 후에는 “AI가 얼마나 사람처럼 말했나”보다 “고객이 필요한 안내를 얻고 다음 단계로 갔나”를 살펴보세요. 가격을 정확히 답했는데도 고객이 다시 물었다면, 그 다음 질문 안에 개선할 내용이 있을 수 있습니다.