면접관 시뮬레이션 에이전트: 면접관의 질문을 평가하다.

면접관 교육은 보통 강사가 한 번 들어와서 끝납니다. 슬라이드와 강의가 한두 시간 흐르고 나면 면접관은 본업으로 돌아갑니다. 남는 것은 잠깐의 메모와 다음 면접 일정 정도입니다. 정작 면접관이 자기가 어떤 질문을 하는 사람인지, 그 질문이 회사가 보려는 역량을 제대로 짚었는지는 강의가 끝난 뒤에도 답이 없는 셈입니다.

저희가 한 대기업과 함께 설계한 면접관 시뮬레이션 에이전트는 이 빈틈에서 출발했습니다. 마주한 문제는 세 가지였습니다.

• 연습 기회의 제한. 면접관 교육은 보통 연 1~2회의 정기교육으로 끝납니다. 면접에 들어가기 전 한 차례 강의를 듣는 구조라 면접관 본인이 같은 질문을 두 번 다듬어볼 시간이 없습니다.
• 시나리오의 협소함. 모의면접은 한정된 시간, 한정된 인원, 정해진 상황 안에서만 이뤄집니다. 실제 면접에서 마주칠 다양한 직무와 지원자 페르소나, 면접유형은 그 안에 다 담기지 않습니다.
• 측정의 부재. 교육이 끝나면 피드백은 구두로 흘러갑니다. 면접관 본인의 질문이 좋은 질문이었는지, 회사 평가기준에 맞게 출제됐는지는 어디에도 데이터로 남지 않습니다. 다음 면접에서 자기 질문이 나아졌는지 확인할 길이 없습니다.

세 가지를 한 줄로 묶으면, 면접관의 질문 자체가 한 번도 평가된 적이 없다는 점입니다. 면접관 교육은 늘 "이렇게 하세요"를 알려주는 구조였고, 면접관 본인이 어떤 질문을 만들고 있는지를 객관적으로 확인할 방법은 없었습니다. 시뮬레이션 에이전트는 그 과정을 만드는 것에서 출발합니다.

면접관의 질문이 측정되는 구조

면접관 시뮬레이션 에이전트는 에이전트리아의 어빌리티(ability) 단위로 만들었습니다.에인전트리아에서 어빌리티는 하나의 목적을 위해 모인 기능 묶음을 가리킵니다. 이 사례에서 핵심이 되는 어빌리티는 두 가지였습니다. 답변생성 어빌리티와 질문평가 어빌리티입니다.

에이전트가 가상 지원자가 됩니다.

면접관이 시뮬레이션을 시작하면 먼저 연습 옵션을 고릅니다. 면접유형, 지원자 페르소나, 직무. 이 세 가지가 매번 다른 시나리오를 만들어내는 입력입니다.

옵션이 정해지면 답변생성 어빌리티가 가상 지원자 역할을 맡습니다. 면접관이 던지는 질문에 페르소나와 대화 맥락을 함께 고려해 답변을 만들어냅니다. 같은 질문이라도 어떤 페르소나가 앉아 있는지, 어느 직무로 들어왔는지에 따라 답의 결이 달라집니다.

한정된 시나리오의 벽은 여기서 풀립니다. 한 사람이 한 시간 안에 보여줄 수 있는 모의면접의 범위는 좁지만, 어빌리티 위에서 페르소나와 직무를 갈아끼우면 같은 면접관이 한 주 안에 수십 가지 상황을 연습하게 됩니다.

회사의 평가기준이 질문을 평가합니다.

다음 어빌리티는 질문평가 어빌리티입니다. 면접관이 출제한 질문이 회사 평가기준에 맞게 잘 짜였는지를 평가합니다.

회사 평가기준이 단순한 프롬프트가 아니라 별도 어빌리티 안에 들어가 있다는 점이 중요합니다. 회사마다 면접에서 보려는 역량 항목은 다릅니다. 그 기준이 어빌리티 안에 구조화되어 있으니, 같은 시뮬레이션 에이전트가 회사가 바뀔 때마다 다른 척도를 들고 면접관을 평가합니다.

질문평가 어빌리티는 점수만 내놓지 않습니다. 질문 하나하나, 평가 항목 하나하나에 왜 그 점수가 나왔는지 근거 텍스트를 함께 답합니다. 잘했다·못했다의 총평이 아니라, 면접관 본인의 질문이 어디서 약했는지, 어떤 평가 항목을 놓쳤는지가 항목 단위로 드러납니다.

1회성 교육에서 누적되는 리포트로

면접 연습이 끝나면 면접 리포트가 남습니다. 면접 총평, 강점과 개선점, 질문별 결과, 질문 역량 항목별 결과, 전체 결과까지 한 번의 연습이 항목별 데이터로 정리됩니다.

이 리포트가 만드는 차이는 누적입니다. 1회성 교육은 끝나면 사라지지만, 시뮬레이션은 매 연습마다 같은 항목 위에 데이터가 쌓입니다. 면접관 한 명이 어느 항목에서 늘 부족한지, 어떤 직무 시나리오에서 흔들리는지가 회를 거듭할수록 드러납니다.

교육 부서 입장에서도 채용을 평가하는 지표가 달라집니다. 교육의 효과를 "들었다·안 들었다"로 가늠하던 방식이, 면접관별 질문 역량 항목 점수의 추이로 바뀝니다.

지금까지 채용에서 평가되어 온 것은 늘 지원자였습니다. 지원자의 답변, 지원자의 역량, 지원자의 표현. 면접관 시뮬레이션 에이전트가 바꿔놓는 패러다임은 면접관 평가 부분입니다. 채용 품질을 가르는 변수가 면접관의 질문에 있다고 본다면 면접관도 평가되어 관리되어야 합니다.