의뢰마다 테스트를 새로 만드는 이유

요약 (Abstract)

통역 실력은 하나의 숫자로 고정되지 않는다. 같은 통역사라도 반도체 공정 회의와 화장품 바이어 상담, 소송 자문 회의에서 보이는 수행은 다를 수 있다. MetaPret은 그래서 통역사에게 한 번 매긴 점수를 모든 의뢰에 재사용하지 않고, 의뢰가 들어올 때마다 그 의뢰 분야에 맞춘 테스트를 만들어 후보를 확인한다. 이 노트는 통역 인지 모델과 분야 지식에 관한 선행 연구를 바탕으로 그 설계의 근거를 설명한다.

1. 배경 (Background)

Gile(2009)의 노력 모델(Effort Model)은 통역을 듣고 분석하기, 기억하기, 말하기, 그리고 이들을 조율하는 일이 한정된 처리 용량을 나눠 쓰는 과정으로 본다. 그의 줄타기 가설(Tightrope Hypothesis)에 따르면 통역의 문제는 필요한 처리 용량이 가용 용량을 넘을 때, 또는 특정 작업에 배정된 용량이 그 순간 부족할 때 생긴다. Gile은 같은 책에서 전문 담화를 이해하는 데 언어 지식뿐 아니라 언어 외적 지식, 즉 그 분야에 대한 지식이 중요하다고 강조한다.

두 가지를 함께 놓으면 이렇게 정리할 수 있다. 분야를 잘 아는 통역사는 낯선 용어와 개념을 해석하는 데 처리 용량을 덜 쓰고, 남은 용량을 기억과 표현에 돌릴 수 있다. 반대로 분야가 낯설면 같은 통역사라도 용량이 포화되기 쉽다. 통역 실력은 사람에게 붙은 고정값이라기보다, 사람과 자리의 조합에 가깝다.

2. 문제 (Problem)

관행적인 통역사 섭외는 대개 이력서, 학력, 소속, 소개로 사람을 고른다. 이 신호들은 "이 사람이 통역을 해 왔는가"는 보여 주지만, "이 사람이 이 분야의 이 자리에서 잘하는가"는 보여 주지 않는다.

MetaPret을 시작한 계기도 이 간극이다. MetaPret 운영자는 금융업에서 일하며 해외 운용사와 국내 기관 투자자의 회의를 준비하는 쪽에 있었다. 이력서가 좋은 통역사를 섭외했지만, 금융 개념이 낯설어 회의 중 소통이 막히는 일을 겪었다. 이력서가 틀린 것은 아니었다. 이력서가 답하는 질문이 회의에 필요한 질문과 달랐을 뿐이다.

한 번 치른 일반 테스트로 등급을 정하고 모든 의뢰에 쓰는 방식도 같은 한계를 가진다. 일반 테스트는 일반 실력을 본다. 의뢰인이 필요한 것은 그 자리의 실력이다.

3. 설계 (Design)

• 의뢰 분야에 맞춘 출제. 요청서의 분야, 회의 성격, 자료를 바탕으로 그 의뢰에 맞는 테스트 지문을 만든다.
• 같은 조건. 후보들은 같은 지문을 같은 조건에서 치른다. 언어쌍 양방향으로, 한 번 듣고 바로 통역한다.
• 방향마다 세 축으로 채점. MetaPret AI가 모든 녹음을 검토하고, 운영자가 확인해 확정한다.
• 확정된 후보만 매칭. 테스트가 채점·확정된 후보 중에서 MetaPret이 고른다.

4. 근거 (Rationale)

실력이 쓰이는 조건에서 본다. 노력 모델이 말하듯 수행은 처리 부담에 따라 달라진다. 분야를 맞춘 테스트는 실제 회의와 비슷한 부담을 주고, 그 조건에서의 수행을 본다.

비교 가능성을 만든다. 같은 지문, 같은 조건이어야 후보 사이의 차이가 사람의 차이로 읽힌다. 이력서는 이런 비교를 허락하지 않는다.

실력의 증거를 매 의뢰 새로 남긴다. 한 번 받은 등급은 시간이 지나도 그대로지만, 실력과 분야 지식은 바뀐다. 의뢰마다 새로 확인하면 매칭 시점의 실력이 기준이 된다.

5. 한계 (Limitations)

• 테스트는 시간이 걸린다. 급한 의뢰에서는 출제와 응시 시간을 줄여야 하고, 그만큼 확인 범위가 좁아질 수 있다.
• 짧은 테스트가 하루 종일 이어지는 회의의 체력, 현장 대응, 태도까지 보여 주지는 못한다.
• 출제의 질이 결과의 질을 좌우한다. 의뢰인이 준 자료가 적으면 출제가 실제 회의를 덜 닮는다.
• 테스트 결과가 현장 수행을 얼마나 예측하는지는 MetaPret이 아직 통계로 말할 만큼의 데이터를 갖고 있지 않다.

6. 다음 질문 (Open questions)

• 분야를 맞춘 테스트와 일반 테스트는 현장 수행 예측력에서 얼마나 차이 나는가?
• 테스트 길이를 줄여도 예측력이 유지되는 최소 조건은 무엇인가?
• 의뢰인 자료의 양과 테스트 예측력은 어떤 관계인가?

참고문헌 (References)

• Gile, D. (2009). Basic concepts and models for interpreter and translator training (Rev. ed.). John Benjamins.

인용 방법: MetaPret (2026). 의뢰마다 테스트를 새로 만드는 이유. MetaPret 노트 1. metapret.net