“너는 20년 차 전문가야”, 이 말이 AI를 더 똑똑하게 만들까?

AI에게 질문하기 전 ‘너는 20년 차 전문가야’라는 문장을 붙이곤 합니다. 같은 질문이라도 경험 많은 사람처럼 답해주길 기대하기 때문입니다. 그런데 전문가처럼 말하는 것과 정답을 더 잘 맞히는 것은 같을까요?

이처럼 역할을 지정하는 방법을 페르소나 프롬프트라고 부릅니다. 프롬프트는 AI에 전달하는 지시나 입력이고, 페르소나는 그 안에서 부여한 역할입니다. 역할 지정은 답변의 관점을 잡는 데 쓸 수 있지만, 정확도가 자동으로 높아지는 보증은 아닙니다.

연구에서는 전문가 역할을 어떻게 비교했을까?

2025년 EMNLP에 발표된 ‘Principled Personas’ 연구는 Gemma 2·Llama 3·Qwen2.5 계열의 공개 가중치 모델 9개를 대상으로, 사실 지식·수학·추론 분야 27개 과제를 평가했습니다. 역할을 지정하지 않은 기본 상태와 전문가 역할을 넣은 상태를 비교했습니다.

전문가 역할은 많은 과제에서 성능을 높이거나 통계적으로 뚜렷한 차이를 만들지 않았습니다. 그러나 일부에서는 성능이 낮아졌습니다. 역할을 더 세부적인 전문가로 만들거나 높은 교육 수준을 부여한다고 결과가 일관되게 좋아지는 것도 아니었습니다.

흥미로운 부분은 과제와 무관한 이름이나 좋아하는 색깔도 정답률에 영향을 줄 수 있었다는 점입니다. 질문에 붙인 설정이 실제 전문지식처럼 안정적으로 작동한다고 보기는 어려운 것입니다.

‘전문가 효과가 없다’는 연구와 모순일까?

같은 해 12월 공개된 ‘Playing Pretend’ 보고서는 모델 6개에 GPQA Diamond와 MMLU-Pro의 어려운 객관식 문제를 풀게 했습니다. 대체로 문제 분야에 맞춘 전문가 역할에서도 기본 상태보다 일관된 정확도 향상을 확인하지 못했습니다. Gemini 2.0 Flash처럼 예외도 있었습니다.

두 연구는 모델과 문제 구성, 역할을 만드는 방식이 다릅니다. 앞선 연구의 ‘나아지거나 유의한 차이가 없었다’에는 차이가 없던 경우도 포함됩니다. 이를 모두 ‘전문가 역할 덕분에 성능이 올랐다’고 읽으면 결론이 달라집니다.

또 이 결과들은 정답이 있는 문제의 정확도를 평가한 것입니다. 친절한 강사 말투나 특정 독자를 위한 설명 방식처럼 다른 목적까지 쓸모없다고 판정한 연구는 아닙니다. ‘20년 차’라는 표현 자체를 모든 최신 모델에서 검증한 결과도 아닙니다.

역할 옆에 실제로 해야 할 일을 적어봅니다

‘전문가처럼 검토해줘’만으로는 무엇을 잘해야 하는지 모호합니다. 다음은 실행 결과가 아니라, 검토할 항목을 구체화한 요청 예시입니다.

이 글을 처음 읽는 독자를 위한 편집자 관점에서 검토해줘. 숫자와 단위가 맞는지, 결론을 뒷받침하는 근거가 있는지, 출처에 없는 단정이 있는지 확인해줘. 수정이 필요하면 원문 구절·이유·수정안을 나눠 제시하고, 확인할 수 없는 내용은 추정하지 말고 표시해줘.

여기서 ‘편집자’는 관점을 정합니다. 그 뒤의 지시는 검토 대상과 출력 형식, 확인할 수 없을 때의 처리를 정합니다. 역할의 경력을 늘리는 것보다 어떤 기준으로 결과를 살필지 분명해집니다. 물론 이 지시도 사실 확인 자체를 대신하지는 않습니다.

자신의 작업에서 역할의 효과를 비교하고 싶다면 같은 모델과 자료로 역할이 있는 요청과 없는 요청을 나눠볼 수 있습니다. 그때는 ‘더 전문가처럼 들리는가’와 ‘틀린 내용이 줄었는가’를 따로 봐야 합니다. 정답이나 원자료가 없는 상태에서는 말투 차이를 정확도 차이로 착각하기 쉽습니다.

전문가라는 이름표를 붙이는 것은 답변의 방향을 제안하는 일입니다. 그 이름표보다 중요한 것은 실제 답변이 자료와 조건을 지켰는지 확인하는 기준입니다.