-고려대학교 영어교육학과 박사 이예나
1. 논문 요약
글로벌 사회에서 영어 능력이 중시되면서 이를 평가하는 대표적인 공인 시험인 토익(TOEIC)은 매년 200만 명 이상의 응시자가 몰리는 등 높은 수요를 보이고 있다. 그러나 다수의 공인영어 시험은 듣기와 읽기만을 중시하여 일반적인 언어능력 평가 기준으로 사용되기에는 부족한 점이 있다. 또한 토익의 넓은 점수 영역에 따라 근소한 점수 차이가 시사하는 의사소통 능력의 차이나 변별도에 대한 검증도 제대로 이루어지지 않았다. 이러한 문제의식을 바탕으로 본 연구에서는 토익 점수에 기반한 정량적 평가를 시행하여 토익 시험이 실제 영어 능력 및 의사소통 능력 평가에서 지니는 정확도와 유용성을 검증하고자 하였다.
이를 위한 첫 번째 과정으로 대학교에서 원어 강의의 성취도와 토익 시험 성적의 상관관계 분석 및 회귀분석을 통한 구인 타당도를 살펴보았다. 분석 결과 각 영역과 원어민 강의 성적 간의 상관계수는 각각 듣기 영역 0.443, 읽기 영역 0.401, 종합 점수 0.450으로 정의 관계를 보이기는 했으나, 실제 결속력은 16% 정도로 높지 않았다. 특히 세부항목에서는 상관관계가 0.194에서 0.604로 영역에 따라 편차가 컸으며, 듣기 영역의 일부 항목에서는 매우 낮은 상관관계를 보였다. 회귀분석 결과도 마찬가지로 토익 점수와 원어민 교수 강의 성적 사이에는 정의 관계가 존재했지만, 그 상관관계는 0.2 미만으로 매우 낮았다.
두 번째로는 토익 시험의 문항별 정답률과 오답률을 분석하여 전체적인 난이도, 변별도, 오답 매력도, 신뢰도를 분석하는 문항 분석 기법을 사용하여 평가의 일관성에 대한 토익 시험의 신뢰도를 분석하였다. 시험 유형별 평균 문항 난이도는 큰 편차 없이 보통 난이도를 보였지만, 상/하위권 학생들 간의 성적 차이를 보여주는 문항 변별도 지수에서 0.3 미만의 낮은 변별도를 가진 문항이 파트별 최소 18%에서 최대 46%가 포함된 것으로 나타났다. 또한 상위권 학생이 하위권 학생보다 오답을 더 많이 선택하는 문항도 전 유형에서 1~4% 내외로 검출되어, 종합적인 토익 성적의 신뢰도를 저하시키는 문항이 다수 포함되는 것으로 확인되었다.
세 번째로는 원어민들의 실제 발화 속도와 토익 시험의 발화 속도 및 억양을 분석하였다. 발화 속도와 억양의 유사성은 시험의 진정성을 나타내며, 이는 응시자가 느끼는 듣기 난이도와 직결되어 시험의 타당도를 결정하는 중요한 요인이 될 수 있다. 토익 시험에서는 영역에 따라 120~170WPM(분당 발화 횟수)을 보여, 실제 영미권 국가의 TV 뉴스의 평균인 170WPM보다 다소 느린 것을 확인할 수 있었다. 또한 미국과 캐나다 억양이 55% 이상, 영국 억양이 약 26%로 출제되어, 다양한 대륙과 국가의 억양을 담지 못하고 있음이 지적되었다.
네 번째로는 문장의 기본 요소인 텍스트 데이터를 기반으로 언어를 해석하여 이들 간의 유사성에 대한 해석 지표를 제공해주는 코퍼스 기법을 활용하였다. 이를 통해 한 학기 동안 실시된 2회 토익 시험의 유형별 성적 자료를 활용하여 코퍼스 지표와 성적과의 인과 관계를 살펴보았다. 2회차의 시험에서 나타난 개별 수험생의 성적 변동의 폭이 코퍼스 분석의 다양한 지표의 변동 추이와 유사할 시 실제 언어 사용 환경과 시험 간의 상관관계를 나타내는 진정성이 있다고 할 수 있다. 그러나 시험 유형별로 타입(단어의 종류) 및 토큰(단어의 출현)의 상이한 차이가 발견되었고, 문장 내 Narrativity(서사성), Connectivity(연결성), Temporality(동시성) 등의 문장 구조의 변화에 대한 분석 결과에서도 유형별로 차이가 존재하는 것으로 분석되었다. 이는 토익 시험에서는 유형 간 균일한 코퍼스 지표의 분포가 이루어지지 않았으며, 같은 토익 성적이라도 시험 유형에 따라 실제 실력이 다를 수 있음을 시사한다.
네 가지의 분석을 종합한 결과 토익 성적은 실제 외국인 강의와 유의미한 상관관계가 없었으며, 토익 시험을 구성한 문제 또한 수험생의 성적을 객관적으로 측정할 수 없는 문항이 다수 포함되어있었다. 듣기 영역 역시 실제 외국인의 현실적인 발화 환경을 표현한다고 보기 어려웠고, 토익 시험의 회차에 따른 유형별 수험자의 성적 변화가 실제 동일한 토익 점수에 따른 영어 실력을 그대로 나타내지는 못했다. 종합하면 정량적으로 제공되는 토익 성적 수치가 절대적인 영어 실력을 의미하지는 않는다는 것을 확인하였다. 이에 따라 영어 능력 측정에 대한 높은 수요와 실제 공인영어 시험의 한계를 반영하여 출제기관은 시대적 변화에 맞게 더욱 신중하고 정확한 평가 방법을 연구하고 도입해야 할 필요가 있음을 제언하였다.
2. 저자와의 인터뷰
▲영어교육학 박사 이예나 ⓒ인터뷰이 제공
○ 해당전공을 선택하게 되신 계기가 궁금합니다.
영어, 프랑스어, 중국어 등 여러 나라의 언어와 문화를 경험하고 배울 기회가 많아서 자연스럽게 다양한 언어로 새로운 지식을 얻는 것에 흥미를 느끼게 되었습니다. 그리고 석사 과정 중 우연히 EBS 영어 강의를 진행했는데, 생각보다 좋은 반응을 얻어서 이후에는 제대로 된 영어 교육학 공부가 절실히 필요하다고 느꼈던 것 같습니다. 석박사 과정을 밟는 동안 대형 어학원과 대학교에서 학생들을 가르치면서 교실 현장에서의 영어 교육뿐만 아니라 학문으로써의 영어 교육학 연구에 대해서도 관심을 가지게 되었습니다. 내가 알고 있는 지식과 경험이 많은 학생에게 도움이 된다는 사실에 너무도 행복했기에 더욱 체계적이고 심도 있는 공부를 통해 정확하고 올바른 방법을 공유하고 싶었습니다. 학생들이 발전하는 모습을 지켜보며 느낀 보람과 가치, 그리고 학생들을 향한 무한한 열정과 사랑이 영어교육학 공부를 포기하지 않고 지속할 수 있는 원동력이 되었던 것 같습니다.
○ 논문주제를 선정하게 된 이유와 논문을 통해 독자에게 전달하고자 했던 내용에 대한 설명을 부탁드립니다.
영어 교육 및 평가의 실무를 담당하는 현직자로서 현재 영어 평가 체계에서의 이상과 현실의 괴리에 대해 자주 고민해 왔습니다. 오랜 기간 교실 현장에서 학생들을 지도하면서 취업이나 졸업, 학점, 전과, 장학금 신청 등을 위해 토익 시험에 응시하는 학생을 많이 보았습니다. 하지만, 토익 시험은 고득점을 했음에도 불구하고 실제 영어 말하기와 쓰기 능력은 미숙한 경우가 많아, 이에 의구심이 들어 구체적으로 연구해 볼 필요성을 느꼈습니다. 따라서 구체적인 데이터를 체계적으로 분석한 연구를 통해 학교와 기관에서 흔히 사용되는 토익 시험 성적의 실제 신뢰도와 시험 구성과 평가 방법의 타당성을 살펴보았습니다. 이를 위해 실제 학생들의 토익 성적과 시험 타당성을 평가할 수 있는 다양한 분석 방법을 사용하여 연구를 진행하였고, 토익 시험이 과연 영어 능력의 다양한 지표를 정확히 반영하여 평가하고 있는지에 대해 검증하고자 하였습니다.
○논문을 쓰는 과정에서 어려움이 있다면 어떤 것들인가요?
공인영어 시험의 유용성을 평가하는 본 연구의 특성상, 평가를 위한 지표를 선정하고 다양한 분석 기법을 적용해야 했습니다. 본 연구에서는 대개 한두 가지 분석 기법을 통해 정량적 수치 결과를 제공해온 기존 연구들과 달리, 각기 다른 분석 결과를 취합하여 도출하는 정량적 수치 해석과 정성적 해석을 모두 시도했기 때문에 각 결과를 통합하여 최대한 객관적으로 해석하는 데 어려움이 있었습니다. 물론 이에 앞서 실험 데이터를 수집하는 과정에서 동의를 구하고 IRB(생명윤리위원회)를 승인받는 과정도 결코 쉽지 않았습니다. 또한 적합한 비교군을 확보하기 위한 풍부한 모집단 데이터를 구하는 데에도 많은 시간이 소요되었습니다. 특히 최근에는 데이터 이용 및 공유에 관한 정책이 사회적으로 논란이 되고 있어, 향후 정책 수립 과정에서 타당한 연구를 진행하는 연구자에 한해 풍부한 데이터를 활용할 수 있기를 기대합니다.
○논문쓰기를 앞둔 후배들에게 조언 한마디를 부탁드립니다.
논문 작성만큼이나 중요한 것은 실험 설계와 데이터 확보 및 승인 등의 준비과정이라고 생각합니다. 논문 작성의 대부분 과정에는 생각보다 많은 시간이 소요되고 예상치 못한 변수가 언제든지 생길 수 있기 때문에 이를 미리 인지하고 대비해야 원하는 시기에 논문을 완성할 수 있습니다. 누구나 실수를 할 수 있고 그 과정에서 성장도 하지만, 데이터 사용 사전 동의가 미흡하거나 IRB 승인이 보류되는 경우, 또 통계적으로 유의미한 자료가 불충분한 상황이 발생한다면 그동안의 노력이 수포로 돌아갈 수 있습니다. 따라서 폭넓은 선행 연구 검토와 체계적인 실험 설계, 양질의 충분한 자료 확보 등 철저한 준비가 필요합니다. 또한 수업에서 배우는 다양한 개념들을 충분히 이해하고 지도교수님과 자주 소통하는 것도 중요합니다. 함께 논문 주제와 실험에 대한 구체적인 계획을 세우고, 논문 작성 과정을 미리 그려보면서 한 단계씩 진행한다면 실수를 줄일 수 있을 것이라 생각합니다.
■인터뷰 정리 최서윤 기자 seoyoon2290@daum.net
