В новом «Руководстве по унифицированному внедрению требований к владению языком и надзору» (предварительное название), которое, по мнению представителей ИКАО, будет опубликовано в этом году, также говорится о том, что единые требования к тестированию начинаются с (а) приведения дизайна теста в соответствие с реальными коммуникативными требованиями тестируемых и (б) обеспечения общей нормативно-правовой базы для того, каким образом оценивается речь экзаменуемого и определяется его уровень владения.
Действительно, наука о тестировании – тестология – говорит о том, что коммуникативные компетенции (умение говорить и понимать на слух) следует проверять коммуникативными средствами (интервью, ролевые игры, вопросы контроля понимания и т.п.). Тест, содержащий задания с множественным выбором (multiple choice — там, где приводится несколько вариантов ответов и нужно выбрать правильный) – неадекватен по нескольким причинам: во-первых, это письменное задание, которое пилот/диспетчер должен прочитать (чтение не входит в оцениваемые по Шкале ИКАО элементы языка). Во-вторых, задача экзаменуемого — выбрать один из предлагаемых ответов (на практике ни у пилота, ни у диспетчера такой опции нет). В-третьих, выбор осуществляется при помощи ручки или клавиатуры – и снова ни речевой, ни слуховой аппарат человека в тестировании не задействован.
Поскольку тест с множественным выбором неадекватен, значит, он не может быть валидным.
Почему же множественный выбор можно встретить чуть ли не в каждом тесте по авиационному английскому языку? Ответ однозначен: так проще подсчитывать результат тестирования. Так и появляются вместо рейтеров – «счётчики» (scorers), а автоматизация тестирования сводится к подсчету компьютером количества правильных ответов и соотнесения их – нет, не со Шкалой ИКАО, а с придуманной для той же цели автоматизации процесса условной шкалой, где, например, до 70% правильных ответов – это третий уровень, от 71% до 80% — четвертый, от 81% до 90% — пятый, а больше 91% — шестой.
За обманчивой простотой как-то забывается, что цифры эти, большей частью, взяты «с потолка», и от теста к тесту они могут отличаться в зависимости от строгости или благодушия разработчиков таких квази-тестов. Может, и поэтому в том числе один и тот же экзаменуемый оценивается разными тестами по разным уровням владения языком? – Об этом говорится и в Руководстве, об этом говорилось и на совещании.
Нормативно-правовая база в Российской Федерации существует: Росавиация утверждает тесты к использованию и публикует списки сертифицированных рейтеров. К сожалению, практика отличается от установленных правил, а Росавиация не в состоянии следить за тем, чтобы установленные ею правила неукоснительно соблюдались.
Отсюда и решения руководителей некоторых авиакомпаний и всех филиалов Госкорпорации по ОрвД – принимать во внимание результаты только по тем тестам, на которые они укажут. Причины, на наш взгляд, две: с одной стороны, обычное самоуправство, с другой – недоверие к результатам, полученным по другим тестам. Но в этом случае Росавиация могла бы либо потребовать выполнения своих приказов, либо более ответственно относиться к процессу одобрения каждого из тестов. Хотя – почему «либо»? Это двуединая задача.
Отрадный факт, что Росавиация была представлена на этом важном совещании. С другой стороны, жаль, что до сих пор у нашего регулятора нет специалиста, который мог бы разбираться в вопросах преподавания и тестирования английского языка, а также мог без труда на нем разговаривать, как это делали в Самарканде и руководитель Узаэронавигации, и руководитель Авиационного учебного центра, и РП-инспектор, и диспетчер, и пилот Boeing 787…
Этой проблеме уже больше двадцати лет, и решения пока что не видно. Но по рекомендациям ИКАО у страны должен быть ответственный координатор (focal point), который обладает всеми перечисленными качествами.
С.А. Мельниченко,
МКАА «Безопасность полетов»,
генеральный директор
