Тестовые задания и контроль эффективности обучения

Автор: Андрей Oлeгович Блинoв, доктор экономических наук, профессор кафедры менеджмента Всероссийского заочного финансово-экономического института (ВЗФЭИ).

 

Большую значимость в учебном процессе обретают обучающие и контролирующие тестовые задания. Задание в тестовой форме — это варьирующаяся по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным.

Подстановка правильного ответа вместо неизвестного компонента превращает задание в истинное высказывание. Подстановка неправильного ответа приводит к образованию ложного высказывания, что свидетельствует о незнании обучающимся данного учебного материала.

К заданиям в тестовой форме предъявляются следующие требования:

1. Логическая форма высказывания. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии, в то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость ответов.
2. Правильность формы. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.
3. Краткость. Задания всегда короче задач и вопросов. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться ясности содержания задания.
4. Наличие определенного места для ответов является одним из внешних признаков задания в тестовой форме. В заданиях с выбором ответов — это код (цифры или буквы) требуемого ответа, из числа прилагаемых к каждому заданию.
5. Правильность расположения элементов задания является требованием, помогающим испытуемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение.
6. Одинаковость правил оценки ответов. Правила оценки определяются заранее и абсолютно одинаково применяются ко всем испытуемым. Ответ на задание представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания.
7. Адекватность инструкции форме и содержанию задания означает взаимное соответствие перечисленных компонентов, необходимое для выполнения заданием своей функции.

 

Алгоритм написания тестового задания включает одинаковые действия. Для написания тестового задания необходимо:

1. Определить инструкцию: т.е. то, что необходимо выполнить в данном тестовом задании.
2. Сформулировать вопрос: требует хорошего знания объекта. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.
3. Сформулировать ответ: чаще всего предполагает его однозначность и бесспорность, чтобы превратить предложенное высказывание в правильное.
4. Найти переменную часть: т.е. включение в предложенный вопрос неправильных ответов. Количество неправильных ответов зависит от специфики выбранной формы тестового задания.
5. Определить возможность применения фасета. Он позволяет создавать в одном задании сразу несколько вариантов, что помогает полностью исключить такую распространенную форму искажения результатов, как списывание, и дает возможность применять тестовые задания при контроле больших групп обучающихся и объективно сопоставлять результаты испытуемых. При этом нужно выдерживать одно важное условие — все элементы из фасета должны принадлежать одной и той же укрупненной дидактической единице знаний.
6. Учитывать требование краткости: т.е. отредактировать и упростить тест
7. Прочитать вслух на предмет понятности с первого раза: очень важно, чтобы при чтении задание было понято с первого раза.
8. Подобрать неправильный ответ: они должны создавать впечатление достоверности, быть сформулированными в идентичной форме или в форме противоречия с правильными ответами.
9. Определить систему оценки: очень важна для правильного оценивания знаний обучающихся, ее выбор зависит от применяемой формы тестового задания.

 

Разработка всякого теста начинается с выбора подходящей формы и содержания задания. Овладение формой является необходимым условием для создания полноценных тестов. Форма придает заданиям структурную целостность и определенность, внешнюю организованность.

1. Задания с выбором одного правильного ответа. Логической основой этой формы является закон исключенного третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного — ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен присутствовать, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

К недостаткам заданий с выбором относят возможность запоминания неправильных ответов. Однако это имеет место лишь в тех случаях, когда есть знания или хотя бы туманные представления, а также, если неправильный ответ легко отличить от правильного. В хорошо составленных заданиях неправильные ответы часто кажутся правдоподобнее, чем правильные. Это является затрудняющим элементом, предъявляющим повышенные требования к подготовленности испытуемых.

Оценка. Обычно за правильный ответ в каждом задании принято давать один балл, за неправильный ответ — ноль. Суммирование всех баллов, полученных испытуемым, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием «тестовый балл испытуемого».

2. Задания с выбором одного, наиболее правильного ответа. Хотя задания с выбором одного правильного ответа не одобряют многие педагоги, в этом деле активнее других проявляют себя преподаватели математики. Первая причина отрицательного отношения вполне обоснована: если задание сформулировано неудачно, то испытуемые вместо решения нередко просто подбирают подходящий ответ.

Вторая причина — это необходимость как-то оценить ту часть работы, которая выполнена правильно, несмотря на общий неправильный ответ. Это позволит точнее оценить тех, кто выполняет правильно хотя бы некоторую часть требуемых преобразований, в отличие от тех, кто не справляется полностью. Метод последовательной оценки каждого правильно выполненного этапа решений называется grading.

Оценка в этом задании такая: правильный ответ — два балла, частично правильный — один балл и в случае отсутствия какого-либо ответа — ноль баллов.

3. Задания с выбором нескольких правильных ответов. По содержанию они труднее, чем задания с выбором одного ответа. В этих заданиях используется только один принцип композиции — это принцип однородности ответов. Такие задания связаны с идеей проверки так называемых классификационных знаний, проверки знаний принадлежности отдельных видов или объектов к тому или иному роду, классу, виду, группе. Рассматриваемые задания позволяют выявлять отношение респондентов к различным явлениям в процессе проверки знаний.

Инструкция для испытуемых пишется так: «Отметьте номера всех правильных ответов». Не рекомендуется отрицательная формулировка заданий, когда спрашивают о том, что не используется, не относится, не делается и т.д. Ответы к заданиям обязательно относятся к одному роду или виду терминов.

Общее число ответов желательно иметь в диапазоне от пяти до четырнадцати. Испытуемые должны быть готовы к тому, что в любом задании правильным может оказаться любое число ответов — от одного до всех предложенных. Следовательно, эти задания по форме и содержанию труднее, чем задания с выбором одного правильного ответа.

Оценка, выставляемая за правильное выполнение: обычно используется номинальная шкала. В ее рамках за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный — ноль. При этом под правильным ответом понимается точный выбор всех без исключения правильных ответов. В случае хотя бы одного ошибочного выбора, равно как и «невыбора» правильного ответа, дается ноль баллов. При незнании правильного ответа вероятность допустить хотя бы одну ошибку достаточно высока.

4. Задания открытой формы. В заданиях открытой формы готовые ответы с выбором не даются. Испытуемый должен сам дописать ответ, который свидетельствует о наличии или отсутствии требуемых знаний Задания открытой формы формулируются в виде утверждений, которые превращаются в истинное высказывание, если ответ правильный, и в ложное высказывание, если ответ неправильный.

Тестирование заданиями открытой формы начинается с инструкции «Дополнить», в соответствии с которой испытуемый на месте прочерка пишет ответ. Если задания этой формы следуют одно за другим, то инструкция пишется один раз на все задания.

С помощью заданий открытой формы удобно проверять знание названий, фактов, свойств, признаков, дат, причинно-следственных отношений. В заданиях открытой формы может применяться пропуск двух и более слов (или символов). Задание формулируется в виде утверждения, а не вопроса. Пропуск для ответа лучше делать как можно ближе к концу предложения.

Оценка, выставляемая за правильное выполнение. Обычно используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный — ноль.

Полезны следующие обобщенные рекомендации по разработке заданий открытой формы:

• содержание задания должно быть понятным всем без исключений испытуемым;
• содержание задания пишется прописными буквами;
• все утверждения делаются, по возможности, короткими;
• лучше добавлять как можно меньше слов или знаков;
• добавляется что-то одно;
• добавляемое слово для лучшего понимания желательно ставить ближе к концу задания.

 

5. Задания на установление соответствия. В них требуется установить соответствие элементов одного столбца элементам другого. Задания на установление соответствия позволяют проверить так называемые ассоциативные знания. Это знание о взаимосвязи определений и фактов, авторов и их произведений, формы и содержания, сущности явлений, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Педагогический смысл применения таких заданий заключается в стремлении активизировать собственную учебную деятельность обучающихся посредством усиления ассоциаций изучаемых элементов и улучшения понимания взаимосвязи явлений. В процессе самоконтроля у испытуемых выявляется знание о том, что они не знают.

Инструкция состоит из слов «Установить соответствие». Нередко отмечается стремление дополнить эти два слова различными пояснениями типа «Установить соответствие между тем-то и тем-то». Но этого лучше не делать, потому что из названий столбцов хорошо видно, что устанавливать соответствие надо между элементами двух классов.

В оценке ответов используются разные варианты. При первом варианте оценка в один балл дается за правильное выполнение всего задания; в противном случае — ноль, даже за одну допущенную ошибку. Во втором варианте дается по одному баллу за каждое правильно установленное соответствие. В третьем за все правильные ответы принято давать два балла, за одну допущенную ошибку снижать оценку до одного балла, за две ошибки и более — ноль баллов.

6. Задания на установление правильной последовательности. Такие задания позволяют не только проверить знания, умения и навыки по установлению правильной последовательности различных действий, операций, расчетов, но и формировать все перечисленное в учебном процессе. Формирование алгоритмов правильной и эффективной деятельности особенно необходимо на заключительной стадии профессиональной подготовки.

Можно выделить несколько вариантов правильных последовательностей:

1. последовательность исторических событий;
2. последовательность технологических действий и операций;
3. последовательность различных процессов;
4. цепочка умственных действий, образующая систему знаний, умений, навыков и представлений.

 

Цель введения таких заданий в учебный процесс — формирование алгоритмического мышления и алгоритмических знаний, умений и навыков. Алгоритмическое мышление можно определить как интеллектуальную способность, проявляющуюся в определении наилучшей последовательности действий при решении практических задач. Задания на установление правильной последовательности помогают решать трудную задачу формирования структуры знаний.

Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. Чаще всего используется оценка 1 или 0, при которой 1 балл дается за правильную расстановку всех рангов в задании, 0 — при ошибке в ответе. Отсюда можно вывести правило, в соответствии с которым безошибочное решение оценивается, например, 3-мя баллами. Ошибка в конце задания приводит к снижению оценки на 1 балл, ошибка в середине — на 2 и ошибка в начале — на 3 балла. В результате чего все оценки обучающихся по этому заданию могут варьироваться от 0 до 3.

 

Эффективность тестового задания

Эффективным можно назвать тестовое задание, если оно лучше, чем другие, измеряет знания обучающихся интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, дешевле, и все это, по возможности, в комплексе. С понятием «эффективность» сопряжено близкое к нему по содержанию понятие «оптимальность», которое трактуется как наилучший из возможных вариантов с точки зрения удовлетворения нескольким критериям, взятым поочередно или вместе.

Эффективное задание проверяет важный элемент содержания учебной дисциплины, который нередко называют ключевым для требуемой структуры знаний обучающихся. В тест соответственно включаются только такие задания, которые признаются в качестве ключевых элементов изучаемой учебной дисциплины.

В определении эффективности обращается внимание еще на два ключевых элемента — это число заданий теста и уровень подготовленности обучающихся. Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может образоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим числом заданий в таком случае можно называть сравнительно более эффективным.

Помимо этого эффективность теста можно оценить с точки зрения соответствия уровня его трудности уровню подготовленности тестируемых в данный момент. Самый эффективный тест — это тест, точно соответствующий по трудности заданий уровню подготовленности испытуемых.

Эффективность тестов может зависеть и от формы. Нарушение тестовой формы всегда приводит к худшему выражению содержания и к худшему пониманию смысла задания обучающимися.

Эффективность теста зависит также и от принципа подбора заданий. Если подбирать задания для измерения на всем диапазоне изменения трудности, то снижается точность измерения на отдельном участке. И наоборот, если стремиться точно измерить знания испытуемых, например, среднего уровня подготовленности, то для этого потребуется иметь больше заданий именно данного уровня трудности. Следовательно, тест не может быть эффективным вообще, на всем диапазоне подготовленности обучающихся. Он может быть более эффективен на одном уровне знаний, и менее — на другом. Именно такой смысл вкладывается в понятие дифференциальной эффективности теста.

 

Интерактивное тестирование применяется у нас на всех этапах обучения: от проверки до закрепления полученных знаний и навыков. Чаще всего используются четыре вида тестов: тест открытой формы, где обучающиеся должны ответ на поставленный вопрос; многовариантные ответы; тесты «правильно-неправильно»; опрос, где обучающимся предлагается сортировать ответы в определенной последовательности и обосновать свой выбор. Поступайте на обучение по индивидуальной программе, чтобы учиться только тому, что вам интересно и нужно.