Экзаменационная система во многом похожа на рейтинговую, т.е. с авторизацией и со случайной выборкой вопросов (для борьбы с механическим заучиванием, списыванием и различными формами несанкционированного получения ответов).

Это совершенно неактуально в США, так как, судя по свидетельствам очевидцев, списывание там пресекается не столько преподавателями, сколько самими студентами, сразу сообщающими преподавателю, если их коллега списывает. Ситуация в России совершенно иная. Списывание применяется охотно большей частью студентов, формы его совершенствуются, особенно с появлением наладонных ПК и мобильных телефонов.

Кроме того, практика показывает, что следует ограничивать время прохождения теста (по нормативу), чтобы отлично подготовленные студенты не могли решить сравнительно простые задания для соседей. Целесообразно поощрение быстро работающих в виде повышения баллов за скорость решения и с учетом времени прохождения теста. Экзаменационная система должна представлять преподавателю полную статистику с учетом времени. Экзаменационный тест необходимо оформлять отдельно от учебника.

Рекомендуется случайным образом задавать экзаменуемому 15-25 вопросов из обширной базы. Безусловно, количество задаваемых вопросов напрямую зависит от объема курса.

• Каково оптимальное соотношение количества задаваемых вопросов и количество вопросов в базе ?
• Сколько вопросов необходимо помещать в эту базу, чтобы адекватно оценить экзаменуемого ?

В большинстве тестовых программ вопросы теста выбираются из тестовой базы случайным образом. Но при этом наблюдается флуктуации количества "правильных" ответов от теста к тесту. То есть при каждой реализации теста будут иметь место различные оценки при одном и том же уровне знаний студента.

Если оценить количественно влияние этого внешнего фактора на результаты тестирования, то обнаружится, что при фиксированном уровне знаний и объеме теста вероятность появления количества правильных ответов, адекватного уровню знаний, зависит от величины тестовой базы.

Вполне естественно, что увеличение вопросов в тестовой базе позволяет в результате тестирования получить оценку, адекватную истинному уровню знаний, и если не исключить, то свести к минимуму эффект "везения-невезения". Но до какой степени увеличение количества вопросов оправданно ?

Если рассмотреть базы, состоящие из 200 вопросов и 400 вопросов, и при этом задавать испытуемому 20 вопросов за тестирование, то результаты практически не будут отличаться. При сравнении базы из 100 вопросов и из 200 отличия будут незначительны. То есть для теста из 20 вопросов можно рекомендовать базу из 150-200 вопросов.

Большую роль при разработке вопросов итогового (экзаменационного, в частности) контроля играет трудность заданий. Трудность определяется долями выборки, т.е. процентом испытуемых, давших правильный и неправильный ответы на вопрос при экспериментальном тестировании. Основным показателем трудности задач является индекс трудности. Для повышения надежности теста задания, которые имеют значение показателя индекса трудности больше 80 или меньше 20, в тест не включаются. Наиболее практическую ценность имеют задания теста, на которые правильно отвечают 40-60% испытуемых.