Дипломная работа (бакалавр/специалист) на тему Проблема надежности результатов массовых тестирований в теории педагогических измерений.

Содержание:

ВВЕДЕНИЕ 4
1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИЗМЕРЕНИЙ В ОБРАЗОВАНИИ 7
1.1. Исторические аспекты развития педагогических измерений в отечественном образовании 7
1.2. История развития измерений в образовании за рубежом 10
1.3. Основные компоненты и понятийный аппарат в теории педагогических измерений 12
1.4. Объективность педагогических измерений 21
1.5. Уровни педагогических измерений и шкалы 25
1.6. Постановка задачи шкалирования и шкалы 31
1.7. Размерность измерений, одномерные и многомерные измерения 33
1.8. Современное состояние теории педагогических измерений и проблемные области исследования 36
Выводы по первой главе 39
2. СОВРЕМЕННЫЕ ИЗМЕРИТЕЛИ, МЕТОДИЧЕСКИЕ АСПЕКТЫ ОБРАБОТКИ, АНАЛИЗА И ИНТЕРПРЕТАЦИИ ДАННЫХ ИЗМЕРЕНИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБУЧЕНИЯ 41
2.1. Общая типология видов современного инструментария педагогических измерений, контрольные измерительные материалы единого государственного экзамена 41
2.2. Методика формирования выборочных совокупностей учащихся и оценивания генерализуемости данных измерения на примере результатов единого государственного экзамена) 42
2.3. Методики шкалирования и выравнивания данных тестирования по вариантам и по годам (на примере результатов единого государственного экзамена) 53
2.4. Методические подходы к анализу и интерпретации данных измерения в управлении качеством образования (на примере результатов единого государственного экзамена) 54
Выводы по второй главе 66
ЗАКЛЮЧЕНИЕ 68
Список литературы 70
Приложения 72

Введение:

Анализ методической литературы показал, что разработано большое количество тестов по математике для учащихся. Однако тестов, отвечающих требованиям «малого ЕГЭ» было недостаточно. Не всегда выдерживаются структура, тип и виды заданий, не учитываются требования к базовому уровню математической подготовки учащихся. А с объединением двух предметов – алгебры и геометрии – в один, в математику, затруднило использование готовых методических пособий на уроках, именно как тематических тестовых заданий.
Надежность теста один из критериев качества теста, относящийся к точности психологических измерений. Чем больше Надежность теста, тем относительно свободнее он от погрешностей измерения. Надежность теста рассматривается при одном подходе: как устойчивость (стабильность) результатов при повторном тестировании; при другом, как проявление степени эквивалентности двух одинаковых по форме и цели (параллельных) тестов.
Надежность теста — фундаментальная характеристика теста, которая показывает в какой степени стабильны результаты тестирования при неоднократном обследовании. Надежность теста может определяться путем повторного тестирования (через строго определенный отрезок времени) и вычисления коэффициента корреляции между результатами первого и повторного тестирования. Надежность теста может определяться и путем тестирования с помощью нескольких вариантов одного и того же теста, деления теста на две половины и т.д. Надежность результатов тестирования зависит не только от качества самого теста, но и от процедуры проведения тестирования (она должна быть абсолютно идентичной в первом и во втором случае), социально-психологической однородности выборки (н. т. будет различной для детей, мужчин, женщин, солдат первого года – службы, старослужащих солдат и т.д.). И может получиться, что, будучи надежным для одной группы людей, тест окажется ненадежным для другой, результаты тестирования в последнем случае будут неверны. Таким образом, н.т., выражая степень неточности, возможность ошибки, возникающей неизбежно при любом тестировании, заставляет искать пути уменьшения этой ошибки, более конкретного, целеустремленного применения теста. Надежность лучших тестов составляет 0,8 — 0,9.
Цель работы – выявить проблему надежности результатов массовых тестирований в теории педагогических измерений и разработать рекомендации по ее повышению.
Задачи работы:
1. рассмотреть исторические аспекты развития педагогических измерений в отечественном образовании;
2. выявление основных компонентов и понятийного аппарата в теории педагогических измерений;
3. раскрыть сущность объективности педагогических измерений;
4. выделить уровни педагогических измерений и шкал;
5. определить цель масштабирования и масштабы;
6. изучение размерности измерений, одномерных и многомерных измерений;
7. анализ современного состояния теории педагогических измерений и проблемных областей исследования;
8. дать общую типологию типов современных средств педагогических измерений, контрольно-измерительных материалов Единого государственного экзамена;
9. описание метода формирования выборок студентов и оценка обобщения данных измерений на примере результатов Единого государственного экзамена);
10. выявить методологию масштабирования и выравнивания данных тестирования по вариантам и по годам (например, по результатам Единого государственного экзамена);
11. проанализировать методологические подходы к анализу и интерпретации данных измерений в управлении качеством образования (на примере результатов Единого государственного экзамена).
12. рассмотреть историю развития измерений в образовании за рубежом.
Объект работы – результаты массовых тестирований в теории педагогических измерений.
Предмет работы – проблема надежности результатов массовых тестирований в теории педагогических измерений.
Методики исследования:
1. Анализ учебно-методической литературы и дидактических материалов.
2. Практическое рассмотрение вопросов повышения интереса к математике у учащихся начальных классов общеобразовательной школы с позиции укрепления общеобразовательного материала и развития интереса к этому предмету.
Структура работы:
В 1 главе рассматривается теоретические основы измерений в образовании на примере трудов авторов таких, как Колесникова Г.И., Аксенова Л.И. и многих других.
Вторая глава посвящена современным измерителям, методологическим аспектам обработки, анализа и интерпретации данных измерений в управлении качеством обучения

Заключение:

В ходе работы были получены следующие результаты:
Цель различных математических теорий педагогических измерений в широком смысле — построение математических моделей, которые в количественной форме наиболее полно и точно отражают основные характеристики и параметры образовательного пространства, различных его элементов, механизмы их взаимодействия друг с другом. В узком смысле, который принят в современной науке и рассматривается далее, изучаются и рассматриваются только уровень подготовленности учащихся и уровень трудности определенного класса заданий, называемых тестовыми.
Надежность результатов теста проверяется при помощи любого из четырех методов: реестрового метода, метода параллельных форм, метода расщепления и метода Кьюдера — Ричардсона. Последний метод применим только с дихотомическими оценками.
Совершенствование процессов обучения и как следствие повышение качества образования возможно при условии получения объективных, оперативных, непрерывно обновляемых и многоаспектных данных о качестве образования. К настоящему времени сложились различные направления оценки качества образования, одним из которых является мониторинг обученности на основе педагогической диагностики образовательных достижений учащихся (стартовый, рубежный, итоговый контроль качества обучения).
Одним из направлений работы учителя на основе интерпретации результатов педагогической диагностики, является использование методов непосредственного педагогического воздействия на основе коррекции знаний обучающихся. Коррекция знаний должна обеспечить совершенствование всех основных качеств знаний и познавательных универсальных учебных действий. Процесс коррекции планируется с учётом того, что освоение знаний должно происходить на 3 уровнях: усвоение и воспроизведение (репродукция), использование на практике (умения), перенос на нестандартные ситуации (трансформация).
Одним из направлений работы учителя является использование методов опосредованного педагогического воздействия. Возникает потребность в использовании новых современных педагогических технологий, направленных на повышение познавательной активности школьников.
В методике шкалирования результатов ЕГЭ, используемой в 2015 – 2018 гг., реализуется поэтапное установление соответствие тестовых и первичных баллов для каждого общеобразовательного предмета, по которому проводится ЕГЭ.
Экспертиза осуществляется с учетом вариантов, уровня сложности каждого задания и значимости, проверяемого им содержания, умения, навыка, способа деятельности в контексте общеобразовательного предмета.
Региональные диагностические работы по математике на протяжении семи лет зарекомендовали себя как эффективный инструмент для подготовки выпускников к итоговой аттестации. Результаты диагностик активно используются на различных уровнях системы образования.
Положительный опыт проведения диагностических работ в 11-х (12-х) классах в 2018 г. был применён и при оценке уровня готовности 9-классников к ОГЭ по математике и русскому языку.
На следующем этапе технология проведения диагностических работ и методики анализа результатов будут совершенствоваться с учётом перехода старшей школы на обучение в соответствии с Федеральным государственным образовательным стандартом. Кроме того, актуальной становится и задача встраивания оценочных процедур в контекст регионального модуля Российской электронной школы.

Фрагмент текста работы:

1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИЗМЕРЕНИЙ В ОБРАЗОВАНИИ
1.1. Исторические аспекты развития педагогических измерений в отечественном образовании
Перспективные направления развития науки в сфере образовательных измерений связаны с попытками получить ответы на вопросы: на основании каких соображений испытуемый выбрал один из ответов, предложенных в заданиях с множественным выбором? Как и каким путём в мышлении испытуемых происходит переход от знания к умениям его применять для решения жизненных или профессиональных проблем? В чём причины выбора неправильных ответов? Как обобщить результаты выполнения отдельных заданий, чтобы получить более широкие представления о способностях испытуемых?
Для ответа на эти и другие не менее важные вопросы были развиты многочисленные методы, опирающиеся на аппарат классической и современной теории тестов. С целью получения различных более сложных выводов, чем оценка по результатам выполнения теста с множественным выбором, привлекались вероятностные модели, обладающие возможностями прогноза, и статистические методы, расширяющие возможность интерпретации стандартных оценок. Однако, несмотря на возможности теорий, моделей и методов, со временем стало ясно, что понимание сущности процессов, происходящих в мышлении испытуемых при выборе ответов в стандартизованных тестах, остаётся за гранью возможностей тех, кто анализирует результаты аттестации в контексте проблем совершенствования качества образования. Более того, стала очевидной сама ограниченность и недостаточность традиционной аттестационной оценки.
На протяжении первого десятилетия XXI века для специалистов по оценке качества образования всё очевиднее становился вывод о том, что при аттестации необходима комплексная оценка подготовленности испытуемых, преодолевающая ограниченность традиционных тестов.
В качестве одного из направлений развития идей комплексности оценивания был выбран переход в аттестации к многостадийным измерениям, другое направление получило название доказательного подхода в образовании.
Сама идея доказательного подхода (еvidence-based approach) возникла в медицине в 90-е годы ХХ века. В этот период врачи нередко сталкивались с ситуацией, когда результаты большого количества различных исследований, клинической практики или экспериментальной работы приводили к отличающимся рекомендациям по выбору видов лечения для сходных симптомов у больных. Идея подхода родилась у доктора Арчи Кокрейна, британского эпидемиолога, боровшегося за эффективность здравоохранения. Он призывал общественность платить только за то лечение, которое было эмпирически обосновано как эффективное (Enkin, 1992).
Кокрейн был активным сторонником использования доказательного подхода в лечении пациентов. В других публикациях исследователей появление доказательного подхода связывают с именем Яна Чалмерса, который в 1993 г. предложил методику создания «систематических обзоров», содержащих систематизированные результаты обширного анализа различных исследований с тем, чтобы помочь практикующим врачам в выборе оптимальных методов лечения для каждого пациента.
Благодаря интенсивному развитию информационных технологий в сфере создания больших баз банных (Big Data), позволявших собрать и интегрировать огромные массивы информации, в первое десятилетие XXI века в ряде стран стало уделяться значительное внимание доказательному подходу не только в медицине, но и в социологии, и в борьбе с преступностью. Со временем доказательный подход нашёл своё место в образовании, в частности, в сфере образовательных измерений. Здесь доказательный подход приобрёл форму поиска обоснований для оценивания тех или иных результатов выполнения заданий тестов.