Проблемы оценки общих и профессиональных компетенций в контексте перехода на федеральные государственные образовательные стандарты icon

Проблемы оценки общих и профессиональных компетенций в контексте перехода на федеральные государственные образовательные стандарты


Смотрите также:
Переход на федеральные государственные образовательные стандарты третьего поколения: проблема...
Проект подготовлен рабочей группой Общероссийского общественного движения «Образование для всех»...
Положение о системе оценивания в начальной школе в условиях перехода на фгос...
Положение о системе оценивания в начальной школе в условиях перехода на фгос...
О переходе на уровневую систему и федеральные государственные образовательные стандарты высшего...
О переходе на уровневую систему и федеральные государственные образовательные стандарты высшего...
Регламент работы конференции...
«Государственные образовательные стандарты нового поколения в контексте формирования...
Федеральные госы-один из основных инструментов реализации конституционных гарантий права...
Приказ 2010 г. № Осоздании и полномочиях рабочей группы по введению фгос ноо...
Обеспечение перехода на новые Федеральные государственные образовательные стандарты...
Учебно-методическое объединение по образованию в области менеджмента...



Загрузка...
скачать
Проблемы оценки общих и профессиональных компетенций в контексте перехода на федеральные государственные образовательные стандарты


Полежаева М.В.

Федеральный институт развития образования


Оценка и контроль результатов обучения являются неотъемлемой частью управления качеством образования. В связи с переходом системы СПО на федеральные государственные образовательные стандарты (ФГОС) меняется и подход к контролю и оценке. В словаре-справочнике современного российского профессионального образования, опубликованном ФИРО в 2010 году, даются следующие определения.

^ Результаты профессионального обучения (подготовки) (англ: learning outcomes, outputs):

1) Общие и профессиональные компетенции, соответствующие определенному уровню образования и квалификации.

2) Социально и профессионально значимые характеристики качества подготовки выпускников образовательных учреждений профессионального образования.

^ Контроль результатов обучения (англ: process of quality control) – процесс сопоставления достигнутых результатов обучения с заданными в целях обеспечения качества подготовки обучающихся.

^ Оценка результатов обучения (англ: quality assessment) – процедура определения соответствия индивидуальных образовательных достижений обучающихся и выпускников профессионального образования требованиям потребителей образовательных услуг.

В ФГОС указано, что оценка качества освоения основных образовательных программ должна включать текущий контроль знаний, промежуточную аттестацию обучающихся и государственную (итоговую) аттестацию выпускников. Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей основной профессиональной образовательной программы (ОПОП) для текущей и промежуточной аттестации создаются фонды оценочных средств, позволяющие оценить знания, умения и освоенные компетенции.

В разделе 5 «Контроль и оценка результатов освоения профессионального модуля» ОПОП для профессиональных модулей должны быть описаны для каждой формируемой в рамках этих модулей профессиональной или общей компетенции основные показатели результатов подготовки, а также формы и методы контроля.

При определении основных показателей результатов обучения необходимо следовать следующим принципам:

  1. Проверка должна быть реализована в компетентностном ключе, формулировать результаты следует, отвечая на вопросы: зачем это нужно делать? на каком уровне мы хотим, чтобы выпускник это делал? с какой скоростью должна быть сделана эта операция? и т.д.

  2. Показатель должен полностью соответствовать компетенции, при этом его формулировка не должна повторять название самой компетенции.

  3. Начинать рекомендуется с отглагольного существительного, например: соблюдение правил техники безопасности, анализ технологической документации, обоснование выбора технологического оборудования и инструментов, чтение чертежей, определение неисправностей в работе основного технологического оборудования и т.д.

  4. Выбранный показатель должен быть диагностируемым, то есть, должно быть представление о критериях сформированности этого результата, а также инструмент для его оценки.

В системе СПО всегда была установка на практикоориентированность, поэтому формулировка показателей результатов обучения, доработка существующего и создание нового оценочного инструментария для профессиональных компетенций не должно стать большой проблемой.

Вышеприведенными принципами следует руководствоваться и при определении показателей результатов обучения для общих компетенций. Например, для компетенции «Работать в коллективе и в команде, эффективно общаться с коллегами, руководством, потребителями» показателями могут служить:

- взаимодействие с обучающимися, преподавателями и мастерами в ходе обучения и практики;

- умение работать в группе;

- наличие лидерских качеств;

- участие в студенческом самоуправлении;

- участие спортивно- и культурно-массовых мероприятиях и т.д.

Основной метод оценки общих компетенций – это наблюдение.

Основными формами оценки компетенций являются:

  • практические задания и лабораторные работы;

  • деловые игры;

  • кейсы;

  • индивидуальные или групповые проекты;

  • тестирование;

  • анкетирование;

  • портфолио, включающее в себя результаты различных форм контроля и другие данные.

Разумеется, остаются и традиционные формы контроля, такие как устные и письменные экзаменационные задания, опрос, интервью, курсовая работа, реферат и т.д., но ими в большей степени удобно пользоваться на уровне оценки знаний и умений в рамках дисциплин и междисциплинарных курсов.

Признаками качественной оценки являются:

1. Обоснованность – средства оценки должны оценивать именно ту деятельность или компетенцию, которая является целью обучения. Всем лицам, проводящим оценку, следует руководствоваться одинаковыми критериями.

2. Достоверность – необходимо создавать одинаковые условия для оценки всем обучающимся: студентам надо обеспечить доступ к справочным источникам и информационным системам, а лица, проводящие оценку (далее – оценщик), должны убедиться, что результат достигнут именно данным студентом, а не другим. Достоверность также означает проверку не механической памяти, а умений использовать знания в конкретных ситуациях трудовой деятельности.

3. Применимость – соответствие методов оценки имеющимся ресурсам.

4. Гибкость – оценка проводится по мере подготовленности обучающегося, когда он готов продемонстрировать освоенные компетенции.

В рамках системы качества образовательного учреждения результаты контроля должны анализироваться и использоваться для коррекции образовательных траекторий студентов и управления образовательным процессом в целом. Но при этом необходимо помнить о необходимости использовать качественный инструментарий и соблюдать основные требования к организации процедур контроля. Например, в настоящее время подавляющее большинство колледжей используют тестовые технологии для контроля качества подготовки студентов. Но эта форма проверки предъявляет наиболее высокие требования к качеству контрольных измерительных материалов. Основными характеристиками качества тестов являются валидность и надежность.

Валидность (от англ. validity) – значимость, обоснованность, пригодность результатов по отношению к цели тестирования. Сбор и предъявление научно обоснованных доказательств приемлемости используемых измерительных материалов и процедур для решения поставленных задач называется валидизацией. Цель валидизации состоит в том, чтобы обеспечить оправданность и справедливость интерпретаций, основанных на свидетельствах о практических умениях испытуемых, проявленных в процессе тестирования. Например, при валидизации экзамена, имеющего среди целей принятие решения о присвоении профессиональной квалификации, ставится следующий вопрос: «На каком основании конкретному человеку была присвоена определенная квалификация? Является ли это основание достаточным и справедливым?» Центром исследований являются используемые процедуры. Если процедуры выбраны неверно, то и выводы относительно конкретных лиц, скорее всего, будут ошибочными. Валидизация теста предполагает анализ логики теста, особенно его структуры и целей, а также включает рассмотрение эмпирического свидетельства – реальных фактов, появившихся на основе данных проверки теста или его применения в работе. Если процедуры валидизации недоступны, то возникает потенциальная возможность для недобросовестности и несправедливости.

Валидизация теста предполагает в первую очередь определение того, как и в каких целях, предполагается использовать результаты тестирования и дальнейшее обоснование обоснованности такого использования. Профессиональные этические кодексы организаций, проводящих педагогическое тестирование, требуют не просто всеобъемлющего исследования валидности используемых инструментов и процедур, но и ознакомления с результатами этих исследований всех заинтересованных сторон.

«Стандарты образовательного и психологического тестирования» выделяют три основных вида валидности.

1) Содержательная валидность (content-related validity) – это возможность сделать обоснованный вывод об оцениваемом домене на основании примененного метода оценивания. Иными словами – это соответствие заданий, данных участнику тестирования при проведении оценивания, полному оцениваемому домену.

Под оцениваемым доменом понимается весь объем знаний, умений, навыков, а также когнитивных, психомоторных и эмоциональных процессов, овладение которыми должно быть оценено у экзаменуемого. При оценивании степени усвоения предварительно изученного материала таким доменом может быть программа одного или нескольких занятий, дисциплин; перечень конечных целей обучения; перечень умений и навыков, которые приобретались студентом. При прогнозировании будущего успеха в определенной профессиональной сфере оцениваемый домен может определяться требованиями профессионального сообщест­ва и быть связанным не с одной, а несколькими предметными областями. Объем оцениваемого домена (даже в его тезисном изложении), как правило, значительно больший, чем возможный объем теста.

Применительно к системе СПО доменом является содержание, определенное государственными образовательными стандартами (федеральными государственными образовательными стандартами) и рабочими программами.

2) Конструктная валидность (construct-related validity) – это «воз­мож­ность в определенной степени объяснить результаты тестиро­ва­ния тем или иным психологическим конструктом» (то есть психо­ло­ги­ческими чертами, качествами, свойствами) экзаменуе­мых. Примерами психологических конструктов является матема­ти­чес­кая способность, честность, возбудимость, ориентация в пространстве и т.п.

3) Критериальная валидность (criterion-related validity, эмпирическая валидность) – это возможность с определенной степенью вероятности получить сходные результаты оценивания того же домена у тех же студентов другим методом.

Критериальная валидность, в отличие от других видов валидности, имеет количественный эквивалент, который рассчитывается как коэффициент корреляции между эталонными результатами и результатами по валидизируемому методу оценивания. Однако для установления эмпирической валидности необходимо иметь в наличии качественный эталонный тест, который достоверно измеряет тот же домен, что и валидизируемый метод. А поскольку новые методы оценивания, как правило, создаются с целью замены старых менее качественных инструментов измерения, то возникает ситуация, когда сам эталон является невалидным, и сравнение с ним приведет к низким значениям коэффициента корреляции. Выводы про невалидность нового инструмента на основании таких данных будут, по меньшей мере, несправедливыми. То есть, при валидизации метода оценивания необходимо критически относится как к новому, так и к эталонному инструменту, и иметь детальное описание параметров обоих инструментов. Также следует учитывать, что величина этого коэффициента в социальных науках, в т.ч. образовании, обычно не превышает 0,6.

Анализ качества теста состоит из следующих этапов:

  1. экспертиза содержательной валидности;

  2. определение статистических показателей качества заданий и вариантов теста в целом;

  3. проведение исследований критериальной и конструктной валидности.

Содержательная валидизация предполагает сбор мнений экспертов, которым разработчик готов доверять. Как правило, она задает определенный системный способ вынесения этих экспертных заключений. Наиболее часто этот тип валидизации заключается в анализе теста и сравнении его содержания с изложенным в спецификации (иногда это может быть и соответствующая учебная программа).

Основными методами содержательной валидизации контрольных материалов являются:

1) Экспертная оценка заданий из банка относительно определенного списка критериев;

2) Сравнение содержания тестов со спецификацией, если варианты формируются не автоматически, либо анализ процедуры автоматического составления вариантов теста из заданий банка и нескольких образцов контрольных работ;

3) Опросные листы, интервью с «экспертами».

Например, для оценки соответствия задания целям экзаменационной работы эксперт должен ответить на следующие вопросы:

  • Понятно ли из вопроса, к какому предметному содержанию и/или компетенции относится задание?

  • Соответствует ли задание целям, указанным в программе экзамена?

  • Можно ли ответить на задание, используя другие (отличные от планируемых) умения?

  • Не содержатся ли в задании непреднамеренные подсказки? Или: не смогут ли привыкшие к такой форме контроля учащиеся ответить верно, даже не обладая соответствующими знаниями?

  • Не является ли задание ловушкой, например, предлагает несуществующую проблему?

  • Соответствует ли вопрос предполагаемому уровню сложности? Не повышена ли непреднамеренно сложность за счет избыточной информации?

  • Соответствует ли уровень сложности задания предполагаемому уровню испытуемых?

Также эксперт должен проконтролировать технологическое соответствие материалов требованиям к составлению тестовых заданий в различных формах, наличие четких инструкций по выполнению заданий и порядку записи ответа, а также по последующей проверке экзаменационной работы. Но чаще всего бывает сложно найти специалистов, разбирающихся и в содержании дисциплины, и в тонкостях тестовых технологий и специфике, которую они накладывают на оформление заданий. В этом случае экспертизу лучше всего разделить на 2 части: содержательную и тестологическую (технологическую, которая проводится специалистом по педагогическим измерениям).

Следующим этапом оценки качества теста, который, к сожалению, проводится чаще всего только для широкомасштабных процедур тестового контроля, таких как единый государственный экзамен или федеральный интернет-экзамен в сфере профессионального образования, но является очень важным для повышения качества тестовых материалов, является статистический анализ заданий и теста в целом.

На этом этапе определяются трудности всех заданий и экзаменационной работы в целом, дифференцирующая способность заданий (действительно ли задание позволяет различить более и менее подготовленных студентов), оценивается надежность измерений и другие характеристики в рамках классической или современной теорий тестирования. Только статистические исследования в комплексе с содержательным анализом позволяют определить качество вариантов и их параллельность по трудности, а следовательно доказать справедливость экзаменационных процедур. Одной из проблем проведения статистических исследований является требование к объему выборки, для получения надежных оценок рекомендованное количество участников должно быть в 5 раз больше количества заданий в тесте. Можно анализировать статистику и на меньшей выборке, но в этом случае необходимо помнить, что погрешность измерения характеристик растет с уменьшением количества экзаменуемых.

После сбора статистики можно оценить критериальную валидность теста. Наиболее распространенными ее типами являются конкурентная (текущая) и прогностическая. В своей основе конкурентная валидизация заключается в сравнении результатов тестирования с результатами этих же испытуемых в других измерениях тех же умений приблизительно в тот же временной отрезок. Другое измерение может представлять собой выполнение параллельной версии теста или варианта другого теста, заполнение листа самооценки, рейтинговые баллы, выставленные преподавателями и т.п. Результат сравнения представляется в виде коэффициента корреляции. При этом важно, чтобы исследователь доверял результатам этих внешних (по отношению к валидизируемому тесту) измерений.

Таким образом, установление эмпирической валидности тестовых материалов, также как и содержательной, требует учета многих факторов для обоснованных сравнений:

  • четкое описание цели, для которой валидизируется тест;

  • наличие внешнего критерия;

  • обеспечение оценки качества внешнего критерия;

  • обеспечение стабильности выборки экзаменуемых при анализе результатов разных методов оценивания.

В системе СПО сравнение может вестись с результатами контрольных работ в других формах. Например, если студенты стабильно получают более высокие оценки за практические задания и лабораторные работы, чем за тесты по дисциплине, то это заставляет задуматься, не является ли завышенным критериальный балл или слишком трудны сами тестовые задания.

Прогностическая валидность, в отличие от конкурентной, подразумевает, что данные для сравнения с результатами тестирования будут собраны позднее. Наиболее часто используются результаты обучения через полгода/год, если речь идет о валидизации вступительного теста. Для валидизации итогового экзамена необходимо анкетирование работодателей через год профессиональной деятельности выпускников.

Оценка прогностической валидности осуществляется с использованием какого-либо внешнего критерия. Например, итоговый междисциплинарный тест для выпускников специальности СПО можно предложить выполнить группе квалифицированных мастеров. Профессиональные способности каждого мастера в группе оцениваются с помощью внешнего независимого критерия (например, с помощью экспертной оценки, по величине заработной платы, по какому-либо критерию непосредственной оценки производительности и т.п.). Высокая корреляция между значениями результатов теста и значениями оценок профессиональных способностей свидетельствует о высокой предсказательной валидности заключения о возможностях теста.

Представленные процедуры оценки качества тестовых материалов позволяют выявить несоответствующие заявленным содержательным и статистическим критериям задания и своевременно скорректировать их либо удалить из вариантов тестов (базы тестовых заданий). Проблема оценки качества теста является комплексной, чем более полные исследования будут проводиться, тем более точными результатами оценки качества подготовки студентов будет располагать образовательное учреждение. Нужно также помнить, что на качество измерений оказывает влияние не только сам инструмент (тест), но и процедуры проведения тестирования и интерпретации результатов. Опасностью невалидных измерений является несправедливость выставления тестового балла и, чем более значим экзамен, тем выше цена погрешности измерения. В идеале валидизация должна продолжаться все время существования теста, по мере того как в контексте тестологического исследования возникают новые вопросы о его валидности.

Многие из подходов, относящихся к повышению качества тестов, за исключением специфичного статистического анализа, можно использовать и для валидизации других методов контроля. Чем более объективными будут результаты оценивания студентов, тем точнее станут управленческие решения в рамках системы качества образовательного учреждения и, как следствие, – тем выше качество подготовки специалистов.




Скачать 124,16 Kb.
оставить комментарий
Дата05.11.2011
Размер124,16 Kb.
ТипДокументы, Образовательные материалы
Добавить документ в свой блог или на сайт

отлично
  2
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

наверх