Методики определения эффективности реализации дополнительных образовательных (общеобразовательных) программ. Об утверждении показателей эффективности деятельности государственных (муниципальных) учреждений дополнительного образования детей, их руководител

Целевые показатели эффективности и результативности деятельности руководителя учреждения

Критерии оценки эффективности и результативности деятельности руководителя учреждения (единица измерения - баллы)

Форма отчетности, содержащая информацию о выполнении показателя

Периодичность представления отчетности

(100 баллов)

Соблюдение трудовой дисциплины и надлежащее исполнение трудовых обязанностей

Исполнение/неисполнение

Ежеквартально

Наличие письменных обоснованных жалоб, обращений, содержащих критику

Отсутствие обоснованных жалоб

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Работа с детьми из социально неблагополучных семей

Наличие/отсутствие данной категории населения в группах (секциях, объединениях и т.д.)

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Реализация мероприятий, обеспечивающих взаимодействие с родителями

Реализуются/не реализуются

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Организация (участие) системных исследований, мониторинга индивидуальных достижений обучающихся

Ведется/не ведется

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Динамика индивидуальных образовательных результатов (по результатам контрольных мероприятий, промежуточной и итоговой диагностики)

Отслеживается/не отслеживается

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Участие и результаты участия обучающихся на конкурсах, соревнованиях областного, всероссийского и международного уровня

Доля участников конкурсов, соревнований различного уровня от общего количества обучающихся/Доля призеров и победителей от общего количества участников конкурсов и соревнований

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Организация дополнительных проектов, помимо основной деятельности

Реализуются/не реализуются

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Освоение программ повышения квалификации или профессиональной подготовки

Прохождение в установленные сроки курсов или программ повышения квалификации (не менее 72 часов)

Отчет руководителя структурного подразделения учреждения

Количество разработанных, изданных методических рекомендаций, сборников, буклетов, памяток для населения с участием специалиста (тренера); выступление специалиста с докладами на конференциях, семинарах, совещаниях, круглых столах и т.д.

Наличие/отсутствие изданий

Отчет руководителя структурного подразделения учреждения

Ежеквартально

Обеспечение безопасности при проведении занятий и культурно-массовых мероприятий

Отсутствие инцидентов

Отчет руководителя структурного подразделения учреждения

Е.Н. Никитина

Статья поступила в редакцию в июне 2008 г.

Аннотация

ПОКАЗАТЕЛИ И ЦЕЛЕВЫЕ ИНДИКАТОРЫ ЭФФЕКТИВНОСТИ И РЕЗУЛЬТАТИВНОСТИ ПРЕДОСТАВЛЕНИЯ УСЛУГ В СИСТЕМЕ ОБЩЕГО ОБРАЗОВАНИЯ (на примере

специального образования)

В статье рассматривается общий подход к разработке системы показателей и целевых индикаторов эффективности и результативности предоставления образовательных услуг с учетом зарубежного опыта. Проанализированы более 80 показателей, собранных в 56 специальных (коррекционных) образовательных учреждениях в семи субъектах Российской Федерации. Используя целевые индикаторы и показатели предоставления образовательных услуг лицам с ограниченными возможностями здоровья, можно контролировать эффективность бюджетных расходов в осуществлении образовательной политики города, района, региона. Это позволит своевременно обнаруживать слабые места в финансировании стандартной образовательной услуги, контролировать уровень доступности качественного образования, соблюдение социальной справедливости. Применение системы показателей и целевых индикаторов способствует оптимизации расходов на коррекционное образование и эффективному распределению ограниченных бюджетных ресурсов.

Реформирование системы образования в соответствии с новыми целями и задачами, стоящими перед ней по программе модернизации, предполагает разработку и использование набора показателей и целевых индикаторов, позволяющих отследить как состояние системы, так и происходящие изменения, оценить эффективность и результативность предоставления услуг общего образования.

Е.Н. Никитина

В рамках исследования, проводившегося Центром универсальных программ совместно с Центром социальных исследований и инноваций на территории 7 субъектов Российской Федерации (Кабардино-Балкарская и Карачаево-Черкесская республики, Красноярский край, Воронежская, Пензенская, Саратовская, Тульская области), была предложена система показателей и индикаторов для специальных (коррекционных) образовательных учреждений. Основной вопрос при формировании такой системы - определение целей производимых изменений и поиск показателей и индикаторов, отслеживающих степень их достижения. Всего было разработано и апробировано более 80 показателей и индикаторов.

Набор показателей разрабатывается таким образом, чтобы как можно более полно отразить фактическую ситуацию в предоставлении специальных образовательных услуг. В отличие от показателей целевые индикаторы задают уровень, который должен быть достигнут. Целевое значение индикатора определяется исходя как из законодательных норм, так и из фактических значений апробированных показателей.

Обучение детей в коррекционных образовательных учреждениях, а также создание особых условий для детей с теми или иными отклонениями в развитии в обычных образовательных учреждениях - технологический процесс, который при переходе к формированию бюджетов на нормативно-подушевой основе, когда финансируется услуга, а не сеть учреждений, требует регулирования и мониторинга.

Чтобы эффективно управлять технологическим процессом, необходима ясная и точная информация о его функционировании. Реализация ключевого принципа современных систем качества - «непрерывные улучшения» - требует постоянного анализа текущей ситуации и внесения корректировок.

Во многих случаях отсутствие соответствующей информации - главная причина возникающих проблем. Ценность информации определяется ее достоверностью, полнотой и своевременностью. Для того чтобы получать полезную информацию о процессе, необходимо определиться с ответами на такие вопросы: какие данные необходимы, где и как получать данные, как использовать информацию для принятия решений?

При ответе на первый вопрос можно обратиться к методу причинно-следственного анализа, из которого следует, что на любой стадии любого технологического процесса необходимо собирать данные:

О документации, в соответствии с которой происходят события;

Персонале, непосредственно выполняющем работу;

Используемых материальных ресурсах;

Задействованном оборудовании;

Условиях реализации процесса.

Второй вопрос является ключевым и наиболее сложным. Для его эффективного решения необходима тщательная детализация

Практика

процессов вплоть до конкретного исполнителя, что позволит определиться с ответом на вопрос «где». При ответе на вопрос «как» необходимо учитывать специфику процесса. Очевидно, что получение надежной информации невозможно без стандартизации процессов. При этом стандарты должны не только полностью детализировать процесс, но и четко определять место получения, метод регистрации и способ обобщения информации. Так, введение подушевого норматива в образовании является одной из форм стандартизации, позволяющей учесть в показателях как общее, так и особенное.

Собрав данные, необходимо решить вопрос, как использовать информацию для принятия решений. Очевидно, что цель состоит в разработке комплекса мер, направленного на улучшение процессов. Собранная и обработанная информация позволит выявить слабые места, на которые прежде всего необходимо обращать внимание.

В результате учета и использования полученной информации принимаемые решения:

Должны стать более объективными и конкретными, так как будут основаны на документированных фактах;

Позволят повысить эффективность процесса непрерывных улучшений, так как будут направлены на устранение наиболее слабых мест, установленных объективно;

Позволят вовлечь в процесс управления качеством весь персонал.

Вопрос эффективности и результативности предоставления бюджетных услуг является едва ли не основным при анализе бюджетных расходов вообще и в образовании в частности. Образование становится самой крупной статьей расходов консолидированных бюджетов субъектов федерации в социальной сфере.

Общепринятым способом разработки показателей и индикаторов предоставления услуг, широко применяемым и в развитых странах, например в Англии , является выделение трех основных характеристик результата деятельности: экономии, эффективности и результативности.

Экономия - это приобретение человеческих и материальных ресурсов надлежащего качества и в надлежащем количестве с наименьшими издержками.

Эффективность - это получение максимального результата при заданном наборе ресурсов или использование минимальных ресурсов для получения необходимого количества и качества предоставляемых услуг.

Результативность - это удовлетворение потребностей граждан, решение поставленных задач, достижение намеченных целей в результате осуществления программы или выполнения работы. Другими словами, результативность оценивает, достигает ли реально данная услуга тех целей, которые перед ней поставлены.

Для обеспечения сопоставимости данных в рамках исследовательской работы Центра универсальных программ были проанали-

Е.Н. Никитина

Показатели и целевые индикаторы эффективности и результативности предоставления услуг...

зированы показатели, собираемые органами статистики. Сбор первичной информации осуществлялся по типовым формам государственной статистической отчетности.

Особое внимание уделялось показателям, характеризующим финансирование, состояние материально-технической базы образовательных учреждений, численность и состав педагогических и медицинских работников, реализацию образовательных программ как главные аспекты деятельности образовательных учреждений .

В качестве основной меры результативности рассматривались степень доступности (на сегодня не является стандартным показателем для системы образования) и уровень эффективности предоставленной услуги . Неравенство в финансировании образовательных учреждений - первый признак неравенства в доступе к услугам образования. Введение нормативного финансирования повышает доступность обучения благодаря предоставлению равных финансовых возможностей и повышению прозрачности при финансировании. Таким образом, снижение дифференциации расходов на учащегося - также показатель результативности.

Разработанные в рамках исследования целевые индикаторы в комплексе отражают эффективность и результативность предоставления услуг в образовательных учреждениях разных типов и видов, а также соответствие уровня материально-технической базы потребностям детей и доступность программ обучения.

Анализ информации по 7 субъектам Российской Федерации проводился с использованием следующих критериев оценки: адекватность, достаточность и актуальность предложенных целевых индикаторов.

Адекватность целевых индикаторов - это уровень соответствия создаваемой с помощью полученной информации системы целевых индикаторов реальному процессу предоставления образовательных услуг лицам с ограниченными возможностями здоровья (ЛОВЗ).

Достаточность целевых индикаторов - показатель деятельности, выражаемый в виде отношения числа разработанных целевых индикаторов к суммарному числу возможных целевых индикаторов. Число возможных индикаторов определяется путем суммирования разработанных индикаторов с дополнительными индикаторами, предложенными регионами в ходе проведения апробации, при этом оно ограничивается целями использования индикаторов.

Актуальность целевых индикаторов - важность, значительность целевых индикаторов в настоящее время для использования их в процессе предоставления образовательных услуг ЛОВЗ, современность, злободневность использования целевых индикаторов.

По результатам апробации системы показателей и целевых индикаторов эффективности и результативности предоставления об-

Практика

разовательных услуг ЛОВЗ были выделены 4 группы целевых индикаторов с точки зрения их оценки по критериям адекватности, достаточности и актуальности.

I группа (44% от общего числа целевых индикаторов) - статистика ведется на уровне образовательного учреждения, например: доля расходов на приобретение специальных средств обучения в общем объеме расходов специального (коррекционного) образовательного учреждения (СКОУ) по группам заболеваний, среднее время использования оборудованных спортивных ресурсов учащимися СКОУ и пр.

Эти индикаторы крайне актуальны для образовательных учреждений, поэтому даже при отсутствии статистики по ним на уровне региона образовательные учреждения самостоятельно ведут сбор информации.

II группа (6%) - статистика ведется на уровне региона, например: коэффициент дифференциации удельных расходов по фонду оплаты труда (ФОТ) педагогического персонала на учащегося, коэффициент дифференциации удельных расходов по ФОТ учебно-вспомогательного персонала на учащегося, коэффициент дифференциации удельных расходов на частичное обеспечение материальных затрат, непосредственно связанных с образовательным процессом, и пр.

Эти индикаторы актуальны для межрегиональных и межмуниципальных сравнений, адекватно отражают степень доступности образовательных услуг для ЛОВЗ.

III группа (5%) - статистика не собирается, например: доля вакансий от общего количества ставок педагогов, обучающих ЛОВЗ, доля расходов на инновационные программы для ЛОВЗ от общих расходов учреждения, процент ЛОВЗ, которые обучаются интегрированно по образовательным программам в обычных классах/груп-пах, и пр.

Эти индикаторы актуальны и адекватны с точки зрения мониторинга качества предоставления образовательной услуги ЛОВЗ по критерию социальной значимости результатов, они отражают специфику финансирования обучения ЛОВЗ. Их отсутствие в государственной статистике обедняет систему целевых индикаторов.

IV группа (45%) - сведения собираются систематически органами государственной статистики на всех уровнях.

По результатам апробации мы выявили различные способы определения значений индикаторов:

1) целевые значения индикаторов могут устанавливаться законодательно, например показатели предельной наполняемости, соотношения ФОТ педагогического и непедагогического персонала и т.п.;

2) при низкой дифференциации фактических значений целевым индикатором может быть среднее, максимальное или минимальное значение по региону или муниципалитету (в зависимости от целевых установок).

Е.Н. Никитина

Показатели и целевые индикаторы эффективности и результативности предоставления услуг...

Для определения значений целевых индикаторов были проведены расчеты по 56 учреждениям 7 субъектов Российской Федерации. В табл. 1 приведены некоторые значения показателей, на основе которых могут определяться целевые значения индикаторов эффективности.

Таблица 1 Показатели эффективности финансирования обучения лиц

с ограниченными возможностями здоровья, 2007 г. (пример)

Среднее значение Стандартное отклонение Коэффициент вариации Минимум Максимум

Количество учащихся на одного педагога, человек 4 1,76 0,50 2 7

Количество учащихся на одного работника учебно-вспомогательного персонала, человек 8 3,52 0,42 3 12

Количество учащихся на одного работника административно-управленческого и обслуживающего персонала, человек 10 5,46 0,56 3 17

Доля фонда оплаты труда педагогов в общем ФОТ учреждения 0,42 0,06 0,13 0,36 0,50

Доля фонда оплаты труда учебно-вспомогательного персонала в общем ФОТ учреждения 0,18 0,06 0,32 0,11 0,25

Коэффициент вариации больше 0,33 показывает, что по соответствующим значениям показателя дифференциация высока. В этом случае использование усредненных значений по данным показателям для определения значения целевых индикаторов на уровне региона невозможно. Здесь подходит вариант минимального, максимального либо иного нормативно установленного значения индикатора.

В результате проведенной работы удалось построить комплексную систему оценки эффективности и результативности предоставления образовательных услуг ЛОВЗ и дать рекомендации регионам для дальнейшего использования данной системы.

В основе предложенной системы показателей и индикаторов лежит общий классификационный подход, используемый большинством развитых западных стран для увязывания показателей затрат и показателей результата: показатели и индикаторы затрат (input), продукта (output), результата (outcome), результативности (effectiveness), эффективности (efficiency, productivity). С использованием такой классификации показатели и целевые индикаторы, которые могут использоваться в комплексе в области специального (коррекционного) образования, представлены в табл. 3. Такая классификация показателей была предложена фондом «Ин-

Практика

ститут экономики города» на основе изучения опыта использования показателей в странах Запада .

Показатели эффективности и результативности предоставления образовательных услуг дают фактологическую картину для анализа, а также позволяют государственному или местному органу власти планировать величины этих показателей на среднесрочную перспективу (примерно на 3 года вперед) с целью достижения целевых индикаторов.

Средние величины по некоторым проанализированным показателям за 2007 г. по 7 регионам, от которых можно отталкиваться при планировании на трехлетнюю перспективу, приведены в табл. 2.

Таблица 2 Показатели эффективности финансирования обучения лиц

с ограниченными возможностями здоровья, 2007 г.

(выборка по проанализированным регионам)

Количество учащихся на одного педагога (фактическое), человек 3,27 6,09 2,47 3,25 3,20 1,89 3,10

Доля фонда оплаты труда педагогов в общем ФОТ учреждения 0,50 0,35 н/д 0,42 0,48 0,71 0,46

Доля фонда оплаты труда учебно-вспомогательного персонала в общем ФОТ учреждения 0,16 0,20 н/д 0,17 0,27 0,05 0,20

Доля фонда оплаты труда в общих расходах учреждения за год 0,67 0,62 0,56 0,62 0,65 0,69 0,62

Площадь учебных помещений на одного учащегося, кв. м 13,20 5,98 7,04 10,15 7,65 4,27 9,20

Площадь спортивных залов на одного учащегося, кв. м 1,80 0,38 1,51 0,86 0,80 1,08 1,01

Отношение плановой мощности здания к фактической наполняемости СКОУ 2,13 1,37 н/д 1,07 0,98 1,13 1,10

Е.Н. Никитина

Показатели и целевые индикаторы эффективности и результативности предоставления услуг...

Окончание табл.2

Тульская область Карачаево- Черкесская Республика Пензенская область Саратовская область Красноярский край Кабардино- Балкарская Республика Воронежская область

Средняя наполняемость классов в СКОУ, человек 8,89 8,47 8,02 7,66 9,61 7,00 8,12

Удельные расходы на одного учащегося по образовательному учреждению в целом, руб. в год 66 435,30 97 386,05 133 470,80 93 927,87 132 675,02 107 753,44 н/д

Удельные расходы на одного учащегося c ограниченными возможностями здоровья по ФОТ педагогов, преподающих в классах/груп-ппах для ЛОВЗ, руб. в год 19 627,27 21 384,94 26250,00 24 651,43 34 601,15 52 108,23 н/д

Удельные расходы на содержание зданий и коммунальные расходы на единицу площади, руб. в год 558,37 1 050,37 211,21 510,45 1 978,55 397,13 н/д

В результате разграничения бюджетных полномочий начиная с 2003 г. отменялись многие нормы федерального законодательства, напрямую влияющие на стоимость образовательной услуги, оказываемой ЛОВЗ (например, единая тарифная сетка, надбавки к заработной плате педагогам, работающим с ЛОВЗ, и т.д.). Все эти нормы влияли на целевые индикаторы эффективности и результативности предоставления услуг в специальном (коррекционном) образовании.

Часть федеральных норм осталась, но нормативно-правовые акты, вводившие их, в настоящее время не могут использоваться даже в качестве рекомендательных при определении нормативных затрат для регионов и муниципалитетов. Это такие нормы, как наполняемость классов, соотношение ставок групп персонала и т.п. Это тоже затрудняет определение целевых индикаторов на региональном и муниципальном уровне.

Необходимо отметить, что отличие индикаторов от показателей состоит в том, что индикаторы задают уровень, который должен быть достигнут. Норма, которая должна быть реализована,

Практика

может быть либо установлена в законодательном порядке, как в случае с санитарно-гигиеническими стандартами, либо найдена практическим путем.

Например, в качестве целевой установки может быть выбрано «повышение уровня успеваемости на 1 балл» или «уменьшение количества пропусков уроков по болезни на 15%». Такие целевые индикаторы позволяют не только сравнивать учреждения между собой, но и выполнять требования о «достижении личных результатов», что важно, так как сравнение учреждений между собой может быть затруднено отсутствием сопоставимости исходной информации.

В табл. 3 приведены показатели и индикаторы, которые могут быть использованы как критерии оценки деятельности по предоставлению услуг в образовательном учреждении .

Таблица 3

Критерии оценки деятельности образовательного учреждения

Целевые индикаторы

Законодательно установленная норма1 Ориентировочная норма

Отсутствует Ориентир на среднее соотношение по развитым странам

По примерным типовым штатам в зависимости от размера школы Может устанавливаться исходя из нормативного соотношения штатной численности административного, обслуживающего и прочего персонала с численностью педагогического персонала,несу-щего учебную нагрузку

В процентах к средней номинальной начисленной заработной плате в субъекте РФ Устанавливается регионом

Отсутствует Может устанавливаться на муниципальном или региональном уровне

Показатели (факт, план)

Показатели затрат (оценка ресурсов, которые требуются для предоставления образовательной услуги не ниже гарантированного минимума)

Обеспеченность школ современными материалами и оборудованием

Коэффициент - соотношение численности ученики/учитель

Численность персонала, занимающегося администрированием, обслуживанием здания и другой работой, не связанной с преподаванием

Средняя номинальная начисленная заработная плата учителей образовательных учреждений

Доля преподавателей в образовательных учреждениях, прошедших повышение квалификации и переподготовку в текущем году, в общей их численности

1 Нормы федерального законодательства.

Е.Н. Никитина

Показатели и целевые индикаторы эффективности и результативности предоставления услуг...

Продолжение табл. 3

Целевые индикаторы

Показатели продукта (объем предоставляемых услуг) Средний размер класса на 1-й, 2-й, 3-й ступенях обучения 5-12 человек Возможна ориентация на меньшую наполняемость в малокомплектных сельских школах

Процент детей,обучающихся сверх государственного стандарта (на факультативных занятиях, в кружках) Отсутствует Может устанавливаться на муниципальном или региональном уровне

Количество часов кружковой работы Определяется исходя из норм федерального законодательства: размер школы, учебная педагогическая нагрузка, предусмотренные типовыми штатами ставки Возможно увеличение числа часов кружковой работы за счет дополнительных бюджетных и внебюджетных средств

Охват детей в возрасте 5-18 лет программами специального (коррекционного) образования Отсутствует Определяется на региональном уровне

Доля детей в возрасте 5-18 лет с ограниченными возможностями здоровья, получающих образование в специальных (коррекционных) образовательных учреждениях, в общей их численности Отсутствует Может устанавливаться на муниципальном или региональном уровне

Показатели результата (польза от предоставления услуги) Процент поданных школами заявок на финансирование по стандарту, получивших одобрение Отсутствует Может устанавливаться на муниципальном или региональном уровне

Доля выпускников, продолживших обучение Отсутствует Может устанавливаться на муниципальном или региональном уровне

Доля выпускников образовательных учреждений, сдавших итоговую аттестацию в форме ЕГЭ, в общей численности выпускников Отсутствует Может устанавливаться на муниципальном или региональном уровне

Практика

Окончание табл. 3

Целевые индикаторы

Показатели (факт, план) Законодательно установленная норма Ориентировочная норма

Показатели результа- Процент превышения числа По нормам СанПиН Ориентир на нормы феде-

тивности(степень дос- учеников по отношению к площадь учебного рального законодательст-

тижения общественно возможностям школ помещения на ребен- ва

значимых целей - ка - 3,5 кв. м

доступности и бесплатности) Процент школьных уроков, Отсутствует Основания для осуществ-

не проведенных ления «актировок» регла-

в течение года по причине ментируются местными

отмены занятий в связи и региональными законо-

с неблагоприятными погодными условиями дательными актами

Уровень посещаемости Отсутствует Сравнение со средними показателями по муниципалитету, региону,стране

Показатели эффектив- Доля финансовых средств, Отсутствует Сравнение со средними

ности (затраты, необ- переданных школе на поду- показателями по муници-

ходимые для получе- шевой основе палитету, региону, стране

ния результата) Затраты на централизован- Отсутствует Сравнение со средними

ное администрирование в показателями по региону,

расчете на одного ученика стране

Доля расходов на содержа- Отсутствует Сравнение со средними

ние зданий и ремонт показателями по муници-

в структуре расходов образовательного учреждения палитету, региону, стране

Удельные расходы на спе- Отсутствует Сравнение со средними

циальное(коррекционное) показателями по муници-

образование на единицу палитету, региону, стране

населения

Общая величина капиталь- Отсутствует Сравнение со средними

ных ресурсов в год в расче- показателями по муници-

те на одного ученика палитету, региону, стране

Общая величина подушевых Отсутствует (реко- Определяется на регио-

затрат мендательный харак- нальном и муниципальном

тер с целью расчета образовательных субвенций) уровне

Издержки на уборку здания Нормы примерных Ориентир на нормы феде-

в расчете на единицу пло- типовых штатов, Сан- рального законодательст-

щади ПиН ва и финансовые возможности муниципалитета

Затраты по содержанию Отсутствует Определяется на муници-

здания на единицу площади (электричество, водоснабжение, отопление и т.д.) пальном уровне

Е.Н. Никитина

Показатели и целевые индикаторы эффективности и результативности предоставления услуг...

В качестве примера приведем оценку значений некоторых показателей и индикаторов предоставления доступной бесплатной образовательной услуги в специальных (коррекционных) образовательных учреждениях на уровне не ниже конституционно гарантированного минимума.

Допустим, фактическое значение показателя «ученик/учитель» в специальном (коррекционном) образовательном учреждении составляет 6 учеников на одного педагога. Этот показатель может быть оценен с помощью целевого индикатора, установленного в качестве ориентира на региональном или муниципальном уровне. Если установлен индикатор 5 учеников на одного учителя, то значение фактического показателя удовлетворяет максимальной потребности региона и (или) муниципалитета в педагогических кадрах с учетом заданного регионом уровня качества и эффективности предоставления бюджетных услуг. Значение фактического показателя 6: 1 в этом конкретном случае говорит о более высоком уровне эффективности использования бюджетных ресурсов, так как численность педагогов не превышает максимальной потребности для реализации программы коррекционного образования в полном объеме.

Еще пример. Допустим, доля фонда оплаты труда персонала, занимающегося администрированием, обслуживанием зданий и другой работой, не связанной с преподаванием, составляет 31%. Поскольку отсутствует федеральное законодательство, жестко регламентирующее эту норму, она должна устанавливаться самим регионом или муниципалитетом, администрация которого может определить долю ФОТ непедагогического персонала в фонде оплаты труда образовательных учреждений как исходя из сложившегося соотношения, так и опираясь на собственные представления об эффективном расходовании ограниченных средств местного бюджета. По примерным типовым штатам такое значение может быть оценено1 на уровне 30-35%. В рассматриваемую категорию не входит учебно-вспомогательный персонал.

Средняя наполняемость классов может сопоставляться с величиной, установленной в Типовом положении о специальном (коррекционном) образовательном учреждении , - это 5-12 человек. Наполняемость ниже 5 человек свидетельствует о неэффективном предоставлении образовательной услуги, ее можно рассматривать как сигнал к укрупнению классов при закладывании в норматив нормы 5-12 человек, как в Типовом положении. Если окажется, что укрупнение классов по тем или иным причинам невозможно, норма может быть снижена. В любом случае нормативная величина наполняемости коррекционных классов должна утверждаться регионом и (или) муниципалитетом.

По нормам СанПиН площадь учебного помещения на одного ребенка должна составлять 3,5 кв. м. Если фактическая величина ниже, то можно утверждать, что в специальном (коррекционном)

1 Экспертная оценка.

Практика

образовательном учреждении наблюдается нехватка учебных помещений: общее число детей превышает число мест в классах, удовлетворяющих нормам СанПиН.

Величина удельных расходов на специальное (коррекционное) образование в расчете на одного учащегося может сопоставляться с такими целевыми индикаторами, как средние удельные расходы на специальное (коррекционное) образование по Российской Федерации в группе регионов с одинаковым социально-экономическим положением или средние удельные расходы на общее образование по основным общеобразовательным программам в обычных классах общеобразовательных школ, умноженные на коэффициент удорожания стоимости обучения по специальным (коррекционным) программам в начальных и основных общеобразовательных школах.

Таким образом, используя целевые индикаторы и показатели эффективности и результативности предоставления образовательных услуг ЛОВЗ, можно контролировать уровень эффективности бюджетных расходов в осуществлении образовательной политики города, района, региона. Это позволит своевременно обнаруживать слабые места в финансировании стандартной образовательной услуги, контролировать доступность качественного образования, а также бюджетную обеспеченность коррекционного образования.

Для принятия решений при выстраивании образовательной политики регион и муниципалитет создают собственную систему целевых индикаторов с учетом норм, утвержденных нормативно-правовыми актами вышестоящего уровня власти . Основная задача здесь - каждая вводимая норма на региональном или местном уровне должна подкрепляться нормативно-правовым документом.

Качественное и соответствующее их потребностям обучение лиц с ограниченными возможностями здоровья рассматривается как приоритетное направление современной политики в образовании. В связи с этим возникает необходимость анализа проблемной ситуации, связанной с обучением, интеграцией, социальной адаптацией ЛОВЗ, определения современных принципов и организационных подходов к ее решению. Поэтому оценка через систему целевых индикаторов эффективности и результативности предоставления образовательных услуг в рамках реализации различных программ обучения детей с ограниченными возможностями здоровья приобретает первоочередное значение.

В субъектах Российской Федерации в настоящее время собирается большой объем информации, касающейся отдельных аспектов системы образования. Сведения получают как органы статистики, так и органы образования регионального и местного уровней. Большая часть информации собирается по образовательным учреждениям, однако комплексную оценку деятельности учреждения (от объема финансирования до конечных результатов) получить нельзя. Следовательно, практически невозможно без специ-

Е.Н. Никитина

Показатели и целевые индикаторы эффективности и результативности предоставления услуг...

ального исследования оценить взаимосвязь материально-технического оснащения учреждения, квалификации преподавателей и других показателей наличия ресурсов с конечным результатом, а в итоге - и с качеством образования.

Показатели и целевые индикаторы эффективности и результативности предоставления образовательных услуг лицам с ограниченными возможностями здоровья необходимы по каждому уровню сферы образования, и это не только статистика, но и информация для внутреннего контроля, для принятия управленческих решений, способствующих улучшению текущей ситуации.

По результатам апробации предложенной системы целевых индикаторов и показателей эффективности и результативности предоставления образовательных услуг ЛОВЗ можно сделать выводы:

О возможности их применения не только на уровне субъекта Российской Федерации, но также на муниципальном уровне - если учредителем специального (коррекционного) учреждения является муниципалитет - и на уровне образовательного учреждения;

Возможности интегрирования показателей эффективности с целью проведения межрегиональных сравнений на уровне Федерации;

Возможности выстраивания образовательной политики в системе коррекционного образования на основе анализа целевых индикаторов и показателей эффективности в динамике;

Возможности применения рассмотренного подхода не только в сфере специального (коррекционного) образования, но и в отрасли образования в целом, включая федеральный уровень принятия решений, а также в других отраслях социальной сферы, в которых предоставляются бюджетные услуги населению.

1. Типовое положение о специальном (коррекционном) образовательном учреждении.

2. Материалы Audit Commission & Improvement and Development Agency (IDeA) «BVPP Local Performance Indicators», September 2001.

3. Гараджа М.Ю. Мониторинг результативности бюджетных расходов: основные этапы внедрения на местном уровне. М.: Фонд «Институт экономики города», 2002.

4. Механизмы сочетания нормативного бюджетного финансирования и финансирования с учетом качества работы образовательных учреждений / под ред. Н.Г. Типенко. М., 2005.

5. Бюджетирование, ориентированное на результат: международный опыт и возможности применения в России: Докл. Центра фискальной политики. М.: Academia, 2002.

6. Полетаев А.В., Агранович М.Л., Жарова Л.Н. Российское образование в контексте международных показателей: Сопоставительный докл. М.: Аспект-Пресс, 2003.

7. Агранович М.Л., Жарова Л.Н., Кожевникова О.Н. Системы образования регионов России: Сравнительный анализ на основе международных индикаторов. М.: Аспект-Пресс, 2004.

Литература

Практика

8. Целевые индикаторы и показатели эффективности механизма нормативного подушевого финансирования лиц с ограниченными возможностями здоровья. Материалы итогового семинара-совещания / под ред. Н.Г. Типенко. М, 2006.

9. Разработка и апробация системы целевых индикаторов и показателей эффективности перехода к механизму нормативного подушевого финансирования обучения лиц с ограниченными возможностями здоровья с учетом качества обучения для учреждений всех уровней образования. Материалы отчета по проекту, подготовленного АНО «Центр социальных исследований и инноваций» совместно с ООО «Центр универсальных программ» по заказу Федерального агентства по образованию в 2007 г.

Уже в 2002 году Межведомственная программа развития системы ДО, утвержденная приказом Министерства образования РФ №193 от 25. 01. 20012г. рассматривает развитие ДО детей как одно из приоритетных направлений образовательной политики. Уже в типовом положении об УДОД подчеркивается, что Учреждение несет ответственность за качество реализуемых программ; соответствие форм, методов и средств организации образовательного процесса возрасту, интересам и потребностям детей.

Изучение, подробный анализ нормативно-правовых документов, регламентирующих образовательный процесс в системе ДО свидетельствует, что в системе ДО существует правовая основа обеспечения деятельности УДОД и предпосылки для разработки критериев, показателей и условий эффективности реализации дополнительных образовательных программ различных направленностей. Но только предпосылки…

А начало было положено уже в 1997 году на научно-практической конференции в г.Ярославле «Проблема результата и качества деятельности УДОД». В РГПУ им.Герцена в 1997 г. был выпущен сборник «Проблемы результативности педагогической деятельности», ученые О.Е Лебедев, Е.И.Казакова, Р.У Богданова, Е.В.Титова, А.И Осьминина, А.П.Тряпицына раскрывали в своих исследованиях различные грани данной проблемы. Но на сегодняшний день нет единых (общепринятых) научных определений, отражающих сущность таких понятий, как результат, результативность, эффективность, а тем более утвержденных методик. Таким образом, проблема результатов и результативности в ДО находятся в центре внимании по сей день.

Контроль, или проверка результатов обучения, является обязательным компонентом процесса обучения. Контроль позволяет определить эффективность обучения по программе, помогает детям, родителям, педагогам увидеть результаты своего труда, что создает хороший психологический климат в коллективе и повышает самооценку самого обучающегося. В отличие от общего образования, где процесс выявления результатов образовательной деятельности обучающихся достаточно четко определен государственными стандартами, в дополнительном образовании детей этот вопрос вызывает реальные затруднения у педагогов.

Актуальность проблемы обусловлена также процессом государственной аттестации и аккредитации УДОД, когда дается «внешняя» оценка результатов деятельности учреждений. Здесь существует противоречие между возможностями дополнительного образования комплексного решения задач обучения, воспитания и развития детей и формализованным характером показателей результативности в УДОД (как правило, в учреждениях учитывается только один аспект результативности – достижения учащихся в смотрах, конкурсах и фестивалях). Кроме этого, в настоящее время отсутствуют четкие критерии результативности как полифункциональной, многоаспектной, многоуровневой системы.

В данной статье хочу подытожить, обобщить и представить вам результаты исследования Городского центра развития дополнительного образования, и исследования различных категорий специалистов УДОД (методистов, педагогов, представителей администрации), которые проводились уже в 1999 году и практические наработки кафедры дополнительного образования Санкт-Петербургского Суворовского военного училища МО РФ. Моя руководящая и педагогическая деятельность в данных учреждениях постоянно сталкивалась с проблемой результативности образовательных программ в дополнительном образовании. Решение этой проблемы и переданы в данной статье.

Анализ научной психолого-педагогической литературы показывает, что в настоящее время среди ученых нет единой трактовки понятий «результат» и «результативность». Тем не менее, можно выделить 3 основных подхода к определению этих понятий.

Прежде всего результат – это итог – деятельности, процесса, взаимодействия его основных участников (Т.В. Ильина, А.В. Золотарева, Л.Г. Логинова). Другой подход заключается в определении результата как изменений – состояний, свойств субъектов или объектов, индивидуального или совокупного продукта или процесса, системы отношений и т.д. (Р.М. Гайнутдинов, И.В. Шинкевич, Т. Пщоловский). И, наконец, третий подход заключается в рассмотрении результата как состояния – системы, вещей, фиксированное в определенный момент времени (В.А. Карташов, Т. Пщоловский, Р.У. Богданова).

Соответствие поставленной цели;

Следствие какого-либо организованного действия;

Промежуточный - конечный;

Индивидуальный - совокупный;

Внешний (видимый) - внутренний (личностный);

Предсказуемый (планируемый) - непредсказуемый (непредвиденные последствия);

Позитивный - негативный;

Актуальный (полученный сразу) - отсроченный (проявляющийся через определенное время).

Таким образом, результат образовательного процесса в ДО нужно рассматривать как объективные изменения, проявляющиеся на уровнях:

Личности ребенка и педагога,

Системы отношений,

- «продуктов» педагогической деятельности и деятельности ребенка в образовательном процессе.

Для большинства педагогов самым распространенным является отслеживание результатов участия в конкурсах, соревнованиях, смотрах. Как зафиксировать эти результаты? Вот один из примеров:

Информационная карта результатов участия детей в конкурсах, фестивалях и соревнованиях разного уровня

Данная методика используется для фиксации и оценки результатов участия детей в конкурсах, фестивалях, соревнованиях различного уровня, то есть для оценки «внешних» достижений.

Выделяются следующие формы «внешнего» предъявления достижений учащихся:

конкурсы, смотры, фестивали, выставки, соревнования, конференции, семинары, круглые столы, чтения, олимпиады, концерты и многое другое.

При заполнении карты целесообразно указывать названия и даты мероприятий, в которых принимал участие ребенок. Достижения фиксируются на следующих уровнях: коллектива, учреждения, города (района), международном и российском. Также определяются качественные показатели результата: участие, призовые места, дипломы, победитель. Каждому показателю в зависимости от степени значимости соответствует определенный балл.

Вариант бланка информационной карты (из опыта Суворовского военного училища)

Фамилия, имя учащегося __________________________________________________

Возраст ________________________________________________________________

Название коллектива _____________________________________________________

Год обучения ___________________________________________________________

Дата заполнения карты ___________________________________________________

Обработка и интерпретация данных.

В соответствии с результатами участия ребенка в конкурсах и фестивалях различного уровня в течение учебного года баллы заносятся в карту и суммируются. По сумме баллов определяется рейтинг учащихся, как в учебной группе, так и в детском коллективе в целом по параметру «внешняя» результативность учебных достижений. Методика может проводиться, как на основе экспертной оценки (педагогом), так и на основе самооценки учащегося.

Выявление и анализ данных результатов целесообразно проводить 2 раза в год: по итогам первого полугодия и года. При регулярном проведении методика позволяет зафиксировать динамику достижений учащихся, а также стимулировать их творческую активность.

Следующие методики определения эффективности реализации образовательных программ дополнительного образования детей, разработанные Н. В. Кленовой, Л. Н. Буйловой, сотрудниками РГПУ им. А. И. Герцена и ГОУ «СПб ГДТЮ», апробированы в педагогической практике и являются инструментом оценивания компетентности воспитанников.

Данный материал позволит педагогам дополнительного образования детей правильно подойти к выбору методов оценивания результативности образовательной программы, найти и разработать свои методики и повысить качество реализации своей программы и главное, повысить качество образования.

Методика «Портфолио»

(«Портфель»)

Одной из современных форм оценивания достижений и компетентности, в том числе творческих успехов обучающегося является формирование «портфеля» (Portfolio). Ведение портфолио развивает у обучающихся навыки рефлексивной деятельности (способность анализировать собственную деятельность, совершенствовать ее, проявлять инициативу для достижения успехов). Содержание и способы оформления «портфолио» могут быть самыми разнообразными – от полного собрания всех работ до альбома высших достижений.

В настоящее время выделяют следующие типы портфолио:

§ Портфолио документов - наиболее распространенная форма, которая представляет собой файловую папку с разнообразной информацией о приобретенном обучающимся за определенный промежуток времени опыте успешной внеучебной работы. В перечень документов входят табели успеваемости, грамоты, дипломы, письма-отзывы, сертификаты об участии в различных мероприятиях.

§ Портфолио работ отражает усилия, прогресс и достижения обучающихся по определенному направлению деятельности. Это собрание различных творческих, проектных, исследовательских работ обучающегося, а также описание форм и направлений его творческой активности – участие в конкурсах, наличие достижений и т.д.

§ Портфолио отзывов включает в себя заметки педагога по поводу работ, оценки за выполненные задания с характеристиками и объяснениями, а также письменный анализ самого обучающегося своей конкретной деятельности и ее результатов. Портфолио может быть представлено в виде текстов заключений, отзывов, резюме.

Наиболее целесообразным представляется комплексный вариант портфолио, включающий в себя раздел документов, раздел работ и раздел отзывов.

Нет четкого списка наименований и количества пунктов, которые необходимо включать в портфолио. Этот вопрос решается конкретным педагогом, группой педагогов или методическим объединением.

Методика «Педагогический дневник»

Данная форма диагностики может быть использована педагогами, работающими с группами индивидуального обучения (сольное пение, инструментальные классы и т.п.). Педагогический дневник представляет собой документ, в котором педагог путем наблюдения и анализа отдельных характеристик обучающегося (например, уровень творческого развития, развитие интересов), изучает индивидуальную динамику развития данных качеств.

Разделы дневника могут учитывать специфику того или иного направления деятельности. Дневник наблюдений состоит из 4-х разделов:

1. «Исходные данные»: краткая характеристика обучающегося на начало освоения образовательной программы, оценка уровня достижений в избранном виде деятельности, особенности характера, здоровья, творческих интересов.

2. «Достижения в предметной области»: дважды в год фиксируются достижения обучающихся.

3. «Творчество в саморазвитии»: расширение интересов, усилия по самообразованию.

4. «Выводы и планы»: итоги работы за год и план сопровождения обучающегося в дальнейшем.

Методика «Защита рефератов»

Одной из распространенных методик публичного представления воспитанником полученных результатов является защита рефератов в научно-практической конференции. Особенно если деятельность обучающихся при освоении дополнительных программ общекультурного уровня в большей степени связана с теоретически материалом. Данная методика направлена на комплексную оценку как предметной составляющей деятельности ребенка, так и надпредметных (в частности коммуникативных) умений.

Реферат - самостоятельная работа (проект), требующая от воспитанника анализа и обобщения информации, самостоятельно найденной в различных источниках.

Данная методика требует четкой организации как процесса подготовки, так и собственно защиты реферата.

Этапы реализации методики:

1. Утверждение темы рефератов. Организуя этот этап, нужно учитывать индивидуальные особенности обучающихся (степень креативности). Оптимальным вариантом является предложение определенного набора готовых тем с возможностью предложения своей темы. При этом отдельным школьникам может потребоваться помощь в выборе темы, но важно, чтобы окончательный выбор остался за ребенком. Наиболее увлеченные и креативные обучающиеся, как правило, предлагают свои темы рефератов. Для них должна быть обязательная процедура утверждения темы (желательно не одним педагогом, а коллективно), в первую очередь, чтобы удержать определенный уровень глубины и объема исследования всех детских исследований.

2. Руководство подготовкой реферата. На этом этапе также должны учитываться индивидуальные особенности детей через варьирование уровня участия руководителя (консультанта) в исследовании конкретного воспитанника. Готовность школьника выслушать мнение консультанта и принять его к сведению является одним из показателей эффективности усвоения общекультурной образовательной программы. Такое поведение свидетельствует о понимании школьником традиционного подхода к организации научно-технической работы на этапе теоретического исследования объективного отражения им своего уровня предметной компетентности. Однако большое количество обращений к консультанту может говорить и об обратном: серьезном недостатке конкретных знаний, поэтому здесь следует обращать внимание, в первую очередь, на качество задаваемых вопросов и частоту обращений за помощью.

3. Рецензирование реферата специалистом в соответствующей области, который оценивает работу по нескольким показателям: глубине раскрытия темы, правильности употребления терминологии, количеству и качеству использованных источников информации, обоснованности выводов, оформлению работы.

4. Защита реферата. На данном этапе происходит основная оценка успехов обучающегося в освоении образовательной программы. Каждый обучающийся делает доклад (8 – 10 минут) по основному содержанию реферата с использованием наглядных средств предъявления информации: плакатов, раздаточного материала. Доклад может сопровождаться компьютерной презентацией. Вопросы докладчику задают не только преподаватели, но и другие ребята. На защите кроме содержательной стороны реферата оценивается способность обучающегося обобщить собственную работу при составлении доклада, свобода владения темой, умение ответить на вопрос своими словами, умение привести цитату из текста, уверенность в себе и уважительное отношение к оппонентам.

Важным аспектом защиты реферата является вопрос к обучающемуся о возможных вариантах продолжения начатой им работы – предлагаемых темах других исследований. Ответ на этот вопрос может позволить оценить широту кругозора воспитанника, его осведомленность о существующих направлениях в изучаемой области деятельности – важные характеристики освоения дополнительных образовательных программ общекультурного уровня.

Обобщая все методики можно констатировать, что Мониторинг результатов обучения ребенка по дополнительной образовательной программе необходимо проводить по двум группам показателей, поскольку образовательная деятельность в системе дополнительного образования предполагает не только обучение детей определенным знаниям, умениям и навыкам, но и развитие многообразных личностных качеств обучающихся, это такие показатели;

Учебные (фиксирующим предметные и общеучебные знания, умения, навыки, приобретенные ребенком в процессе освоения образовательной программы;

§ Личностные (выражающим изменения личностных качеств ребенка под влиянием занятий в данном кружке, студии, секции).

Данные можно представить в виде таблицы, которая позволяет наглядно продемонстрирует набор основных знаний, умений и практических навыков, которые должен приобрести ребенок в результате освоения конкретной образовательной программы (на примере СПб СВУ).

Технология определения учебных результатов по дополнительной образовательной программе заключается в следующем: совокупность измеряемых показателей (теоретическая, практическая подготовка ребенка, общеучебные умения и навыки) оценивается по степени выраженности (от минимальной до максимальной). Для удобства выделенные уровни обозначаются соответствующими тестовыми баллами (1 – 10 баллов). В качестве методов, с помощью которых педагог будет определять соответствие результатов обучения ребенка программным требованиям, могут быть наблюдение, тестирование, контрольный опрос (устный или письменный), анализ контрольного задания, собеседование и др. данный перечень методов может быть дополнен в зависимости от профиля и конкретного содержания образовательной программы.

Динамика результатов освоения предметной деятельности конкретным ребенком отражается в индивидуальной карточке учета результатов обучения по дополнительной образовательной программе (Таблица 2). Педагог два раза в год (в начале и в конце учебного года) проставляет баллы, соответствующие степени выраженности оцениваемого качества у ребенка. Кроме этого, в конце карточки педагогу предлагается выделить специальную графу «Предметные достижения обучающегося», выполняющую роль «портфолио», где фиксируются наиболее значимые достижения ребенка в сфере деятельности, изучаемой образовательной программой. Здесь могут быть отмечены результаты участия ребенка в выставках, олимпиадах, конкурсах, соревнованиях и т.д.

Регулярное отслеживание результатов может стать основой стимулирования, поощрения ребенка за его труд, старание. Каждую оценку нужно прокомментировать, показать, в чем прирост знаний и мастерства ребенка – это поддержит его стремление к новым успехам.

Можно посоветовать ребенку самому вести учет своих учебных достижений (Таблица 3). Для этого ему рекомендуется завести специальную тетрадь (дневник) и постепенно ее заполнять. Необходимо приучить детей к рассуждениям о качестве своей работы: это имеет большое значение для формирования самооценки детей.

Самооценивание позволяет детям фиксировать собственное продвижение по ступеням мастерства. Если оно производится открыто, то в его регулирование включаются и социальные механизмы. Открытый показ результатов обучения по программе стимулирует детей к поиску новых вариантов работы, к творческой деятельности.

Для ребенка большое значение имеет оценка его труда родителями, поэтому педагогу надо продумать систему работы с родителями. В частности, контрольные мероприятия можно совмещать с родительскими собраниями, чтобы родители могли по итоговым работам видеть рост своего ребенка в течение года.

Таблица 1

Мониторинг результатов обучения ребенка по дополнительной образовательной программе

Таблица 2

Индивидуальная карточка

Фамилия, имя ребенка________________________________________________________

Возраст_____________________________________________________________________

Вид и название детского объединения___________________________________________

Ф. И. О. педагога_____________________________________________________________

Дата начала наблюдения_______________________________________________________

Таблица 3

Схема самооценки

Пример еще одной методики определения полученных знаний воспитанником

того или иного объединения:

Карта самооценки учащимся и экспертной оценки педагогом компетентности учащегося

Данная методика предназначена для диагностики результатов освоения учащимися образовательной программы. Кроме того, методика способствует обучению ребёнка оценивать уровень достигнутых компетентностей (теоретических знаний, опыта практической деятельности, творчества и сотрудничества), позволяет педагогу осуществлять наблюдение за формированием навыка самооценки обучающегося.

Анкета предназначена для учащихся 12-16 лет.

Проведение методики осуществляется в 2 этапа. На первом - учащимся предлагается по пятибалльной шкале отметить уровень определённых компетентностей, приобретенных в процессе освоения программы. Для этого обучающийся зачёркивает в верхней графе цифру, соответствующую той оценке, которую он готов себе поставить. На втором этапе педагог в нижней графе отмечает свою оценку уровня достижений обучающегося.

Бланк анкеты

Дорогой друг!

Оцени, пожалуйста, по пятибалльной шкале знания и умения, которые ты получил, занимаясь в кружке (коллективе) в этом учебном году и зачеркни соответствующую цифру (1 – самая низкая оценка, 5 – самая высокая).

Обработка анкет и интерпретация результатов.

Самооценка учащегося и экспертные оценки педагога суммируются, вычисляется среднеарифметическое значение по каждому показателю, и далее по освоению программы в целом.

Подобная логика проведения анкетирования позволяет не только определить уровень компетентностей учащихся, но и выявить особенности их самооценки на основании сравнения мнения детей с мнением педагога.

Мониторинг личностного развития ребенка

в процессе усвоения им дополнительной образовательной программы

Развитие личностных качеств ребенка должно быть предусмотрено в каждой образовательной программе.

На развитие личности ребенка влияет множество факторов, а не только общение с педагогом дополнительного образования. Очень важно найти те показатели личностного развития, на основании которых можно определить их положительную динамику.

Так, при изучении изменений личности ребенка можно ориентировались на такие параметры результативности как мотивация, «Я-концепция», ценностные ориентации, компетентность.

Для диагностики этих параметров были использованы методики:

- «Образовательные потребности» и «Карта интересов»,

Тесты Фидлера и Кетелла,

Методика «Ценностные ориентации»,

Карты самооценки учащимся и экспертной оценки педагогом компетентности учащегося по освоению опыта теоретической информации и способов практической деятельности, приобретению опыта творчества.

В качестве примера хочу привести одну из методик, которая предполагает отслеживать следующие личностные качества: организационно-волевые, ориентационные, поведенческие качества личности (Таблица 4). В совокупности приведенные в таблице личностные свойства отражают многомерность личности; позволяют выявить основные индивидуальные особенности ребенка, легко наблюдаемы и контролируемы, доступны для анализа любому педагогу и не требуют привлечения других специалистов.

Технология определения личностных качеств обучающегося заключается в следующем: совокупность измеряемых показателей (терпение, воля, самоконтроль, самооценка, интерес к занятиям, конфликтность, тип сотрудничества) оценивается по степени выраженности (от минимальной до максимальной). Для удобства выделенные уровни обозначаются баллами. В качестве методов диагностики личностных изменений ребенка можно использовать наблюдение, анкетирование, тестирование, диагностическую беседу, метод рефлексии, метод незаконченного предложения и другие.

Технология мониторинга личностного развития ребенка требует документального оформления полученных результатов на каждого ребенка. С этой целью педагог оформляет на каждого ребенка индивидуальную карточку учета динамики личностных качеств развития ребенка.

Карточка заполняется два раза в год – в начале и в конце учебного года. При необходимости это можно делать чаще, для чего можно ввести дополнительные графы.

Полученные срезы позволяют последовательно фиксировать поэтапный процесс изменения личности каждого ребенка, а также планировать темп индивидуального развития.

К оценке перечисленных в карточке личностных качеств может привлекаться сам обучающийся. Это позволит, во-первых, соотнести его мнение о себе с теми представлениями окружающих людей; во-вторых, наглядно показать ребенку, какие у него есть резервы для самосовершенствования.

Таблица 4

Мониторинг личностного развития ребенка в процессе усвоения им дополнительной образовательной программы

Индивидуальная карточка

учета результатов обучения по дополнительной образовательной программе

(в баллах, соответствующих степени выраженности измеряемого качества)

Фамилия, имя воспитанника________________________

Возраст______________________________________________________

Вид и название детского объединения______________________________

Ф. И. О. педагога__________________________________________________

Дата начала наблюдения______________________________________________

*IV блок может быть введен в карточку по усмотрению педагога для того, чтобы отметить особые успехи ребенка в осознанной работе над изменением собственных личностных качеств.

Очень важно - выполнение воспитанниками требуемых образовательных продуктов, их сложность также регулируются образовательной программой в соответствии с периодом обучения. Например, по итогам первого года обучения это один результат, по итогам третьего года обучения – более усложненный определенными деталями в соответствии со спецификой изделия.

Анализ продуктов деятельности - это всесторонний анализ, тщательное изучение, обобщение и систематизация полученных данных. Педагог разрабатывает ряд критериев, по которым оценивается продукт деятельности (публикация, фотоснимок, работа по прикладному творчеству, презентация и др.): индивидуальная или групповая работа, долгосрочная или краткосрочная и т.п.

Личностные достижения обучающихся, например в физкультурно-спортивной направленности, регламентируются определенными нормативами по определенному виду спорта.

Карта интересов

Данная методика является модификацией «Карты интересов», разработанной А.И. Савенковым для выявления спектра интересов ребенка. Однако, в отличие от автора, который положил в основу классификации интересов системы социальных отношений (человек-природа, человек-искусство, человек-человек и т.д.), авторы ориентировались на направленности дополнительного образования (художественная, техническая, и т.д.). Данная методика (Барышева Т.А., Сеничева И.О.) дает возможность определить не просто спектр интересов, но и их соответствие направленности занятий учащихся в ДО.

Для проведения анкетирования необходимо, чтобы каждый обучающийся имел индивидуальный бланк анкеты. Перед началом процедуры педагог или психолог объясняет детям, для чего проводится опрос и правила заполнения анкет.

Варианты бланков анкет

Анкета для учащихся 6-11 лет

Дорогой друг!

Внимательно прочитай предложенные ниже утверждения и отметь любым значком свой выбор.

Любишь ли ты? Нравится ли тебе? Хотел бы ты?

Напиши, пожалуйста:

1. Фамилию, имя ___________________________________________________
2. Сколько тебе лет__________________________________________
3. В каком объединении ты занимаешься?______________________
4. Сколько лет ты занимаешься в данном объединении? __________________

Все поставленные вопросы соответствуют шести направленностям, утвержденным в ДО: художественная, техническая, физкультурно-спортивная, туристско-краеведческая, социально-педагогическая, естественнонаучная

При обработке анкет целесообразно использовать специальные индивидуальные бланки, которые наглядно позволяют определить спектр и профиль интересов каждого учащегося, выявить их предпочтения.

интересов

________________________________________________

(фамилия, имя воспитанника, возраст)

______________________________________________________

(направление, коллектив, год обучения)

С помощью суммирования выборов учащихся по каждому вопросу анкеты можно выявить общие интересы и склонности учебной группы, всего детского коллектива.

По мере формирования коллектива учебной группы, освоения учащимися программы интересы детей могут меняться. Поэтому целесообразно проводить анкетирование ежегодно, лучше в начале учебного года.

Полученные данные (как индивидуальные, так и групповые) могут стать основой для определения педагогом индивидуального образовательного маршрута учащегося, выбора адекватных интересам учащихся форм и технологий проведения занятий, воспитательной работы, организации эффективного взаимодействия в системах «педагог-учащийся», «учащийся-учащийся».

Методика «Ценностные ориентации»

Данная методика, разработанная на основе методик изучения ценностных ориентаций М. Рокича и Л.А. Ясюковой, предусматривает изучение направленности личности ребенка, занимающегося в учреждении дополнительного образования детей. Методика позволяет выявить систему значимых ценностей, определяющих наиболее общие ориентиры жизнедеятельности учащихся: отношение ребенка к окружающему миру, к самому себе, которые рассматриваются как ценности-цели.

Как показывает практика, жизненные ценности определяются человеком осознанно только в подростковом возрасте. Поэтому данную методику целесообразно проводить для учащихся 12-16 лет.

Методика основана на приеме прямого ранжирования списка ценностей (перечень из 15 ценностей), когда на первое место ребенку предлагается поставить наиболее значимые для него жизненные ценности, а на последнее место - наименее значимые.

Анкетирование проводится анонимно. Однако, для возможности сопоставления итогов нескольких срезов, целесообразно авторизировать анкету (например, предложить учащемуся указать последние 4 цифры своего телефона).

Вариант бланка анкеты

Дорогой друг!

Каждый человек выбирает для себя наиболее важные жизненные ценности и стремится к ним. Выбери, пожалуйста, из приведенных ниже характеристик жизненных ценностей, те которые являются важными для тебя, и пронумеруй их по степени важности от 1 до 15 в соответствии с твоими предпочтениями.

Обработка и интерпретация данных.

При обработке анкет ответы учащихся группируются по категориям жизненных ценностей, и вычисляется их среднеарифметическое значение:

1. Материальные ценности – варианты ответов (1+8)/2;
2. Личностные морально-волевые ценности – (2+11+12)/3;
3. Личные семейно-бытовые ценности – (3+5+6)/3;
4. Ценности познания и творчества – (7+9)/2;
5. Духовно-культурные ценности – (4+10+14)/3;
6. Коммуникативные ценности – (13+15)/2.

Полученные значения дают возможность выстроить иерархию (рейтинг) ценностных ориентаций воспитанника. Это может стать для педагога основой разработки индивидуального образовательного маршрута учащегося с учетом наиболее значимых для него целей. При этом следует учитывать, что важнейшей педагогической задачей является не только учет ценностных ориентаций ребенка, но и при необходимости их развитие.

Кроме того, проведение методики «Ценностные ориентации» в детском коллективе позволяют определить общие тенденции и специфику ценностей-целей группы учащихся, что позволит педагогу корректировать содержание, формы и технологии учебно-воспитательной работы.

Анкетирование учащихся с целью выявления рейтинга их ценностных ориентаций рекомендуется проводить 1 раз в начале учебного года, либо 2 раза – в начале и, как контрольный срез, в конце учебного года.

Часто возникает вопрос как часто нужно оценивать воспитанников?

На каждом занятии педагог оценивает воспитанника по следующим показателям:

качество выполнения задания;

уровень самостоятельности в ходе выполнения задания;

степень сложности выполняемого задания;

проявление активности и творческих способностей;

зафиксированные данные проставляет в личном журнале (по 5 балльной системе).

И один раз в месяц педагог проставляет в таблицу баллы, соответствующие степени выраженности оцениваемого качества у обучающегося. Кроме этого, в конце карточки педагогу предлагается выделить специальную графу «Предметные достижения обучающихся», выполняющую роль «портфолио», где фиксируются наиболее значимые достижения воспитанников в сфере деятельности изучаемой образовательной программы. Здесь могут быть отмечены результаты участия в выставках, олимпиадах, конкурсах, соревнованиях и т.д.

В целях более целостного представления о системе мониторинга результатов освоения воспитанниками дополнительных программ предлагаем Вашему вниманию алгоритм данной системы:

· определение критериев индивидуальной оценки деятельности воспитанника в творческом объединении ДО;

· система оценки индивидуальных достижений воспитанников и работы творческих объединений в целом;

· анализ индивидуальных и групповых достигнутых результатов;

· принятие решений по совершенствованию системы работы в объединении и их реализация;

· мониторинг результативности принятых решений и их корректировка;

· получение ожидаемого результата. (и все повторяется вновь)

Выстроенная система мониторинга дает возможность управлять процессом гармоничного и динамичного развития личности обучающегося и всей системы дополнительного образования в целом

Апробация предложенной системы диагностики результатов образовательного процесса выявила определенные трудности:

Ø необходимость дополнительных финансовых вложений для обеспечения педагогов и учащихся тестовыми материалами,

Ø наличия в штате учреждения психологов или специально подготовленных педагогов для проведения и грамотной интерпретации результатов психологической диагностики.

Ø значительные временные затраты педагогов, связанные с выявлением, фиксацией и анализом результатов каждого учащегося.

Важно, что сегодня каждому педагогу, методическим службам предоставляется возможность выбрать для практического использования тот материал, который является для них наиболее важным и отвечает поставленным в образовательных программах целям.

В данной статье рассматриваются вопросы, связанные различными аспектами оценки результативности и эффективности образовательных программ, реализуемых в сетевой форме. Рассматриваются различные определения понятия «эффективность», проводится анализ различных экспертно-аналитических методов для оценки эффективности и результативности. Наиболее предпочтительным является построение сбалансированной системы показателей, которая позволяет провести комплексную оценку каждой сетевой образовательной программы, оценить ее для разных заинтересованных сторон, определить влияния на финансовые показатели деятельности организации, удовлетворенность потребителей, на качество подготовки выпускников. В качестве инструментария при формировании системы показателей использован метод анализа иерархий Т. Саати. В статье вводятся две иерархические системы показателей оценки результативности и эффективности, критерии и шкалы для каждого показателя. Предлагаются два решающих правила для определения, можно ли признать конкретную сетевую программу результативной и эффективной.

решающее правило

метод анализа иерархий

сбалансированная система показателей

результативность

‘эффективность

сетевая форма реализации образовательных программ

1. Бадеева Е.А. Университетское планирование в рамках процессного подхода[Электронный ресурс]. – Режим доступа:http://www.rae.ru/monographs/169(дата обращения: 12.11.2013).

2. Гаврилов С.И., Гусева А.И., Воронцова А.Н. Инструментарий для оценки качества информационно-образовательных ресурсов// Аудит и финансовый анализ, 2010. - №6. - С. 353-358

3. Киреев В.С. Метод иерархий Саати в системе оценки инновационности образовательных проектов// Программные продукты и системы, 2011. - № 4. – С. 188-190

4. Постановление Правительства России от 16 марта 2013 г. № 211 "О мерах государственной поддержки ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров»[Электронный ресурс]. – Режим доступа: http://government.ru/docs/818(дата обращения: 12.11.2013).

5. Программа конкурентоспособности Национального исследовательского ядерного университета «МИФИ»[Электронный ресурс]. – Режим доступа: http://www.mephi.ru/about/competitiveness (дата обращения: 12.11.2013).

6. Саати Т.Л. Принятие решений при зависимостях и обратных связях. Аналитические сети / Пер.с англ.- М.: Книжный дом «Либроком», 2009.

7. Федеральный закон Российской Федерации от 29 декабря 2012 г. N 273-ФЗ "Об образовании в Российской Федерации // Российская газета, 31 декабря 2012 г, федеральный выпуск № 5976

Введение

Переход к новой версии Закона об образовании расширяет возможности по конкурентоспособности отечественных высших учебных заведений . Обучение студентов по совместных образовательных программ с другими зарубежными университетами, развитие международной академической мобильности для студентов и преподавателей вузов становится доступным благодаря введению сетевой формы реализации образовательных программ.

При использовании такой новой формы всегда возникает вопрос, как оценить эффективность сетевой образовательной программы

Национальный исследовательский ядерный университет «МИФИ» (НИЯУ МИФИ), как университет, победивший в открытом конкурсе на получение государственной поддержки для повышения своей конкурентоспособности и вхождения к 2020 г. в сто лучших университетов мира , приступил к активному формированию нормативно-методической базы для реализации образовательных программ в сетевой форме.

В этой связи, разработка методики выявления наличия и оценки эффективности и результативности применения сетевых форм реализации образовательных программ является особо актуальным с точки зрения повышения конкурентоспособности не только НИЯУ МИФИ, но и всего отечественного высшего образования.

Понятия «эффективность» и «результативность»

В современной литературе существует различие между понятиями «эффективность» и «результативность». В самом общем виде эти различия формулируются следующим образом:

• результативность отражает степень достижения запланированного результата;
• эффективность показывает отношение полученных результатов кзатратам времени, финансовых идругих ресурсов для их достижения.

Как правило, для оценки подобных понятий используются экпертно-аналитические методы. В этом случае, аналитическим путем, на основе системного анализа, выявляется наборпоказателей, с помощью которого может проводится оценивание какого-либо свойства, вырабатывается система шкал оценивания и сами критерии оценки.

Экспертным путем находится согласованные оценки по значимости (весу) каждого показателя, определяются пороговые допустимые значения для показателей, формируется итоговая целевая функция для оценки.

Анализ, выбор и обоснование экспертно-аналитических методов оценки эффективности и результативности применения сетевых форм реализации образовательных программ

Оценка результативности образовательной программы включает анализ достижения плановых значений показателей образовательного процесса. Для этого используется количественная методика оценки, которая включает:

• оценку результативности выполнения плана работ по качеству реализации программы.
• оценку результативности достижения целей программы.

Оценка результативности достижения целей образовательной программы позволит определить действия, необходимые для планирования улучшений, корректирующих либо предупреждающих действий для повышения качества образовательных услуг и достижения целей.

Если в основе оценки результативности образовательной программы лежит набор индикаторов, значение которых оценивается по двоичной шкале , то результативность выполнения плана работ по реализации сетевой образовательной программы может быть оценена по формуле:

n - количество целевых индикаторов;

xi - планируемое значение i-го целевого индикатора;

xфактi- фактическая количественная оценка i-го целевого индикатора.

Более сложным является вопрос оценки эффективности. Попытаемся исследовать понятие исуществующие экспертно-аналитические методы оценки эффективности. В табл. 1 приведены различные определения понятия эффективности

Табл. 1. Определение понятия эффективности

Таким образом,под эффективностьюпонимается характеристика качества системы сточки зрения соотношения затрат ирезультатов ее функционирования.

Рассмотрим наиболее часто используемые методов оценки эффективности, представленные в , и возможности их дальнейшего использования к оценке сетевой формы реализации образовательных программ.

1. Оценка эффективности программы может быть проведена на основе выгод от ее внедрения, сертификации и функционирования. В этом случае проводится качественное сравнение запланированных и достигнутых результатов и исследование базируется на оценках представителей университета, которые носят субъективный характер и могут быть умышленно искажены.

2. Определение эффективности программы возможно на основе установления причинно-следственной связи между внедрением программы и экономическими показателями деятельности организации. В этом случае экономическая эффективность может определена, как разность между результатами и затратами или как отношение между этими величинами. Другой метод возможность вычислить эффективность как разность затрат до и после внедрения какого-либо мероприятия или набора мероприятий. В любом случае, такой подход является ограниченным, так как получение экономической выгоды не является основой деятельности для государственных учебных заведений.

3. Третья группа методов дает возможность оценить эффективность образовательной программы на основе индекса удовлетворенности потребителей. В рамках такого исследования выявляется эмпирическая взаимосвязь удовлетворенности потребителя иэкономических показателей деятельности организации. В данном случае проводится сбор данных удовлетворенности потребителей образовательных услуг университета, на основе которых может быть проведенаоценка эффективности сетевой образовательной программы. Нам представляется, что подобные исследования имеют чрезмерно узкий характер и могут оценить лишь один из аспектов реализации сетевых образовательных программ.

4. Оценка эффективности сетевых образовательныхпрограмм возможна на основе анализа добавленной стоимости (ДС). В этом случае проводится анализ деятельности и бизнес-процессов вуза сцелью определения размера стоимости, добавляемой врезультате совершения определенных операций ипроцессов, атакже полезности услуг по отношению ких потребителям. ДС может рассчитываться как отношение добавленной бизнес-процессом ценности для конечного потребителя к добавленной этим жебизнес-процессом стоимости для конечного потребителя.

5. К пятой группе методов относится оценка эффективности на основе сбалансированной системы показателей (ССП).Использование ССП дает возможность оценить эффективность сетевой образовательной программы для разных заинтересованных сторон: влияния на финансовые показатели деятельности организации, удовлетворенность потребителей, влияние на качество подготовки выпускников.

Исследование существующих методов оценки эффективности образовательных программ, позволяет сделать вывод отом, что наиболее предпочтительным подходом при оценке эффективности образовательной программы является метод на основе ССП, который дает возможность контролировать текущее состояние истратегическое развитие данного вида образовательных услуг.

Для выбора показателей и построения из них сбалансированной системы можно использовать многокритериальной оптимизации - метод анализа иерархий (МАИ)Т. Саати , который хорошо зарекомендовал себя в самых разных областях . МАИ дает возможность сформировать иерархию показателей, определить шкалы и критерии оценки результативности и эффективности, определит значимость (вес) каждого показателя.

Система показателей, шкалы и критерии оценки эффективности и результативности реализации образовательных программ в сетевой форме

По результатам проведенного анализа методов оценки результативности и особенностей сетевой формы реализации образовательных программ была сформирована следующая иерархияукрупненных групп показателейдля оценки результативности и эффективности (рис. 1).

Рис. 1. Иерархия укрупненных групп показателей для оценки результативности и эффективности сетевых образовательных программ

В данном случае, при выделении показателей были учтены факторы, влияющие на качество подготовки кадров высшего профессионального образования в части:

• подготовки квалифицированных кадров для приоритетных секторов отраслевой и региональной экономики и рынка труда;
• повышения качества образовательных программ по приоритетным направлениям отраслевого, межотраслевого и регионального развития в соответствии с международными стандартами;
• развития прикладных исследований для нужд предприятий отрасли и региона.

Оценка результативности

По результатам проведенного анализа особенностей сетевых образовательных программ была сформирована следующая иерархия показателей и индикаторов.На верхнем уровне иерархии всего две группы укрупненных целевых индикаторов и показателей.

• Достижение целей реализации сетевых программ
• Оценка качества реализации программ.

В состав этих двух групп входят показатели и индикаторы, представленные на рис. 2.

Рис. 2. Показатели и индикаторы для оценки результативности

Шкалы и значимость индикаторов и показателей оценки, полученные с помощью экспертных оценок и согласованные между собой, приведены в табл. 2.

Табл. 2.Иерархическая система показателей для оценки результативности сетевых образовательных программ

* при отсутствии сетевая программа не реализуется, критический индикатор

Целевая функция оценивания результативности, с учетом значимости каждого из показателей, может быть сформирована следующим образом.

Результативность выполнения плана работ по достижению целей программы и требуемому уровню качества может быть оценена по формуле:

n - количество целевых показателя;

xк - фактическое значение критического показателя «Наличие договора о сетевом взаимодействии организаций -партнеров в рамках образовательной программы»;

xi- планируемое значение i-го целевого показателя;

Если значение результативности равно 0- образовательная программа реализоваться не может.

Максимальное значение целевой функции равно 1,8, это означает, что все показатели сетевой программы выполнены, а показатели группы «Количественные характеристики» перевыполнены.

Для принятия решения о результативности образовательной программы в качестве решающего правила можно использовать математический метод деления отрезка пополам. Тогда по полученному значению целевой функции можно выделить категории сетевых образовательных программ, представленных в табл.3.

Табл. 3. Решающее правила для оценки результативности сетевых образовательных программ

Оценка эффективности

По результатам проведения анализа понятия эффективность и особенностей сетевой формы реализации образовательных программ была сформирована иерархия показателей, представленная на рис.3.

Рис. 3. Группы показателей для оценки эффективности

Более подробно шкалы и значимость индикаторов оценки, полученные с помощью экспертных оценок и согласованные между собой, приведены в табл. 4.

Табл. 4.Иерархическая система показателей для оценки эффективности сетевых образовательных программ

Целевая функция оценивания эффективности, с учетом значимости каждого из показателей, может быть сформирована следующим образом.Эффективность реализации программы в сетевой форме оцениваетсяпо формуле:

n - количество целевых показателей;

wi - вес i-го целевого показателя;

xi - планируемое значение i-го целевого показателя;

xфактi- фактическая количественная оценка i-го целевого показателя.

Если значение целевой функции равно 0, то образовательная программа реализоваться не может.

Если значение целевой функции меньше 1, то фактические значения наиболее весомых показателей отстают от плана. В этом случае, нужно определить допустимо возможный диапазон отставания. Экспертным путем эта граница была установлена, как 20%.

Если значение целевой функции больше или равно 1, это означает, что может быть два случая:все показатели сетевой программы выполнены и часть перевыполнена или перевыполненное значение некоторых показателей компенсирует невыполнение других.

Во втором случае необходимо определить максимально допустимое отклонение от планового значения показателя в случае невыполнения. Экспертным путем этот разрыв был установлен в 25%.

Для принятия решения об эффективности образовательной программы можно использовать сложное решающее правило, представленное в табл. 5.

Табл. 5. Решающее правила для оценки эффективности сетевых образовательных программ

Заключение

Таким образом, суммируя вышесказанное, можно утверждать, что в качестве подхода к комплексной оценке таких понятий, как «результативность» и «эффективность» сетевых образовательных программ, наиболее предпочтительна сбалансированная система показателей.

На основе сбалансированной системы показателей разработана методика оценки, включающая в себя иерархическую систему показателей, включающая в себя критерии шкалу оценки для каждого показателя, значимость показателей и целевые функции оценки результативности и эффективности сетевых образовательных программ. Предложены два решающих правила для принятия решения о признании конкретной образовательной программыэффективной и результативной.

Предложенная методика ориентирована на то, чтобы совместная реализация сетевых образовательных программ с крупными научно-исследовательскими организациями, медицинскими организациями, организациями культуры, физкультурно-спортивными и т.д., ведущими отечественными и зарубежными университетами, стала общей практикой для российских высших учебных заведений.

Работа выполнена при поддержке Федеральной целевой программы развития образования на 2011 - 2015годы

Рецензенты:

Духанина Л.Н., д.п.н., профессор, заведующая кафедрой педагогики и методики естественнонаучного образования, Национальный исследовательский ядерный университет «МИФИ», г. Москва.

Путилов А.В., д.т.н., профессор, декан факультета управления и экономики высоких технологий, Национальный исследовательский ядерный университет «МИФИ», г. Москва.

Библиографическая ссылка