Методологическое руководство по мониторингу и оценке icon

Методологическое руководство по мониторингу и оценке


Смотрите также:
Методологическое руководство по мониторингу и оценке вич/спид, туберкулез и малярия июнь 2004 г...
Руководство по основанному на оценке риска подходу для бухгалтеров 17 июня 2008 г...
Доклад Рабочей группы по мониторингу и оценке окружающей среды о работе ее одиннадцатой сессии...
Объявляет конкурс на замещение должности специалиста по мониторингу и оценке мероприятий 2...
Методическое руководство по модульной системе обучения и рейтинговой оценке деятельности...
Д. А. Леонтьев...
Д. А. Леонтьев...
Д. А. Леонтьев...
Методологическое положение по оценке объемов ненаблюдаемой экономики Бишкек 2009...
Методические подходы к оценке эксплуатации, ее измерение. Современная социальная политика...
«методологическое значение сравнительного метода в зоологических исследованиях»...
«Гигиенические требования к микроклимату производственных помещений»...



Загрузка...
страницы: 1   2   3   4   5   6   7   8
вернуться в начало
скачать
^

Часто задаваемые вопросы

Технические вопросы


1. В чем различие между мониторингом и оценкой?

Мониторинг - это регулярное слежение за ключевыми элементами эффективности программы/проекта, обычно затрат и результатов, посредством регистрации данных, регулярных систем отчетности и эпиднадзора, а также наблюдения в учреждениях здравоохранения и обследований клиентов. Мониторинг помогает руководителям программы или проекта определить, какие области требуют больших усилий и сигнализирует о вопросах, которые могут способствовать улучшению реагирования. В хорошо построенных системах мониторинга и оценки мониторинг значительно содействует оценке. Показатели, отобранные для мониторинга, будут отличаться в зависимости от уровня отчетности в системе здравоохранения. Очень важно выбрать ограниченное число показателей, которые будут действительно использоваться руководителями программ и теми, кто их осуществляет. Существует тенденция к тому, чтобы собирать информацию по многим показателям и сообщать эту информацию уровням, на которых она не будет и не может использоваться для принятия решений.

В отличие от этого, оценка представляет собой оценку изменения целевых результатов, которые могут быть достигнуты за счет мероприятий программы или проекта. Другими словами, оценка пытается увязать конкретный промежуточный или конечный результат непосредственно с конкретным мероприятием по истечении определенного периода времени после начала осуществления определенной программы. Оценка помогает руководителям программ или проектов определить ценность или целесообразность конкретной программы или проекта.

^ 2. В чем различие между национальными и субнациональными МиО?

Учитывая незначительные ресурсы МиО на субнациональном уровне, особое внимание обращается на мониторинг затрат и результатов и на оценку соответствия хода работы субнациональном плану. Оценка небольшого учреждения в рамках регулярного контроля может послужить для предоставления информации о качестве помощи или о наличии и использовании служб. На национальном уровне необходимы как мониторинг, так и оценка.

Субнациональные данные чрезвычайно полезны для МиО на национальном уровне при условии соблюдения национальных принципов, что даст возможность агрегирования данных. Например, если страна имеет фактические данные о распределении презервативов по районам (или эквивалентным территориальным единицам) вместо одной национальной общей цифры, мониторинг тенденций в использовании презервативов может стать более значимым и более точным.

^ 3. В чем различие между программой и проектом МиО?

Программа относится к самым общим национальным и субнациональным действиям в ответ на болезнь. В рамках национальной программы обычно имеется ряд различных областей программирования. Например, программа по ВИЧ/СПИДу имеет несколько "подпрограмм", таких как безопасность крови, борьба с ИППП или профилактика ВИЧ среди молодежи. Проект относится к сочетанию мероприятий, направленных на конкретную группу населения, определенную по географическому или иному признаку.

Учитывая более широкий охват (тематический, географический, целевых групп населения), мониторинг программы, как правило, является более сложным, чем мониторинг проекта, и требует сильной координации между всеми учреждениями-исполнителями. Оценка программы является еще более трудной, особенно для некоторых видов оценок (оценок конечных результатов и воздействия). Для проведения таких оценок структура программы/проекта должна включать свою собственную базу, а последующие оценки должны измерять не только конкретные результаты, но также уровень воздействия программы/проекта и их деятельности. (Более подробно об оценках см. в вопросе 4.)

^ 4. Какие сроки являются подходящими для оценки?

Сроки для конкретного вида оценки зависят от состояния осуществления программы или проекта. Существует четыре вида оценок программы или проекта:

  • Формирующая оценка

  • Оценка процесса

  • Оценка результата

  • Оценка воздействия

Формирующая оценка проводится на стадии планирования программы профилактики или оказания помощи для выявления и решения проблем, связанных с осуществлением и оценкой до широкого осуществления программы. Формирующая оценка выявляет динамику хода осуществления, помогает определить эффективные мероприятия и реалистичные цели.

^ Оценка процесса предполагает оценку содержания программы или проекта, масштабы или охват, а также качество осуществления. Если в ходе оценки процесса будет обнаружено, что программа/проект не осуществляется или не достигает его целевую аудиторию, то нет смысла делать оценку результата. Однако если оценка процесса показывает прогресс в осуществлении программы/проекта в соответствии с планом, то целесообразно провести такую оценку.

^ Оценка конечного результата специально предназначена для получения возможности связать изменения с самим мероприятием. По крайней мере, структура оценки должна дать возможность правдоподобным образом увязать наблюдаемые результаты с четко определенной программой или проектом и продемонстрировать, что изменения не являются результатом не связанных с проектом или программой факторов.

Если оценка показывает изменения в конечных результатах, то настало время для проведения оценки воздействия. Действительная оценка воздействия, способная соотнести долгосрочные изменения с конкретной программой или проектом, является очень редкой. Обычно для указания общего воздействия считается достаточным, скорее, рассмотрение показателей мониторинга воздействия совместно с оценками процесса и результатов.

^ 5. Требует ли оценка большего, чем мониторинг?

Как показано в ответах на вопросы 1-4, цели и методологии, используемые при мониторинге и оценке, являются различными. Как правило, оценки являются более трудными, учитывая необходимую методологическую строгость; без такой строгости могут быть сделаны неправильные выводы о ценности программы или проекта. Они также являются более дорогостоящими, особенно оценки конечных результатов и воздействия, которые требуют проведения обследований населения.


^ 6. Что собой представляют оперативные исследования?

Оперативные исследования (ОИ) - это точный вид оценки, который дополняет системы МиО. Главная цель ОИ заключается в предоставлении руководителям программ и политикам необходимой информации для разработки, улучшения или расширения программ. Их можно представить как практический систематический процесс выявления и решения проблем, связанных с программой. Этот процесс имеет пять основных этапов:

  1. Выявление проблемы и диагноз

  2. Выбор программной стратегии

  3. Испытание и оценка стратегии

  4. Распространение информации

  5. Использование информации и увеличение масштабов

^ 7. Все ли показатели являются равными по значению?

Концептуальные рамки МиО, обсужденные ранее, показывают, что различные виды показателей являются неравнозначными и связанными друг с другом для достижения поставленных целей и задач конкретной программы. Затраты в виде денег и рабочего времени приводят к таким результатам, как системы формирования запасов и оказания услуг в области лекарственных препаратов и других основных товаров, новые или улучшенные услуги, подготовленный персонал, информационные материалы и т.п. Если эти результаты хорошо спланированы и достигают население, для которого они предназначены, то программа, очевидно, получила положительные результаты (в зависимости от контекста, в котором она функционирует). Эти положительные результаты должны привести к изменениям в долгосрочном воздействии программ на целевое население или системы.

^ 8. Как часто измеряются различные показатели?

Частота отчетности будет зависеть от места показателей в концептуальных рамках МиО, учитывая разумные сроки в отношении ожидаемых изменений и возможностей программы для проведения МиО. Предлагается следующий график отчетности:

Вид показателя

Частота измерения

Затраты

постоянно

Процесс

ежеквартально

Промежуточный результат

ежеквартально

Конечный результат

2-3 года

Воздействие

3-5 лет



^ 9. Для чего нам необходимы стандартизованные показатели?

Использование стандартизованных показателей дает национальной программе ценные измерители одного и того же показателя в различных группах населения, предоставляя возможность триангуляции результатов, а также регистрации и рассмотрения региональных или местных несоответствий и различий. Это помогает направлять ресурсы в регионы или подгруппы населения с наибольшими потребностями и выявлять области активизации или уменьшения усилий на национальном уровне, что, в конечном счете, повышает общую эффективность национальных ответных действий. Использование стандартных показателей обеспечивает также сравнимость информации по всей стране и во времени.

При планировании своей деятельности по оценке проекты должны также учитывать национальные стандарты для показателей в данной области. Проекты могут иметь свои собственные информационные потребности, соответствующие строгому плану оценки. Тем не менее, они должны, по возможности, выбирать показатели со стандартными справочными периодами, знаменателями и т.д., что позволит собранные ими данные легко представить в национальную систему МиО.

^ 10. Что мы подразумеваем под обоснованной, всесторонней или последовательной системой МиО?

Обоснованная система МиО имеет следующие основные характеристики:

  • Сложившееся подразделение по МиО в правительстве (министерстве здравоохранения или национальных советах по конкретным болезням) с официальными связями с различными параллельными министерствами (в зависимости от болезни), исследовательскими институтами и НПО.

  • Четко определенные цели и задачи национальной программы

  • Национальный план МиО, включающий группу приоритетных показателей на различных уровнях МиО, основанных на национальных стратегических планах; сопоставимых во времени; подвыборку, сопоставимую с другими странами; а также сбор, контроль качества, анализ, распространение данных и план их использования.

Последовательная система МиО тесно связана с эффективной координацией МиО между всеми участниками, что ведет к более эффективному использованию ресурсов и данных. Она помогает обеспечить, чтобы финансируемые донорами усилия по МиО скорее наилучшим образом содействовали национальным потребностям, чем просто служили удовлетворению связанных с отчетностью потребностей учреждений. Она также поощряет установление связей между различными группами, участвующими в национальных ответных действиях. Общее планирование, осуществление, анализ или распространение информации могут уменьшить дублирование в программировании и повысить сотрудничество между различными группами, многие из которых могут работать вместе более эффективно, чем по отдельности.

^ 11. Каким образом МиО ВИЧ/СПИДа, туберкулеза и малярии включаются в национальную систему медико-санитарной информации?

Создание или укрепление национальных систем медико-санитарной информации (НСМСИ) является необходимым предварительным условием для надлежащего мониторинга этих трех болезней и реагирования на них. Увеличение финансирования в области этих трех болезней создает возможности для укрепления не только специфической медико-санитарной информации программы или проекта, но также всех систем медико-санитарной информации и эпиднадзора. ВИЧ/СПИД, ТБ и малярия имеют различные сильные стороны в отношении сбора, распространения и использования информации; для этих трех болезней существуют возможности еще более крепить сильный стороны каждой из них.

Эффективные НСМСИ обеспечивают прочную основу для оценки крупномасштабных программ, приводя, в конечном счете, к улучшению планирования и принятия решений. Неотложные решения, например, в отношении того, как распределить новые ресурсы для достижения наилучшего общего результата, с их помощью принимать легче.
^

Оперативные вопросы


1. Как выбирать показатели из основного списка, содержащегося в настоящем руководстве?

При принятии решения относительно набора показателей страны не ограничены основным списком, содержащимся в настоящем руководстве, и необязательно должны выбирать все из них. Выбор показателей должен определяться целями национальной программы или проекта. Нет смысла собирать данные по областям, которые не относятся к местным условиям, учитывая, что сбор и анализ данных для таких показателей требует времени и денег. Однако если основные показатели, предложенные в руководстве, удовлетворяют потребностям национальных программ, то целесообразно их использовать, чтобы обеспечить стандартизацию информации по странам и во времени.

Следующие руководящие принципы помогают выбрать наиболее подходящий набор показателей и соответствующие инструменты сбора данных:

  1. Используйте концептуальные рамки МиО для правильной интерпретации результатов (предложенную схему см. выше);

  2. Обеспечьте, чтобы показатели были связаны с целями программы или проекта и могли измерить изменение;

  3. Обеспечьте, чтобы, по возможности, использовались стандартные показатели для сопоставимости между странами или группами населения;

  4. Рассмотрите вопросы о стоимости и осуществимости сбора и анализа данных; и

  5. В отношении ВИЧ/СПИДа примите во внимание стадию эпидемии;

  6. Сведите количество показателей до необходимого минимума, с особым учетом уровня системы, который потребует использования и будет использовать различные показатели, чтобы принять программные и управленческие решения. Позднее всегда можно определить дополнительные показатели.

^ 2. Требует ли планирование сбора данных по отобранным показателям различных стратегий?

Стоимость, трудность и потенциал, относящиеся к сбору информации, увеличиваются по мере сдвига показателей от вклада к промежуточным результатам и от конечных результатов к воздействию.

Данные о затратах и промежуточных результатах зачастую собирать легче и дешевле. Как правило, данные по показателям затрат и промежуточных результатов можно получить централизованно из систем регулярного мониторинга здравоохранения, при условии, что такие системы являются функциональными. Лицам, занимающимся планированием программ, следует извлечь преимущества из повышенного внимания к программам по ВИЧ/СПИДу, ТБ малярии, чтобы потребовать финансирование для укрепления национальных систем медико-санитарной информации и эпиднадзора, которые могут быть использованы для регистрации данных по этим, а также другим программам по конкретным болезням.

Данные по многим показателям конечных результатов и воздействию собираются с помощью более дорогостоящих и более трудных обследований населения или учреждений здравоохранения, которые требуют определенного опыта в применении исследовательских методов. Измерение конечных результатов обычно проводить труднее, учитывая чувствительность и специфичность каждого показателя.

^ 3. Как извлечь преимущества из существующих усилий по сбору данных?

При составлении своих планов сбора данных странам следует в возможной степени учитывать:

  • Сроки дорогостоящих обследований населения, таких как DHS, в которые могут быть включены модули для получения данных по ряду показателе, относящихся к этим трем заболеваниям;

  • Наличие данных, уже собранных учреждениями, которые прямо не занимаются этими тремя болезнями, но могут помочь в мониторинге.

^ 4. Какую часть общего национального программного бюджета следует выделить на МиО?

Обеспечение правильного использования ресурсов требует последовательной системы МиО. Поэтому рекомендуется, чтобы для МиО использовалось приблизительно 5-10% национального программного бюджета. Этот процент должен быть рассчитан с учетом объединенных внешних донорских и внутренних национальных ресурсов. Кроме того, от 3 до 5 процентов региональных и районных (в соответствующих случаях) финансовых ресурсов должно быть выделено на деятельность, связанную с МиО на этих уровнях.

Финансовые органы все больше осознают, что средства проектов должны выделяться на развитие систем МиО для обеспечения сбора, регистрации и использования информации, связанной с проектом. В результате этого дополнительные ресурсы стали предоставляться в качестве части более крупных грантов. Это дает возможность развивать скорее гармоничные системы, чем отдельные усилия.

^ 5. Как оптимизировать использование средств, выделенных на МиО?

Следующие рекомендации помогут обеспечить правильное инвестирование средств МиО:

  • Развивайте скорее системы, чем осуществляйте специальные усилия по сбору данных. Первоначальные расходы должны рассматриваться с учетом возрастающих преимуществ более регулярного или более дорогостоящего сбора данных, в конечном счете приводящего к менее дорогостоящим мероприятиям.

  • Рассмотрите как краткосрочные, так и долгосрочные потребности, чтобы обеспечить непрерывность осуществления национальных программ.

  • Мобилизуйте основных действующих лиц МиО в стране с помощью групп поддержки МиО, чтобы избежать дублирования усилий.

  • Используйте совместно согласованные в отношении МиО рамки для сопоставимости целей.

^ 6. Как оптимизировать использование данных?

Конечная цель сбора данных заключается в том, чтобы обеспечить поступление данных в процесс принятия решений. Данные являются мощным средством пропаганды, привлечения ресурсов и установления связи изменений с конкретными мероприятиями и программированием (или переориентацией программ), если это возможно. На основе уроков, извлеченных в последние годы, следующие шаги помогут оптимизировать процесс сбора данных:

  • Составляйте качественные данные, требующие значительных инвестиций в весь процесс сбора данных;

  • Определите различных конечных пользователей, представьте и сгруппируйте данные в соответствии с их потребностями, сосредоточившись на минимальном количестве показателей на каждом уровне;

  • Создайте механизмы для эффективной системы использования данных, включая обратную связь посредством контроля на всех уровнях, а также обеспечьте, чтобы данные на определенном уровне были соответствующими и полезными на этом уровне.

    • Обеспечьте, чтобы государство отвечало за все мероприятия, связанные со сбором данных, а это означает необходимость укрепить национальный потенциал по МиО для гарантии единообразных и качественных данных в стабильных рамках;

    • Обеспечьте создание группы поддержки МиО с сильной представленностью правительственных, донорских и академических учреждений для оказания содействия правительству во всем процессе разработки и осуществления стратегий МиО. Это повысит доверие к данным, составляемым правительством; и

    • Выделите достаточно ресурсов для плана использования данных.

^ 7. Как избежать такого положения, при котором требования доноров будут определять все инвестиции в области медико-санитарной информации?

Для того, чтобы требования доноров не определяли все инвестиции в области медико-санитарной информации, - что сопряжено с риском получения различных требований, - рекомендуются следующие шаги:

  • Под руководством страны создайте платформу с сильным донорским участием;

  • Пропагандируйте создание системы медико-санитарной информации, которая обеспечит качественную и своевременную информацию;

  • Используйте - в возможной степени - совместно согласованные рамки и стандартные показатели МиО. Такие рамки содержатся в руководящих принципах по МиО, разработанных в ходе процесса с широким участием заинтересованных в МиО лиц из основных донорских учреждений;

  • В случае, если два или более доноров имеют многочисленные требования, ссылайтесь на глобальные принципы для согласования требований.



^ 8. Какие уроки можно извлечь из опыта успешных систем МиО?

  1. Все партнеры по осуществлению должны собирать полные данные о затратах и результатах. Многие из них должны собирать данные о процессе. Гораздо меньшее их число должны собирать данные об оценке, и еще меньшее число будут оценивать воздействие.

  2. Хорошая система МиО требует как внутренней самооценки, так и внешней проверки. Так, хотя партнеры по осуществлению должны собирать и проверять свои внутренние данные, внешнее учреждение должно проверять полноту и точность данных, собранных эти партнерами по осуществлению. Контрольные посещения должны основываться на анализе данных внутренней самооценки и проверенных внешним учреждением первичных данных.

  3. Системы МиО должны быть как можно более простыми. Большинство программ и проектов собирают гораздо больше данных, чем они могут использовать. Чем более сложной является система МиО, тем больше вероятность нарушений ее работы.

  4. Системы МиО должны иметь стандартизованную основу. Если каждый участвующий партнер использует различные системы или инструменты, невозможно эффективно проанализировать или суммировать данные. Необходимость в стандартизованной основе не исключает возможности для отдельных партнеров собирать дополнительные данные МиО, конкретно относящиеся к ситуации.

  5. Необходимо, чтобы специализированное подразделение занималось сбором, проверкой, вводом и анализом первичных данных МиО от каждого партнера. Без такого подразделения вряд ли можно будет осуществлять сбор, проверку и анализ данных. Министерства и другие государственные учреждения редко имеют возможности управлять этим процессом. Увеличение ресурсов, выделяемых на ВИЧ/СПИД, ТБ и малярию, следует использовать для создания местного потенциала в рамках такого национального подразделения.

  6. Система МиО должна быть встроена в структуру программы и должна быть оперативной к моменту начала использования гранта, а не добавляться позднее. Гораздо труднее и менее эффективно включать МиО, когда осуществление гранта уже началось.

  7. Субнациональные данные имеют большое значение для сбора данных на национальном уровне, так как их можно агрегировать до этого уровня. Однако субнациональные данные являются более подходящими для руководителей программ при принятии повседневных решений.

Независимо от того, насколько обоснованной является система МиО, она не добьется успеха, если в ней не будут заинтересованы многочисленные участники. Поэтому крупномасштабный широкий процесс разработки и осуществления стратегий МиО имеет большое значение для привлечения участников и создания у них заинтересованности с самого начала.






оставить комментарий
страница5/8
Дата23.01.2012
Размер1,52 Mb.
ТипРуководство, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы: 1   2   3   4   5   6   7   8
Ваша оценка этого документа будет первой.
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

наверх