К дипломному проекту icon

К дипломному проекту



страницы: 1   2   3   4   5   6   7
вернуться в начало
скачать
^

4.3Метрики качества тестирования


Показатель успешности тестирования. Эта величина, известная также как коэффициент состояния качества, вычисляется как отношение общего числа успешно завершившихся тестовых процедур к общему количеству выполненных процедур. Этот показатель помогает группе тестирования более точно оценить объем успешно работающей функциональности.

^ Качество исправлений 1. Общее количество повторно открытых дефектов/Общее количество исправленных дефектов. Полученное в результате значение показывает качество исправлений, произведенных для разрешения отчетов о проблемах. При высоком значении данного показателя группе тестирования, возможно, придется известить разработчиков о наличии проблемы.

^ Качество исправлений 2. Работающая ранее функциональность в сравнении с вновь возникшими ошибками. Этот показатель помогает группе тестирования определить, в какой степени исправления программного продукта негативно повлияли на работавшую ранее функциональность.

^ Плотность дефектов. Показатель плотности дефектов вычисляют как отношение общего количества найденных дефектов к количеству тестовых процедур, выполненных для данной функциональности или сценария использования системы. Так, в случае выявления высокой интенсивности ошибок в конкретной функциональности необходимо провести причинно-следственный анализ. Является ли функциональность слишком сложной и потому в ней можно ожидать высокой плотности ошибок? Есть ли проблемы, связанные с проектированием или реализацией функциональности? Не имело ли место неверное (или недостаточное) выделение ресурсов для реализации данной функциональности по причине неправильной оценки ее риска? Возможен также вывод о том, что ответственным за данную функциональность разработчикам требуется дополнительное обучение.

Кроме того, при оценке плотности дефектов группе тестирования следует принимать во внимание приоритет отчетов о проблемах. Например, одно из требований к приложению может иметь 50 отчетов о проблемах с низким приоритетом, причем критерии завершения тестирования удовлетворены. Другое требование, возможно, имеет один открытый отчет о проблеме с высоким приоритетом, который препятствует выполнению критериев завершения тестирования.

^ Анализ тенденции дефекта. Анализ тенденции дефекта вычисляется как отношение общего количества найденных дефектов к количеству проведенных тестовых процедур. Например, если в начале тестирования выявлено большое количество ошибок и число вновь обнаруживаемых дефектов снижается после однократного проведения всех тестовых процедур, то тестировщик может сделать вывод о тенденции к улучшению.
^

Глава 5.Виды тестирования программного продукта


В зависимости от преследуемых целей виды тестирования можно условно разделить на следующие типы [4]:

  1. Функциональные

  2. Нефункциональные

  3. Связанные с изменениями
^

5.1Функциональные виды тестирования


Функциональные тесты базируются на функциях и особенностях, а также взаимодействии с другими системами, и могут быть представлены на всех уровнях тестирования: компонентном или модульном (Component/Unit testing), интеграционном (Integration testing), системном (System testing) и приемочном (Acceptance testing). Функциональные виды тестирования рассматривают внешнее поведение системы. Далее перечислены одни из самых распространенных видов функциональных тестов:

  • Функциональное тестирование (Functional testing)

  • Тестирование безопасности (Security and Access Control Testing)

  • Тестирование взаимодействия (Interoperability Testing)

Тестирование безопасности - это стратегия тестирования, используемая для проверки безопасности системы, а также для анализа рисков, связанных с обеспечением целостного подхода к защите приложения, атак хакеров, вирусов, несанкционированного доступа к конфиденциальным данным. Тестирование безопасности может выполняться, как автоматизировано, так и в ручную, включая проверку как позитивных, так и негативных тестовых случаев. Основывается на трех основных принципах - это конфиденциальность, целостность и доступность.

Конфиденциальность - это сокрытие определенных ресурсов или информации. Под конфиденциальностью можно понимать ограничение доступа к ресурсу некоторой категории пользователей, или другими словами, при каких условиях пользователь авторизован получить доступ к данному ресурсу.

Существует два основных критерия при определении понятия целостности:

  • Доверие. Ожидается, что ресурс будет изменен только соответствующим способом определенной группой пользователей.

  • Повреждение и восстановление. В случае, когда данные повреждаются или неправильно меняются авторизованным или не авторизованным пользователем, вы должны определить насколько важной является процедура восстановления данных.

Доступность представляет собой требования о том, что ресурсы должны быть доступны авторизованному пользователю, внутреннему объекту или устройству. Как правило, чем более критичен ресурс, тем выше уровень доступности должен быть.

Тестирование взаимодействия (Interoperability Testing) – это функциональное тестирование, проверяющее способность приложения взаимодействовать с одним и более компонентами или системами и включающее в себя тестирование совместимости (compatibility testing) и интеграционное тестирование (integration testing).

Программное обеспечение с хорошими характеристиками взаимодействия может быть легко интегрировано с другими системами, не требуя каких-либо серьезных модификаций. В этом случае, количество изменений и время, требуемое на их выполнение, могут быть использованы для измерения возможности взаимодействия.
^

5.2Нефункциональные виды тестирования


Нефункциональное тестирование описывает тесты, необходимые для определения характеристик программного обеспечения, которые могут быть измерены различными величинами. В целом, это тестирование того, "Как" система работает. Далее перечислены основные виды нефункциональных тестов:

  • Все виды тестирования производительности:

  • нагрузочное тестирование (Performance and Load Testing)

  • стрессовое тестирование (Stress Testing)

  • тестирование стабильности или надежности (Stability / Reliability Testing)

  • объемное тестирование (Volume Testing)

  • Тестирование установки (Installation testing)

  • Тестирование удобства пользования (Usability Testing)

  • Тестирование на отказ и восстановление (Failover and Recovery Testing)

  • Конфигурационное тестирование (Configuration Testing)

Тестирование установки направленно на проверку успешной инсталляции и настройки, а также обновления или удаления программного обеспечения.

В настоящий момент наиболее распространена установка ПО при помощи инсталляторов (специальных программ, которые сами по себе так же требуют надлежащего тестирования).

В реальных условиях инсталляторов может не быть. В этом случае придется самостоятельно выполнять установку программного обеспечения, используя документацию в виде инструкций или readme файлов, шаг за шагом описывающих все необходимые действия и проверки.

В распределенных системах, где приложение разворачивается на уже работающем окружении, простого набора инструкций может быть мало. Для этого, зачастую, пишется план установки (Deployment Plan), включающий не только шаги по инсталляции приложения, но и шаги отката (roll-back) к предыдущей версии, в случае неудачи. Сам по себе план установки также должен пройти процедуру тестирования для избежания проблем при выдаче в реальную эксплуатацию. Особенно это актуально, если установка выполняется на системы, где каждая минута простоя - это потеря репутации и большого количества средств, например: банки, финансовые компании или даже баннерные сети. Поэтому тестирование установки можно назвать одной из важнейших задач по обеспечению качества программного обеспечения.

Именно такой комплексный подход с написанием планов, пошаговой проверкой установки и отката инсталляции, полноправно можно назвать тестированием установки

Тестирование удобства пользования - это метод тестирования, направленный на установление степени удобства использования, обучаемости, понятности и привлекательности для пользователей разрабатываемого продукта в контексте заданных условий.

Тестирование удобства пользования дает оценку уровня удобства использования приложения по следующим пунктам:

  • производительность, эффективность (efficiency) - сколько времени и шагов понадобится пользователю для завершения основных задач приложения, например, размещение новости, регистрации, покупка и т.д.? (меньше - лучше)

  • правильность (accuracy) - сколько ошибок сделал пользователь во время работы с приложением? (меньше - лучше)

  • активизация в памяти (recall) – как много пользователь помнит о работе приложения после приостановки работы с ним на длительный период времени? (повторное выполнение операций после перерыва должно проходить быстрее чем у нового пользователя)

  • эмоциональная реакция (emotional response) – как пользователь себя чувствует после завершения задачи - растерян, испытал стресс? Порекомендует ли пользователь систему своим друзьям? (положительная реакция - лучше)

Тестирование на отказ и восстановление – это тестирование того, насколько хорошо приложеие может восстанавливаться после падения (ошибки в прилжении, зависания), аппаратной проблемы и дургих похожих случаев. При этом тестировании приложение умышленно выводится из строя различными путями для проверки правильности восстановления.

Примеры тестиования восстановления:

  1. Во время работы приложения компьютер внезапно перезагружается. После перезагрузки проверяется правильность и целостность данных приложения.

  2. Отсоеденить сетевой кабель во время того, как приложение получает данные от сети. По прошествии некоторого времени, присоединить кабель обратно и проанализировать способность приложения продолжать получать данные с того момента как пропало соединение с сетью

  3. Перезапустить системы, в то время как интернет-обозреватель имеет некоторое количество активных сессий. После перезагрузки проверить, что обозреватель в состоянии восстановить их все.

Конфигурационное тестирование это разновидность тестирования производительности, при котором вместо тестирования с позиции нагрузки, тестируются эффекты изменения конфигурации приложения на производительность и поведение.




оставить комментарий
страница3/7
Дата18.11.2011
Размер0,85 Mb.
ТипДиплом, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы: 1   2   3   4   5   6   7
Ваша оценка этого документа будет первой.
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Документы

наверх