К дипломному проекту icon

К дипломному проекту


Загрузка...
страницы: 1   2   3   4   5   6   7   8   9   10
вернуться в начало
скачать
^

3.3Метрики качества тестирования


Показатель успешности тестирования. Эта величина, известная также как коэффициент состояния качества, вычисляется как отношение общего числа успешно завершившихся тестовых процедур к общему количеству выполненных процедур. Этот показатель помогает группе тестирования более точно оценить объем успешно работающей функциональности.

^ Качество исправлений 1. Общее количество повторно открытых дефектов/Общее количество исправленных дефектов. Полученное в результате значение показывает качество исправлений, произведенных для разрешения отчетов о проблемах. При высоком значении данного показателя группе тестирования, возможно, придется известить разработчиков о наличии проблемы.

^ Качество исправлений 2. Работающая ранее функциональность в сравнении с вновь возникшими ошибками. Этот показатель помогает группе тестирования определить, в какой степени исправления программного продукта негативно повлияли на работавшую ранее функциональность.

^ Плотность дефектов. Показатель плотности дефектов вычисляют как отношение общего количества найденных дефектов к количеству тестовых процедур, выполненных для данной функциональности или сценария использования системы. Так, в случае выявления высокой интенсивности ошибок в конкретной функциональности необходимо провести причинно-следственный анализ. Является ли функциональность слишком сложной и потому в ней можно ожидать высокой плотности ошибок? Есть ли проблемы, связанные с проектированием или реализацией функциональности? Не имело ли место неверное (или недостаточное) выделение ресурсов для реализации данной функциональности по причине неправильной оценки ее риска? Возможен также вывод о том, что ответственным за данную функциональность разработчикам требуется дополнительное обучение.

Кроме того, при оценке плотности дефектов группе тестирования следует принимать во внимание приоритет отчетов о проблемах. Например, одно из требований к приложению может иметь 50 отчетов о проблемах с низким приоритетом, причем критерии завершения тестирования удовлетворены. Другое требование, возможно, имеет один открытый отчет о проблеме с высоким приоритетом, который препятствует выполнению критериев завершения тестирования.

^ Анализ тенденции дефекта. Анализ тенденции дефекта вычисляется как отношение общего количества найденных дефектов к количеству проведенных тестовых процедур. Например, если в начале тестирования выявлено большое количество ошибок и число вновь обнаруживаемых дефектов снижается после однократного проведения всех тестовых процедур, то тестировщик может сделать вывод о тенденции к улучшению.
^

Глава 4.Надежность программного продукта

4.1Основные понятия надежности систем


По определению, установленному в ГОСТ 13377-75 надежность - свойство объекта выполнять заданные функции, сохраняя во времени значения установленных эксплуатационных показателей в заданных пределах, соответствующих заданным режимам и условиям использования, технического обслуживания, ремонта, хранения и транспортирования. Таким образом, надежность является внутренним свойством системы, заложенным при ее создании и проявляющимся во времени при функционировании и эксплуатации.

Свойства надежности изделий изучаются теорией надежности, которая является системой определенных идей, математических моделей и методов, направленных на решение проблем предсказания, оценки и оптимизации различных показателей надежности. Надежность технических систем определяется в основном двумя факторами: надежностью компонент и дефектами в конструкции, допущенными при проектировании или изготовлении.

Надежность сложных программных средств определяется этими же факторами, однако доминирующими являются дефекты и ошибки проектирования, так как физическое хранение программ на магнитных носителях характеризуется очень высокой надежностью. Программа любой сложности и назначения при строго фиксированных исходных данных и абсолютно надежной аппаратуре исполняется по однозначно определенному маршруту и дает на выходе строго определенный результат. Однако случайное изменение исходных данных и накопленной при обработке информации, а также множество условных переходов в программе создают огромное число различных маршрутов исполнения каждого сложного ПС. Источниками ненадежности являются непроверенные сочетания исходных данных, при которых функционирующее ПС дает неверные результаты или отказы. В результате комплекс программ не соответствует требованиям функциональной пригодности и работоспособности.

Применение основных понятий теории надежности сложных систем к жизненному циклу и оценке качества комплексов программ позволяет адаптировать и развивать эту теорию в особом направлении - надежности программных средств. Предметом изучения теории надежности комплексов программ (Software Reliability) является работоспособность сложных программ обработки информации в реальном времени. К задачам теории и анализа надежности сложных программных средств можно отнести следующие:

  • формулирование основных понятий, используемых при исследовании и применении показателей надежности программных средств;

  • выявление и исследование основных факторов, определяющих характеристики надежности сложных программных комплексов;

  • выбор и обоснование критериев надежности для комплексов программ различного типа и назначения;

  • исследование дефектов и ошибок, динамики их изменения при отладке и сопровождении, а также влияния на показатели надежности программных средств;

  • исследование и разработка методов структурного построений сложных ПС, обеспечивающих их необходимую надежность;

  • исследование методов и средств контроля и защиты от искажений программ, вычислительного процесса и данных путей использования различных видов избыточности и помехозащиты;

  • разработка методов и средств определения и прогнозировании характеристик надежности в жизненном цикле комплексов программ с учетом их функционального назначения, сложности, структурного построения и технологии разработки.

Результаты решения этих задач являются основой для созданий современных сложных программных средств с заданными показателями надежности.

В основе теории надежности лежат понятия о двух возможных состояниях объекта или системы: работоспособном и неработоспособном. Работоспособным называется такое состояние объекта, при котором он способен выполнять заданные функции с параметрами, установленными технической документации. В процессе функционирования возможен переход объекта из работоспособного состояния в неработоспособное и обратно. С этим переходами связаны события отказа и восстановления.

Определение степени работоспособности системы предполагает наличие в ней средств, способных установить соответствие ее характеристик требованиям технической документации. Для этого должны использоваться методы и средства контроля и диагностики функционирования системы. Основные задачи технической диагностики включают в себя:

  • контроль исправности системы и полного соответствия ее состояния и функций технической документации;

  • проверку работоспособности системы и возможности выполнения всех функций в заданном режиме работы в любой момент времени с характеристиками, заданными технической документацией;

  • поиск, выявление и локализацию источников и результатов сбоев, отказов и неисправностей в системе.


^

4.2Модель факторов, определяющих надежность программных средств


При любом виде деятельности людям свойственно непредумышленно ошибаться, результаты чего проявляются в процессе создания или применения изделий или систем. В общем случае под ошибкой подразумевается дефект, погрешность или неумышленное искажение объекта или процесса. При этом предполагается, что известно правильное, эталонное состояние объекта, по отношению к которому может быть определено наличие отклонения — дефекта или ошибки. Для систематической, координированной борьбы с ними необходимы исследования факторов, влияющих на надежность ПС со стороны случайных, существующих и потенциально возможных дефектов в конкретных программах. Это позволит целенаправленно разрабатывать комплексы методов и средств обеспечения надежности сложных ПС различного назначения при реально достижимом снижении уровня дефектов проектирования.

При строго фиксированных исходных данных программы исполняются по определенным маршрутам и выдают совершенно определенные результаты. Многочисленные варианты исполнения программ при разнообразных исходных данных представляются для внешнего наблюдателя как случайные. В связи с этим дефекты функционирования программных средств, не имеющие злоумышленных источников, проявляются внешне как случайные, имеют разную природу и последствия. В частности, они могут приводить к последствиям, соответствующим нарушениям работоспособности, и к отказам при использовании ПС.

Последующий анализ надежности ПС базируется на модели взаимодействия основных компонентов. Объектами уязвимости, влияющими на надежность ПС, являются:

  • динамический вычислительный процесс обработки данных, автоматизированной подготовки решений и выработки управляющих воздействий;

  • информация, накопленная в базах данных, отражающая объекты внешней среды, и процессы ее обработки;

  • объектный код программ, исполняемых вычислительными средствами в процессе функционирования ПС;

  • информация, выдаваемая потребителям и на исполнительные механизмы, являющаяся результатом обработки исходных данных и информации, накопленной в базе данных.

На эти объекты воздействуют различные дестабилизирующие факторы, которые можно разделить на внутренние, присущие самим объектам уязвимости, и внешние, обусловленные средой, в которой эти объекты функционируют. Внутренними источниками угроз надежности функционирования сложных ПС можно считать следующие дефекты программ:

  • системные ошибки при постановке целей и задач создания ПС, при формулировке требований к функциям и характеристикам решения задач, определении условий и параметров внешней среды, в которой предстоит применять ПС;

  • алгоритмические ошибки разработки при непосредственной спецификации функций программных средств, при определении структуры и взаимодействия компонентов комплексов программ, а также при использовании информации баз данных;

  • ошибки программирования в текстах программ и описаниях данных, а также в исходной и результирующей документации на компоненты и ПС в целом;

  • недостаточную эффективность используемых методов и средств оперативной защиты программ и данных от сбоев и отказов и обеспечения надежности функционирования ПС в условиях случайных негативных воздействий.




оставить комментарий
страница6/10
Дата05.11.2011
Размер0,93 Mb.
ТипДиплом, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы: 1   2   3   4   5   6   7   8   9   10
отлично
  1
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

наверх