Учебное пособие Разработчик: Белов В. С. Москва, 2008
1 чел. помогло. вернуться в начало
| скачать ^ Объектом анализа являются данные, сконцентрированные в хранилище, а при необходимости и изымаемые непосредственно из первичных источников, которые должны быть структурированы в виде системы показателей исследуемой предметной области. Прохождение данных из первичных источников как внутренних - предприятия или другого объекта управления, так и из внешних источников в информационное хранилище и далее к лицу(ам) или другим программам-приложениям, использующим их (данные) в процессе анализа и подготовки итоговых материалов различного назначения – в итоге для обоснования принятия решений, происходит в несколько этапов:
По мере накопления в соответствующих зонах памяти выполняется периодическая загрузка данных из функциональных (транзакционных) подсистем интегрированной информационной системы (ИС) или автономных ИС, поддерживается необходимый уровень качества данных; в отдельных случаях допускается внеплановая загрузка по ситуации.
Для обеспечения процесса управления предприятием или другим объектом данные используются в трёх основных режимах – создания плановых отчётных и других документов (Reporting), оперативного анализа в незапланированных ситуациях (OLAP-анализ), интеллектуального или углублённого анализа (Data mining). Накопленные в хранилище данные могут быть использованы в специальных программах, обеспечивающих развитие бизнеса. В основе концепции информационных хранилищ заложена идея гибкой архитектуры данных. Это означает, что любому пользователю из числа доверенных лиц должна быть обеспечена возможность доступа к любому разрешённому для использования участку данных, которыми располагает предприятие (организация). Такой доступ осуществляется путём закладки в организационно-методологические основы построения системы сбора и хранения данных соответствующих возможностей, а также согласования принципов построения и чёткого взаимодействия аппаратного, программного комплексов и структуры накапливаемых и хранимых сведений. Эта идея реализуется в основном в рамках свойств "открытых систем", определение которых POSIX 1003.0 принято Комитетом IEEE. В соответствии с этим определением открытая система есть “система, которая реализует открытые спецификации на интерфейсы, сервисы (услуги среды) и поддерживаемые форматы данных, достаточные для того, чтобы дать возможность должным образом разработанному прикладному программному обеспечению быть переносимым в широком диапазоне систем с минимальными изменениями, взаимодействовать с другими приложениями на локальных и удаленных системах, и взаимодействовать с пользователями в стиле, который облегчает переход пользователей от системы к системе”. Основные свойства открытых систем, очерченные этим определением, следующие:
- Способность к интеграции. При интеграции систем в целом (system integration) это свойство обеспечивает объединение нескольких ИС различного назначения в интегрированную многофункциональную ИС. В случае интеграции баз данных (database integration) для прикладной программы или пользователя несколько баз данных представляются как одна логически единая база данных. При этом обеспечивается обращение пользователей к любой из этих баз независимо от её места расположения в режиме коллективного доступа к данным, одновременная работа нескольких баз данных с каждой из прикладных программ ИС или пользователем. При интеграции данных (data integration) обеспечивается возможность совместного использования запросом пользователя или программой одновременно нескольких файлов данных как единого целого. Рассматривается логическая интеграция, которая осуществляет объединение данных на логическом уровне, не затрагивая их физической организации, а также физическая, предполагающая слияние данных в единый информационный массив. Высокая готовность (high availability) – свойство, означающее высокую отказоустойчивость (практически полную) системы (fault tolerance). В случае отказа какого-либо компонента обеспечивается гарантия автоматического восстановления работоспособности и сохранение целостности баз данных. Свойство готовности рассматривается и как мера способности системы принимать и успешно выполнять запросы и задания за доступный интервал времени. На основе обзора свойств открытых систем можно сделать вывод об их определяющем значении при создании и эксплуатации информационно-аналитических систем. В соответствии с принципами открытых систем организуются и реализуются манипуляции с данными на всех рассмотренных выше этапах пути прохождения данных из источников к потребителям, а также подготовки на основе использования накапливаемых данных информации для тех или иных целей. При организации работ по созданию, внедрению и применению ИАС важное значение имеет учёт стандартов. Применение их облегчает организацию сбора, представление их в виде системы стандартных показателей в функциональных подсистемах ИАС, позволяет легко вписывать данные из первичных источников в структуру хранилища. данных Положения функциональной стандартизации в области информационных технологий определены стандартом ГОСТ Р ИСО/МЭК ТО 10000-99 ”Информационная технология. Основы и таксономия международных функциональных стандартов”. Ориентация на стандарты при создании и ведении ИАС имеет два аспекта:
В настоящее время широко распространены системы электронного обмена данными (ЭОД), в англоязычной терминологии Electronic Data Interchange (EDI). Для создания системы компьютерного обмена данными, особенно в корпоративных распределённых структурах, особенно транснационального масштаба, в мировой практике широко применяются стандарты EDIFACT, которые были утверждёны Международной организацией по стандартизации (International Organization for Standardization ISO) в 1988 году:
В России появились два аналога приведённых выше стандартов: - ГОСТ 6.20.2-91 "Элементы внешнеторговых данных (ISO 7372-86)
Введены эти стандарты 01.01.1992 года. Стандарты ISO нашли дальнейшее развитие по отраслям деятельности, по технологиям обмена, в направлении применения Web –технологий. Эти процессы, соответствующие этапу извлечения, преобразования и загрузки данных, в англоязычной терминологии Extraction, Transformation, Loading – ETL-процессы. В процессе создания ИАС и её центральной подсистемы – информационного хранилища как важная проблема выделяется обеспечение необходимого качества данных, в том числе достоверности, согласованности, соответствия установленным ограничениям и бизнес-правилам и т.д. Качество загружаемых и содержащихся в хранилище данных достигается системой организационных и программно-технических мероприятий. К ним относятся: "ручная" проверка разного рода ошибок, несоответствий, например неодинаковых названий полей с одним смыслом, и автоматическая с применением программных средств. При сборе данных в информационное хранилище необходимо учитывать два основных аспекта: структурный и смысловой. Структурный аспект заключается в представлении данных из источников в тех или иных форматах программных сред, в которых были сформированы. Они должны приводиться к одному или группе форматов в системе сбора и хранения данных. Смысловой аспект состоит в содержательном наполнении знаковых структур данных. Даже при согласованных форматах данных могут быть разные толкования одинаково или близко по виду записанных данных и другие виды разночтений. Такие ситуации необходимо исключить ещё на этапе формирования структуры ИХ. ETL-процессы, которые реализуют требования по обеспечению качества, созданию необходимой структуры и поддержанию смысловых характеристик данных делятся на следующие стадии:
Отдельно и более подробно рассмотрим процессы повышения качества данных. Искажение данных может появляться на любом этапе, стадии, шаге ETL-процессов. Упредить их возникновение полностью – задача практически невыполнимая, но необходимо принимать меры по снижению их количества и обнаружению. Рассматривают фатальные искажения, ошибки, к которым относятся: отсутствие данных в источнике, ошибка в подключении к источнику, проявляющаяся в отсутствии доступа к необходимым данным, проявление системного сбоя операционной системы. Очистка данных состоит в исключении из общего потока тех данных, которые не отвечают заданным ограничениям на загрузку или бизнес-правилам. В этом случае данные из исходной таблицы разделяются на две части: отвечающие критериям качества, несоответствующие таковым и не попадающие на загрузку в хранилище. Оценка качества данных производится:
Приведённый перечень видов искажений, несоответствий в данных касается в основном структурного представления данных, технологических причин. Смысловое содержание данных – знаковых структур очень важно при создании структуры хранилища и его поддержании, которое состоит в первоначальной загрузке и дальнейшем его заполнении и актуализации в процессе эксплуатации. В ходе ETL-процессов велика вероятность искажений, сбоев в работе по причине несогласованности в семантике. Такие ситуации называют "семантические разрывы" (46). В этой работе приводится четыре их вида:
В информационных хранилищах семантические разрывы в данных возможны на любом из переходов от этапа к этапу при прохождении данных от источников к конечным пользователям информацией и знаниями.
|
отлично
1 