Организация данных. Данные, информация, информационные системы презентация

Лектор: к.т.н., старший преподаватель кафедры 105 Каратанов Александр Владимирович

Зачем Вам нужен этот курс?

Зачем Вам нужен этот курс? Базы данных находят применение повсеместно: в организациях для учёта персонала, ведения бухгалтерии, учёта товаров на складе, поставщиков, партнёров, клиентов, ведения электронного документооборота. в биллинговых системах для учёта трафика у интернет провайдеров, потреблённых услуг у телефонных операторов, в банковском деле. в интернет-технологиях для организации хранения учётных записей зарегистрированных пользователей, текстов сообщений на форумах, в гостевых книгах, социальных сетях, интернет-дневниках и в новостных лентах. без всякого сомнения, базы данных используются поисковыми системами для хранения индексов отсканированных веб-страниц.

Кем я буду после изучения курса? аналитиком баз данных; разработчиком баз данных; системным администратором БД; кем-то другим; никем.

Как получить зачет?

Лекция 1. Данные, информация, информационные системы Данные – это представление фактов и идей в формализованном виде, пригодном для передачи и переработки в некотором процессе [ГОСТ Р ИСО/МЭК 12119-2000].

Информация – 1) данные независимо от формы их представления [ГОСТ Р 52653-2006]; примечание - в соответствии с определением, приведенным в ГОСТ Р ИСО 9000, информацией являются значимые данные; Информация – 1) данные независимо от формы их представления [ГОСТ Р 52653-2006]; примечание - в соответствии с определением, приведенным в ГОСТ Р ИСО 9000, информацией являются значимые данные; 2) это смысл, который придается данным при их представлении; 3) информация является данным, которым предоставляется некоторое содержание (интерпретация) в конкретной ситуации в рамках некоторой системы понятий.

Информационная система (ИС, Information system) – система, которая организует хранение и манипулирование информацией о предметной области Информационная система (ИС, Information system) – система, которая организует хранение и манипулирование информацией о предметной области [ГОСТ 34.321-96].

История БД Понятие истории баз данных обобщается до истории любых средств, с помощью которых человечество хранило и обрабатывало данные. Недостатком этого подхода является размывание понятия «база данных» и фактическое его слияние с понятиями «архив» и даже «письменность».

Древняя история БД Средства учета царской казны и налогов в древнем Шумере (4000 г. до н. э.); узелковая письменность инков — кипу, клинописи, содержащие документы Ассирийского царства и т. п.

БД на перфокартах На самых ранних стадиях развития информационных технологий использовались списки — набитые на перфокарте и написанные на магнитной ленте.

Первая БД Североамериканская компания Rockwell заключила контракт с правительством США на участие в проекте Apollo. Построение космического корабля включает в себя сборку нескольких миллионов деталей, поэтому была создана система управления файлами, отслеживавшая информацию о каждой детали. Однако в ходе последующей проверки обнаружилась огромная избыточность. Выяснилось, что почти все данные повторяются в двух и более файлах.

Первая БД Столкнувшись с задачей координации заказов на миллионы деталей, компания Rockwell в сотрудничестве с IBM в 1968 г. разработала автоматизированную систему заказов. Названная IMS (Information Management System — система управления информацией), она заложила основу концепции СУБД. 

Лекция 2. Модели данных, проектирование БД

Проектирование БД Анализ предметной области. Проектирование информационной модели. Разработка даталогической модели. Физическое проектирование БД.

Анализ предметной области

Предметная область В основе любой БД лежит понятие предметной области. Предметная область – это часть реального мира, информация о которой должна содержаться в БД. Предметная область представляется совокупностью реальных и абстрактных объектов, которые характеризуется свойствами. Кроме того, объекты предметной области связаны между собой смысловыми (семантическими) зависимостями.

Семантическая сеть Семантическая сеть — информационная модель предметной области, имеющая вид ориентированного графа, вершины которого соответствуют объектам предметной области, а дуги (ребра) задают отношения между ними.

Основные понятия ER-диаграмм Сущность - это класс однотипных объектов, информация о которых должна быть учтена в модели. Каждая сущность должна иметь наименование, выраженное существительным в единственном числе. Примерами сущностей могут быть такие классы объектов как "Поставщик", "Сотрудник", "Накладная". Каждая сущность в модели изображается в виде прямоугольника с наименованием.

Даталогическая модель проектируется на основании информационной модели, посредством ее нормализации и приведения к третьей нормальной форме. Даталогическая модель проектируется на основании информационной модели, посредством ее нормализации и приведения к третьей нормальной форме.

Лекция 3. Нормализация отношений Процесс нормализации был впервые предложен Эдгаром Франком Коддом в 1972 году.

Нормальная форма

Функциональная зависимость

Функциональная зависимость

1 нормальная форма Условия первой нормальной формы: каждой сущности соответствует отдельная таблица; каждый набор связанных данных идентифицирован с помощью первичного ключа; поля не имеют дубликатов в каждой записи; каждое поле содержит только одно значение (атомарно).

1 нормальная форма Пример. Пусть для отношения со схемой Рейс (Номер, Пункт назначения, Вылет) атрибут Вылет определен как пара (День, Время). В этом случае легко реализовать запросы типа «Выдать все рейсы до Уфы», в отличие от запроса «Выдать все рейсы, вылетающие по понедельникам». С точки зрения второй задачи отношение не находится в 1НФ.

1 нормальная форма Преобразование очевидно: отношение заменяется другим со схемой: Рейс (Номер, Пункт назначения, День вылета, Время вылета). Это позволит достичь атомарности.

1 нормальная форма Пример 2. Если в поле «Подразделение» содержится название факультета и кафедры, требование неделимости не соблюдается и необходимо выделить название факультета или кафедры в отдельное поле.

1 нормальная форма. Избыточность

1 нормальная форма. Целостность Избыточность данных или повторение приводит не только к потере лишнего места; она может вызвать нарушение целостности данных (противоречивость) в базе данных.  Чтобы добиться целостности следует устранить аномалии.

1 нормальная форма

1 нормальная форма

1 нормальная форма

1 нормальная форма Отношение СОТРУДНИКИ_ОТДЕЛЫ_ПРОЕКТЫ декомпозируем на три отношения - СОТРУДНИКИ_ОТДЕЛЫ, ПРОЕКТЫ, ЗАДАНИЯ.

2 нормальная форма Условия второй нормальной формы: модель удовлетворяет условиям 1 НФ; все поля каждой таблицы, не входящие в первичный ключ, связаны полной функциональной зависимостью с первичным ключом. Замечание. Если ключ отношения является простым, то отношение автоматически находится в 2НФ.

2 нормальная форма Отношение СОТРУДНИКИ_ОТДЕЛЫ не находится в 2НФ, т.к. есть атрибуты, зависящие от части сложного ключа. (фамилия сотрудника не зависит от номера отдела) Для того, чтобы устранить зависимость атрибутов от части сложного ключа, нужно произвести декомпозицию отношения на несколько отношений. При этом те атрибуты, которые зависят от части сложного ключа, выносятся в отдельное отношение.

3 нормальная форма Условия третьей нормальной формы: модель удовлетворяет условиям 2 НФ; все не ключевые поля полностью зависят от первичного ключа таблицы и не зависят друг от друга.

3 нормальная форма. Альтернативное определение Условия третьей нормальной формы: модель удовлетворяет условиям 2 НФ; отсутствует транзитивная функциональная зависимость не ключевых полей от первичного ключа.

3 нормальная форма

3 нормальная форма

+ и - нормализации Как видно из таблицы, более сильно нормализованные отношения оказываются лучше спроектированы (три плюса, один минус). Они больше соответствуют предметной области, легче в разработке, для них быстрее выполняются операции модификации базы данных. Правда, это достигается ценой некоторого замедления выполнения операций выборки данных.

Лекция 4. Нормализация отношений. Нормальные формы более высоких порядков

Критерии оценки качества логической модели данных

Критерии оценки качества логической модели данных

OLTP и OLAP-системы

НФБК (Нормальная Форма Бойса-Кодда) Условия нормальной формы Бойса-Кодда: модель удовлетворяет условиям 3 НФ; детерминанты всех функциональных зависимостей являются потенциальными ключами.

Потенциальный ключ В отношении может быть одновременно несколько потенциальных ключей. Один из них может быть выбран в качестве первичного ключа отношения, тогда другие потенциальные ключи называют альтернативными ключами. Теоретически, все потенциальные ключи равно пригодны в качестве первичного ключа, на практике в качестве первичного обычно выбирается тот из потенциальных ключей, который имеет меньший размер (физического хранения) и/или включает меньшее количество атрибутов.

НФБК (Нормальная Форма Бойса-Кодда)

Четвертая нормальная форма (4NF) Условия четвертой нормальной формы: модель удовлетворяет условиям НФБК; все нетривиальные многозначные зависимости фактически являются функциональными зависимостями от её потенциальных ключей.

Четвертая нормальная форма Другими словами все строки таблицы должны быть независимыми друг от друга. В том смысле, что наличие какой-то строки X, не должно означать, что строка Y тоже где-то есть в этой таблице.

Четвертая нормальная форма

Четвертая нормальная форма (4NF)

Пятая нормальная форма (5NF) Условия пятой нормальной формы (проекционно-соединительной нормальной форме): модель удовлетворяет условиям 4 НФ; каждая нетривиальная зависимость соединения в нём определяется потенциальным ключом (ключами) этого отношения; любая имеющаяся зависимость соединения является тривиальной.

Пятая нормальная форма (5NF)

Пятая нормальная форма (5NF)

Доменно-ключевая нормальная форма Рассмотрим пример с интернет-магазином, в котором есть некие товары. Например у нас есть категории товаров, среди которых одна дефолтовая. Каждый товар должен принадлежать какой-либо категории. Тогда, при добавлении товара, поле, по которому он связывается с категорией, будет присвоено значение, привязывающее новый товар к этой дефолтовой категории. Дефолтовая категория как раз и является этим механизмом поддержания целостности данных. Без неё у нас появился бы товар, который не принадлежит ни одной категории. Рассмотрим тот же самый пример но с триггером. Мы удаляем некую категорию (не дефолтовую). Срабатывает триггер и удаляет все товары, связанные с этой категорией. Таким образом, при удалении категории у нас не образуется товаров "подвешенных в воздухе". Целостность данных сохранена. В данный момент нет никакой информации о том база в какой нормальной форме может быть приведена к ДКНФ. Т.е. можно пытаться приводить базу к этой форме из 3НФ, 2НФ или даже 1НФ. Не факт, что это у вас до конца получится. Однако даже если не получится, прописанные правила добавления и удаления записей а так же ограничения на поля, существенно повысят качество разрабатываемой вами БД.

Нормальная форма Рассмотрим модель данных для деканата.

Лекция 5. Целостность реляционных данных

Внешние ключи

Внешние ключи

Внешние ключи

Ссылочная целостность

Ссылочная целостность

12 правил Кодда

Лекция 6. Обзор программного обеспечения для проектирования архитектуры БД

Классификация СУБД

Файл-серверные

Клиент-серверные

Встраиваемые

MySQL Workbench

MySQL Workbench

MySQL Workbench

MySQL Workbench

MySQL Workbench

Лекция 7. Язык SQL

Операторы SQL

Бонусные операторы для MySQL

CREATE DATABASE

CREATE TABLE

ALTER TABLE

Модификация данных

Краткий перечень операций реляционной алгебры

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT

SELECT