Введение в компьютерный и интеллектуальный анализ данных (ВКИАД). Типы статистических данных и способы их первичной обраб презентация

Введение в компьютерный и интеллектуальный анализ данных (ВКИАД) (Data Analysis, Data Analytics, Data Mining)

Мультидисциплинарная область

Цели курса изучение теоретических основ предварительного (домодельного) статистического анализа данных формирование навыков практического решения задач статистического анализа

(ВКИАД) Тема 1. Типы статистических данных и способы их первичной обработки

Литература Статистика: учебник / Под ред. И.И.Елисеевой. - М: Изд-во Проспект, 2009. Локальная сеть БГУ: FPMI-STUD\subfaculty\КТС\ Казаченок\ВКИАД

Развитие статистики Др.Китай, др.Рим, Ср.век.Европа Описательная статистика Г.Конринг (сер. XVIIв., Германия) Политическая арифметика В.Петти (сер. XVIIв., Англия) Математическая статистика Кетле, Гальтон, Пирсон, Госсет, Фишер, Митчел (XIX-XXв.)

Термин «статистика» STATUS (лат.) – состояние дел «Статистика» – (Готфрид Ахенваль, XVIII век) Современное значение: Отрасль деятельности Научная дисциплина Цифровой материал

Статистика как… Отрасль деятельности Государственная статистика Ведомственная статистика Муниципальная статистика, … Научная дисциплина Описательная статистики Экономическая статистика Математическая статистика, …

Статистическое исследование

Категории статистики 1 Статистическая совокупность 2 Единица совокупности 3 Признак 4 Статистический показатель 5 Система статистических показателей

Методы статистики Статистическое наблюдение Метод группировок Метод статистических показателей

Статистическая совокупность - совокупность изучаемых социально-экономических объектов или явлений, имеющих общую качественную основу, но отличающихся друг от друга отдельными признаками.

Единица совокупности - первичный элемент статистической совокупности, являющийся носителем признаков, подлежащих регистрации. Единица совокупности рассматривается как неделимый элемент

Признак - показатель, характеризующий индивидуальную особенность единицы совокупности, рассматриваемый как случайная величина Значение признака - измеренный индивидуальный показатель

Классификация признаков По типу значений (измерений)

Типовые измерительные шкалы Тип шкалы Качественные (атрибутивные) Шкала наименований Порядковая шкала Количественные Интервальная шкала Шкала отношений

Шкала наименований = номинальная = классификационная Примеры: имя, пол, семейство, класс, номер игрока … Обработка таблиц наблюдений: Неупорядоченный список класса эквивалентных объектов

Порядковая шкала = ранговая = ординальная Примеры: ранг служащего, балльные шкалы (сила ветра, оценка на экзамене, магнитуда землетрясения, твердость минерала) … Обработка таблиц наблюдений: Упорядочение объектов Ранг (порядковый номер) объекта

Интервальная шкала = шкала разностей Примеры: температура oC, oF, летоисчисление, высота над уровнем моря … Обработка таблиц наблюдений: Взятие интервалов – разностей

Шкала отношений = метрическая Примеры: длина, высота, вес, скорость, светимость … Обработка таблиц наблюдений: Арифметические операции

Статистический показатель количественно-качественная обобщающая характеристика какого-либо свойства группы (части) единиц совокупности или совокупности в целом Стат.данные – совокупность значений стат.показателей

Типы показателей Первичные (объемные) Вторичные (производные) Индивидуальные (единичные) Сводные (групповые, суммарные)

Система статистических показателей - совокупность взаимосвязанных показателей, отражающая существующие между явлениями взаимосвязи Сист. стат. показателей фиксирует: Множество показателей Классификацию единиц

Статистическое наблюдение Определение Формы и виды Программа Точность наблюдения

Статистическое наблюдение - планомерный, научно организованный сбор информации о массовых общественных явлениях путем регистрации заранее намеченных признаков с целью получения обобщающих характеристик

Виды стат. наблюдения По охвату единиц совокупности: Сплошное: все единицы Несплошное: часть единиц Метод основного массива: наиболее «крупные» единицы Выборочное: механический или случайный отбор единиц

Выборочный метод Генеральная совокупность (исследуемая стат. совокупность) Выборочная совокупность (отобранные единицы, «выборка») Представительность выборки (репрезентативность) - близость свойств генеральной и выборочной совокупностей

Формирование выборки 1 Выясняется состав совокупности (N) 2 Определяется объем выборки (n) 3 Осуществляется отбор: Индивидуальный Механический Случайный и т.д.

Механический отбор - отбор каждой (N/n)-ой единицы ki = k1 + [ (i-1) N/n ] i=1..n

Точность наблюдения Статистическое наблюдение

Ошибки (погрешности) различия между показателями выборочной и генеральной совокупностей Измеряется с помощью Абсолютная ошибка (разность) Относительная ошибка (отношение, %)

Ошибки выборки

Ряды динамики Ряды динамики – статистические данные, отображающие развитие во времени изучаемого явления. Их также называют динамическими рядами, временными рядами.

Вариационный ряд Если ряд распределения построен по количественному признаку, то такой ряд называют вариационным. Построить вариационный ряд - значит упорядочить количественное распределение единиц совокупности по значениям признака, а затем подсчитать числа единиц совокупности с этими значениями (построить групповую таблицу).

Пример вариационных рядов Пример 1. В магазине продана мужская обувь следующих размеров: 38, 41, 41, 38, 43, 39, 39, 42, 42, 39, 42, 39, 40, 40, 40, 39, 39. Дискретный вариационный ряд:

Атрибутивный ряд Если за основу группировки взят качественный признак, то такой ряд распределения называют атрибутивным  (распределение по видам труда, по полу, по профессии, по религиозному признаку, национальной принадлежности и т.д.).

Пример атрибутивного ряда

Статистическая группировка Формально-математический способ предполагает использование формулы Стерджесса: k = 1 + [ log2n ] где k — число групп; n — число единиц совокупности.

Применение группировки (шаг 1) Пример 2. Построить интервальный вариационный ряд распределения по первичным данным о размере прибыли 20 коммерческих банков за год (млрд. руб.)

Применение группировки (шаги 2-4)

Применение группировки (шаги 5-6)

Пример: Упорядочение кроликов