Основы статистического описания презентация

Основы статистического описания

Статистические распределения и их основные характеристики Рассмотрим одномерную случайную величину Х, принимающую n- значений

Изучаемый признак качественный

Статистические распределения и их основные характеристики

Статистические распределения и их основные характеристики Ранжированный ряд — это перечень отдельных единиц совокупности в порядке возрастания (убывания) изучаемого признака. Пример Сведения о крупных банках Санкт-Петербурга, ранжированных по размерам собственного капитала на 01.10.2013 г. Название банка Собственный капитал, млн руб. Балтонэксим банк 169 Банк «Санкт-Петербург» 237 Петровский 268 Балтийский 290 Промстройбанк 1007

Статистические распределения и их основные характеристики Если признак принимает небольшое число значений, то строится дискретный вариационный ряд. Например, распределение футбольных матчей по числу забитых мячей. Дискретный вариационный ряд – это таблица, состоящая из двух строк: конкретных значений варьирующего признака и числа единиц совокупности с данным значением признака (частотами). Эти частоты называют эмпирическими. Сгруппированный дискретный вариационный ряд графически представляют в виде гистограммы или полигона.

Дискретные количественные данные Сгруппированный кумулятивный дискретный вариационный ряд представляет собой значения признака хi , указанные вместе с соответствующими накопленными частотами miн или частостями wiн=miн /n. Накопленные частоты показывают, сколько единиц совокупности имеют значения признака не больше, чем верхняя граница интервала.

Частоты и частости ряда Частоты ряда (mi) могут быть заменены частостями (wi=mi /n) ряда, которые представляют собой частоты, выраженные в относительных числах (долях или процентах): Замена частот частостями позволяет сопоставить вариационные ряды с различным числом наблюдений.

Статистические методы анализа одномерных данных Гистограмма (histogram) - диаграмма в виде столбцов, по оси абсцисс которой отображаются все возможные значения переменной, по оси ординат – частоты встречаемости mi каждого значения или относительные частоты – доли, частости (mi/n). Гистограмма была введена в статистическую практику Карлом Пирсоном в 1895 г.

Дискретные количественные данные Полигон – графическое изображение сгруппированного дискретного вариационного ряда в виде ломаной, соединяющей точки, по оси абсцисс соответствующие всем возможным значениям признака, а по оси ординат - значениям частот mi или относительных частот wi=mi /n. Полигон позволяет оценить распределение частот значений дискретной переменной, выявить наиболее часто (мода) и редко встречающиеся значения признака.

Дискретные количественные данные Сгруппированный кумулятивный дискретный вариационный ряд графически представляют в виде кумуляты. Кумулята – графическое изображение сгруппированного кумулятивного дискретного вариационного ряда в виде столбцов, при построении которого по оси абсцисс откладывают все возможные значения признака, по оси ординат - накопленные частоты или накопленные относительные частоты, относящиеся к данному значению. Кумулята показывает количество (или долю) объектов совокупности, значения признака которых не превышают заданного значения.

Пример Для построения кумуляты используем накопленные частоты График кумуляты позволяет найти число объектов, имеющих значения признака, не превышающее заданного. Например, 24 страницы имеют число опечаток не превышающее 5 (от 0 до 5 опечаток).

Интервальный вариационный ряд Построение интервального вариационного ряда начинают с определения числа интервалов k. Число интервалов не должно быть слишком малым, т.к. при этом гистограмма получается слишком сглаженной (oversmoothed), теряет особенности изменчивости исходных данных. Число интервалов не должно быть слишком большим – иначе мы не сможем оценить плотность распределения изучаемых данных по числовой оси – гистограмма получится «недосглаженная» (undersmoothed), с незаполненными интервалами, неравномерная.

Определение оптимального числа интервалов В 1926 г. Герберт Стерджес (Herbert Sturges) предложил формулу для вычисления количества интервалов, на которые необходимо разбить исходное множество значений изучаемого признака. Приблизительное число интервалов s, которое необходимо выбрать при группировке и построении гистограммы для n результатов измерений СВ, полученных из нормально распределенной ГС определяется по правилу Стерджеса как: Ширина интервалов h, на которые необходимо разбить всю область возможных значений исследуемого признака по имеющимся наблюдениям {х1,х2,…,хn }, определяется как:

Альтернативные подходы Метод Дэвида Скотта Дэвид Скотт (David W. Scott) в 1979 г. предложил следующую формулу для вычисления оптимальной ширины интервалов h: где S – среднее квадратическое отклонение. Метод квадратного корня (Square-root choice) – число интервалов h выбирается равным квадратному корню из числа наблюдений n:

Рекомендации Число интервалов для небольших выборок обычно берут 5–6 при n<50, 6-8 – от 50 до 100 наблюдений; 8-10 классов при n>100 с расчетом, чтобы интервалы были достаточно наполнены частотами. Считается, что формула Стерджеса позволяет строить удовлетворительные гистограммы при числе измерений менее 200. Для больших массивов информации, например, порядка 104-109 наблюдений, правило Стерджеса может приводить к слишком сглаженным гистограммам. асимметричные распределения требуют бóльшего числа интервалов группировки.

One-Variable Data Analysis Основные идеи при исследовании формы распределения (Share of distribution) Графическое представление исходных данных (точечное распределение (Dotplot); листовая диаграмма (Stemplot); гистограмма (Histogram). Характеристики положения СВ; Ранговые характеристики СВ; Характеристики разброса СВ; Исследование нормальности распределения (Normal Distribution) Диагностика выбросов (Ящичковая диаграмма Boxplot) Правило 68-95-99,7 (The 68-95-99,7 Rule) Z- преобразование.

Изучение формы распределения Графическое представление исходных данных Для изучения формы распределения можно использовать следующие графические возможности Точечное распределение (Dotplot); Диаграмма стебель-листья (Stemplot).

Пример Рассмотрим 31 оценку по 50 бальной системе, которую получили студенты статистического отделения на экзамене

Stemplot Xmin =15 Хmax=50

Stemplot 28,3; 27,5; 28,1; ….. 0,0018; 0.0023; 0,0021;….

One-Variable Data Analysis Исследование формы распределения (Shape of the data) Нахождение характеристик положения случайной величины (Center of the data) средней, моды и медианы (mean, median, mode);

Характеристики положения

Характеристики положения

Характеристики положения Мода может быть не единственной. Если два или несколько значений переменной обладают одинаковой максимальной частотой, то в этом случае распределения называются бимодальными и полимодальными. ! Для описания категориальных переменных не используются никакие числовые характеристики (например, «средний пол»). Единственной полезной характеристикой является мода.

Характеристики положения Медиана (median) – значение признака, приходящееся на середину ранжированного ряда наблюдений. Положение медианы определяется ее номером. (нечетный и четный ряд)

Характеристики положения Хотя среднее и медиана характеристики центра, которые используются для описания характера распределения, медиана является наиболее устойчивой оценкой (менее подвержена влиянию экстремальных наблюдений).

Характеристики положения Пример Зарплата 5 школьных учителей в колледже США составила $32,700; $32,700; $38,500; $41,600; $44,500. Среднее значение и медиана составляют $38,160; $38,500. Преподаватель более высокой квалификации заменил коллегу во время болезни. Его зарплата составляет $174,300. В этом случае медиана не изменится и составит $38,500, а среднее значение увечится до $64,120

Относительные показатели вариации

Изучение формы распределения Ранговые характеристики – варианты, занимающие в ранжированном вариационном ряду определенное место. К их числу относятся квартили (Q), квинтили, децили (D), перцентили (P). Квартили (Q) – значения признака, которые делят ранжированный ряд на четыре равные по числу единиц части: первая квартиль Q1, вторая Q2 и третья Q3. Вторая квартиль является медианой. Определение положения квартили n- общее число единиц совокупности.

Ранговые характеристики Децили – значения признака, которые делят ранжированный ряд на десять равных по численности частей (всего 9). Расчет децилей аналогичен расчету квартилей. При растете децилей определяют сначала порядковые номера каждой из девяти децилей:

Ранговые характеристики Перцентили – значения признака, которые делят ранжированный ряд на 100 равных по числу единиц частей. (всего 99).

One-Variable Data Analysis Алгоритм описания данных: Исследование характеристик разброса (рассеяния) случайной величины Вариация (размах вариации и коэффициент вариации) Межквартильная разница (interquartile Range), Квартильное отклонение , Относительный показатель квартильной вариации; Относительное линейное отклонение. Дисперсия, стандартное отклонение.

Исследование характеристик разброса (рассеяния) случайной величины Вариация признака – различие индивидуальных значений признака у единиц совокупности в один и тот же период или момент времени. Разность наибольшего и наименьшего значений признака называется размахом вариации: R = xn - x1 = xmax - xmin. Размах служит самостоятельной характеристикой разброса значений изучаемого признака. Используется не часто, т.к. хотим знать как точки распределяются вокруг центра.

Группировка данных Относительные показатели вариации: Коэффициент вариации является безразмерной величиной и вычисляется по формуле Наиболее распространенный коэффициент (часто используется на практике). Совокупность считается однородной, если коэффициент вариации не превышает 33%.

Характеристики рассеяния Межквартильная разница (interquartile Range)- IQR IQR=Q3-Q1 Me=Q2 IQR может не включать в себя 50 % наблюдений. Пример: Определить Q3 и Q1 для следующего ряда: 5 5 6 7 8 9 11 13 17 Медиана ? позиция Me=8 Левая часть 5 5 6 7 Q1=5,5 Правая часть 9 11 13 17 Q3=12 IQR=Q3-Q1= 12-5,5=6,5

Характеристики рассеяния Квартильное отклонение - dk Применяется вместо размаха вариации, чтобы избежать недостатков, связанных с использованием крайних значений.

Характеристики рассеяния Квартильное отклонение - dk Применяется вместо размаха вариации, чтобы избежать недостатков, связанных с использованием крайних значений. Относительный показатель квартильной вариации или

Относительные показатели вариации Относительное линейное отклонение где - среднее линейное отклонение

Характеристики рассеяния Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница (interquartile Range) Выбросы (outliers)

Исследование формы распределения Нормальный закон - это один из многих типов распределений, имеющихся в природе, с относительно большим удельным весом практической применимости. В случае отклонения исследуемых экспериментальных данных от нормального закона существуют два пути его использования: а) использовать его в качестве первого приближения; при этом оказывается, что подобное допущение дает достаточно точные с точки зрения конкретных целей исследования результаты; б) подобрать такое преобразование исследуемой случайной величины Х, которое видоизменяет исходный «ненормальный» закон распределения, превращая его в нормальный.

Область применения:

Основные законы распределения случайных величин Нормальный закон распределения Наиболее распространённый Предельный Непрерывная случайная величина Х имеет нормальный закон распределения с параметрами μ и σ, если её плотность вероятности имеет вид: где μ – математическое ожидание СВ; σ2 – дисперсия, σ – среднее квадратическое отклонение

Нормальный закон распределения Свойства нормального распределения: 1. Кривая нормального распределения расположена над осью ОХ, 2. При плотность распределения стремится к 0. Кривая распределения асимптотически приближается к оси ОХ 3. В точке плотность нормального распределения имеет максимум 4. Кривая нормального распределения симметричная относительно точки Математическое ожидание, мода и медиана совпадают

Нормальный закон распределения Свойства нормального распределения: 5. Кривая распределения имеет две точки перегиба с координатами 6. Форма нормальной кривой не изменяется при изменении математического ожидания (кривая сдвигается вдоль оси ОХ) При изменении меняется форма кривой 7. При плотность распределения вероятности называется нормированной плотностью, а ее график – нормированной нормальной кривой распределения

Нормальный закон распределения Правило «68-95-99,7» «Правило одной сигмы» «Правило двух сигм» «Правило трёх сигм»

Кривая плотности распределения Для изучения формы распределения необходимо рассчитать коэффициенты асимметрии и эксцесса ? Симметричное ли распределение (форма распределения, холмообразная или нет) Скос Ассиметрия Бимодальность Однородность.

Характеристики положения 3. Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница (interquartile Range) Выбросы (outliers)

Исследование формы распределения Асимметрия (skewness) показывает, в какую сторону относительно среднего сдвинуто большинство значений распределения. Нулевое значение асимметрии означает симметричность распределения относительно среднего значения, что соответствует нормальному закону распределения. Чем больше абсолютная величина коэффициента, тем больше степень скошенности.

Характеристики положения 3. Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница (interquartile Range) Выбросы (outliers)

Исследование формы распределения Оценка степени существенности асимметрии осуществляется с помощью средней квадратической ошибки: Если , асимметрия существенна и распределения признака в ГС не является симметричным. Если , асимметрия несущественна, ее наличие объясняется влиянием случайных факторов.

Исследование формы распределения ДЛЯ СИММЕТРИЧНЫХ РАСПРЕДЕЛЕНИЙ РАССЧИТЫВАЮТ ПОКАЗАТЕЛЬ ЭКСЦЕССА (kurtosis), характеризующего крутизну вершины (островершинность). Для симметричных распределений Ek=0 (в нормальном распределении крутизна вершины, равная нулю, взята за эталон). в случае островершинности распределения Ek>0, в случае плосковершинности распределения Ek<0.

Характеристики положения 3. Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница (interquartile Range) Выбросы (outliers)

Исследование формы распределения Средняя относительная ошибка эксцесса вычисляется по формуле:

Характеристики положения Считается, что распределение с эксцессом и асимметрией в диапазоне от -1 до +1 приблизительно соответствует нормальному распределению. В большинстве случаев вполне допустимо считать нормальным распределение с асимметрией и эксцессом по модулю не превосходящими 3 (более мягкое правило ).

Относительные показатели вариации

Диагностика выбросов (outliers) Анализ выбросов очень важен, так как позволяет увидеть , что какой-то объект является нетипичным, необычным. Когда мы контролируем какой-то процесс, то такая информация является сигнальной. Нахождение выбросов базируется на среднем значении медиане.

Диагностика выбросов (outliers) Диагностика с использованием среднего значения Определяют сколько стандартный отклонений от точки до среднего значения. Часто определяют, что выброс – это точка, которая отстоит от среднего значения белее, чем на 2σ или 3σ. В случае симметричного распределения (НЗР) только 5% точек (2σ) и 0,3 % точек (3σ) имеют вероятность попасть в выбросы.

Нормальный закон распределения Правило «68-95-99,7»

Диагностика выбросов (outliers) Диагностика выбросов с использованием медианы Правило 1,5 IQR (1,5 IQR rule) - «мягкое правило» IQR (IQR=Q3-Q1) Multiply IQR by 1,5 Find Q1-1,5 (IQR) and Q3+1,5(IQR) Any value below Q1-1,5 (IQR) or above Q3+1,5(IQR) is an outlier

Диагностика выбросов (outliers) Правило 1,5 IQR (1,5 IQR rule) IQR (IQR=Q3-Q1) Multiply IQR by 1,5 Find Q1-1,5 (IQR) and Q3+1,5(IQR) Any value below Q1-1,5 (IQR) or above Q3+1,5(IQR) is an outlier Правило 3 IQR (3 IQR rule) : Выброс или экстремальное значение в том случае, если наблюдение отличается от Q1 и Q3 более, чем на три IQR.

Z-преобразование Определение позиции точки в распределении на сколько стандартных отклонений она выше или ниже среднего значения. Это позволяет сделать Z-преобразование (z-score). Например: если z3=1,5- это означает, что 3 на Пример Петр сдал тест на 68. при этом средняя оценка для группы составляет 73, при s=3. Определить Z-преобразование для Петра Оценка Петра на 1,67s меньше средней оценки в группе.

Относительные показатели вариации

Относительные показатели вариации

Относительные показатели вариации

Непрерывные количественные данные Если исследуемый признак имеет непрерывный характер, то необходимо выбрать оптимальное число интервалов группировки признака. Для группировки непрерывных случайных величин весь вариационный размах признака R=x(n)-x(1) разбивают на некоторое количество интервалов k. Cгруппированным интервальным (непрерывным) вариационным рядом называют ранжированные по значению признака интервалы (ai≤x<bi), где i=1,2,…k, указанные вместе с соответствующими частотами (mi) числа наблюдений, попавших в i-й интервал, или относительными частотами (mi /n).

Непрерывные количественные данные Гистограмма и кумулята (огива) строятся для непрерывных данных так же, как и для дискретных, только с учетом того, что непрерывные данные сплошь заполняют область своих возможных значений, принимая любые значения. Высота столбика соответствует частоте mi – числу наблюдений, попавших в данный интервал, или относительной частоте mi /n – доле наблюдений. Интервалы не должны пересекаться, и должны, как правило, иметь одинаковую ширину. Гистограмма и кумулята являются эмпирическими оценками функций плотности вероятности и функции распределения СВ.

Относительные показатели вариации

Основные выборочные характеристики выборочная (эмпирическая) функция распределения выборочная (эмпирическая) функция плотности выборочная (эмпирическая) относительная частота появления i-ro возможного значения дискретной случайной величины выборочные начальные и центральные моменты анализируемой случайной величины: - выборочное среднее значение - выборочная дисперсия Показатели формы распределения (ассиметрия, эксцесс)

Основные выборочные характеристики Эмпирическая (или выборочная, т. е. построенная по выборке объема n) функция распределения: где mx - число наблюдаемых значений исследуемой случайной величины в выборке х1, х2, …, хn, меньших х; mi - число наблюдаемых значений в выборке, попавших в i-й интервал группирования, iх - номер самого правого из интервалов группирования, правый конец которых не превосходит х.

Основные выборочные характеристики Выборочная (эмпирическая) относительная частота: которая определяется как отношение числа наблюдений в выборке, равных , к общему объему выборки n. Накопленная частота - сумма частот i-го и всех предшествующих интервалов.

Основные выборочные характеристики Для построения эмпирической (выборочной) функции плотности на всей области ее определения (т,е, для всех возможных значений исследуемой величины) используют предварительно сгруппированные данные и полагают где к(х) - порядковый номер интервала группирования, который накрывает точку х; mk(x) - число наблюдений, попавших в этот интервал, - длина интервала. Геометрическое изображение эмпирической функции плотности наз. гистограммой.

ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЯ Расчет описанных характеристик является первым этапом анализа собранных статистических данных и позволяет Обосновать некоторые закономерности исследуемого процесса Выбрать статистический инструментарий

Задание