Измерение информации. Информационная характеристика источника двоичных сообщений презентация
Содержание
- 2. Введение Измерение – нахождение значения физической величины опытным путем с помощью
- 3. Введение
- 4. Введение В синтаксическом подходе выделяют: Структурная теория рассматривает дискретное строение массивов
- 5. 1.1. Синтаксические меры информации. Структурная теория. При использовании структурной теории (структурных
- 6. 1.1.1. Геометрическая мера Определение количества информации геометрическим методом сводится к измерению
- 7. 1.1.1. Геометрическая мера Пусть информация отражается полным комплексом XTN. Если отсчеты
- 8. 1.1.2. Комбинаторная мера К этой мере целесообразно прибегать тогда, когда требуется
- 9. 1.1.2. Комбинаторная мера В комбинаторике рассматривают различные виды соединения из n
- 10. 1.1.2. Комбинаторная мера Количество информации в комбинаторной мере вычисляется как количество
- 11. 1.1.2. Комбинаторная мера Например, при сочетаниях из n=10 по m=0, 1,
- 12. 1.1.2. Комбинаторная мера Не всегда все возможные комбинации составляют действительные степени
- 13. 1.1.3. Аддитивная мера Хартли Из теории вероятностей: Проводится некий опыт, исход
- 14. 1.1.3. Аддитивная мера Хартли Из теории вероятностей: Меру случайности называют вероятностью
- 15. 1.1.3. Аддитивная мера Хартли Из теории вероятностей: Событие A называется независимым
- 16. 1.1.3. Аддитивная мера Хартли Из теории вероятностей: События A и B
- 17. 1.1.3. Аддитивная мера Хартли Из теории вероятностей: Суммой событий A и
- 18. 1.1.3. Аддитивная мера Хартли Из теории вероятностей: Совокупность событий составляют полную
- 19. 1.1.3. Аддитивная мера Хартли Рассмотрим 2 независимых опыта с числом равновероятных
- 20. 1.1.3. Аддитивная мера Хартли Искомая функция f(*) должна удовлетворять условию: f(N1)+f(N2)=f(N1N2)
- 21. 1.1.3. Аддитивная мера Хартли В зависимости от выбора основания логарифма получаем
- 22. 1.1.3. Аддитивная мера Хартли Иной подход к выводу формулы Хартли: Пусть
- 23. 1.1.3. Аддитивная мера Хартли В случае, когда все N состояний равновероятны,
- 24. 1.2. Синтаксическая мера. Статистическая теория При статистическом (вероятностном) подходе информация рассматривается
- 25. 1.2. Синтаксическая мера. Статистическая теория Последовательность знаков с таким свойством называется
- 26. 1.2.1. Понятие энтропии Упорядоченным называется состояние системы, осуществляемое относительно малым числом
- 27. 1.2.1. Понятие энтропии Рассмотрим в качестве системы сосуд, разделенный проницаемой перегородкой
- 28. 1.2.1. Понятие энтропии
- 29. 1.2.1. Понятие энтропии Формула: K=N!/(N1!N2!)=N!/[N1!(N-N1)!] С увеличением числа молекул различия в
- 30. 1.2.1. Понятие энтропии
- 31. 1.2.1. Понятие энтропии Вероятность скопления N молекул газа в одной половине
- 32. 1.2.1. Понятие энтропии Второй закон термодинамики: Природа стремится от состояний менее
- 33. 1.2.1. Понятие энтропии Пример: Если взять 4-разрядные двоичные числа, то в
- 34. 1.2.1. Понятие энтропии Энтропия в термодинамике – количественная мера неупорядоченности, мера
- 35. 1.2.1. Понятие энтропии Статистический смысл второго закона (начала) термодинамики: Макроскопическое состояние
- 36. 1.2.1. Понятие энтропии В соответствии со вторым законом для замкнутого пространства
- 37. 1.2.1. Понятие энтропии Иная трактовка - энтропия как мера вероятности осуществления
- 38. 1.2.1. Понятие энтропии Третий смысл энтропии получается из понятия упорядоченности: коль
- 39. 1.2.2. Мера Шеннона Энтропия в теории информации – количественная мера неопределенности.
- 40. 1.2.2. Мера Шеннона Главным свойством рассмотренных опытов является неопределенность, т.к. каждый
- 41. 1.2.2. Мера Шеннона Для опыта с N равновероятными исходами x1, x2,…xN
- 42. 1.2.2. Мера Шеннона Рассматривая количество информации как меру неопределенности такого опыта
- 43. 1.2.2. Мера Шеннона В общем случае для опыта с N неравновероятными
- 44. 1.2.2. Мера Шеннона H(X) – энтропия случайного опыта или просто энтропия.
- 45. 1.2.2. Мера Шеннона Единице измерения энтропии 1 бит соответствует опыт, имеющий
- 46. 1.2.2. Мера Шеннона Сопоставление термодинамической формулы (Больцмана) и информационной (Хартли и
- 47. 1.2.3. Свойства энтропии H(X) – величина вещественная и неотрицательная H(X)min=0 когда
- 48. 1.2.3. Свойства энтропии
- 49. 1.2.4. Количество информации Условная энтропия HY(X) является мерой остаточной неопределенности.
- 50. 1.2.4. Количество информации Пусть источник сообщений (испытатель), наблюдая за случайными исходами,
- 51. 1.2.4. Количество информации Количество информации – числовая характеристика сигнала, позволяющая оценить
- 52. 1.2.5. Информационные характеристики некоторых языков Для латинского алфавита (26 букв) H=ld
- 53. 1.3. Семантическая и прагматическая меры информации Рассмотрим оценки, отвечающие как семантическому,
- 54. 1.3.1 Содержательность информации Оценка содержательности основана на математической логике, в которой
- 55. 1.3.1 Содержательность информации Логическая оценка информации: Отличие статистической оценки от логической
- 56. 1.3.2 Целесообразность информации А.А.Харткевичем предложена мера целесообразности информации, которая определяется как
- 57. 1.3.2 Целесообразность информации Мера целесообразности в общем виде может выть выражена
- 58. 1.3.2 Целесообразность информации
- 59. 1.3.2 Целесообразность информации Пусть имеется некоторое исходное состояние (точка 1), цель
- 60. 1.3.2 Целесообразность информации Предположим, что достигнута точка 2, и при этом
- 61. Скачать презентацию
Слайды и текст этой презентации
Скачать презентацию на тему Измерение информации. Информационная характеристика источника двоичных сообщений можно ниже: