Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I , содержащееся в выбранном сообщении, определял как двоичный логарифм N .
Формула Хартли:
I = log2N.
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
Приведем другие примеры равновероятных сообщений :
1. при бросании монеты: «выпала решка» , «выпал орел» ;
2. на странице книги: «количество букв чётное» , «количество букв нечётное» .
Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина» . Однозначно ответить на этот вопрос нельзя . Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.
Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе .
Формула Шеннона:
I = - (p 1log2p 1 + p 2 log2p 2 +... + p N log2pN ),
где pi
- вероятность того, что именно i
-е сообщение выделено в наборе из N
сообщений.
Легко заметить, что если вероятности p 1, ...,pN равны, то каждая из них равна 1/N , и формула Шеннона превращается в формулу Хартли.
Клод Шеннон определил информацию , как снятую неопределенность . Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.
Представьте, что вы зашли в магазин и попросили продать вам жевательную резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится в состоянии неопределенности. Она не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit», и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, что уменьшение неопределенности вдвое соответствует получению 1 бита информации ). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.
Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N ,1/N , …,1/N }.
Минимальная неопределенность равна 0 , т.е. эта ситуация полной определенности , означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.
Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия , точнееинформационная энтропия .
Энтропия (H ) – мера неопределенности , выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.
Рис. 3.4 Поведение энтропии для случая двух альтернатив
На рис. 3.4 показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (P , (1-P )).
Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны 1/2, нулевое значение энтропии соответствует случаям (P 0=0, P 1=1) и (P 0=1, P 1=0).
Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия ) .
Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H .
При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. Ht + It = H (рис. 3.5).
Рис. 3.5 Связь между энтропией и количеством информации
По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I , т.е. когда речь идет о полном снятии неопределенности , H в них может заменяться на I .
В общем случае , энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0,p 1, …,pN- 1}, т.е. H=F (N ,P ). Расчет энтропии в этом случае производится по формуле Шеннона , предложенной им в 1948 году в статье «Математическая теория связи».
В частном случае , когда все варианты равновероятны , остается зависимость только от количества рассматриваемых вариантов, т.е. H=F (N ). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли , которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.
Формула Шеннона имеет следующий вид:
Знак минус в формуле (2.1) не означает, что энтропия – отрицательная величина. Объясняется это тем, чтоpi £ 1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма, поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.
Выражение интерпретируется как частное количество информации It , получаемое в случае реализации i -ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I 0,I 1, …,I N- 1}.
Приведем пример расчета энтропии по формуле Шеннона. Пусть в некотором учреждении состав работников распределяется так: 3/4 - женщины, 1/4 - мужчины. Тогда неопределенность, например, относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в табл. 3.1.
Таблица 3.1
| pi | 1/pi | Ii= log2(1/pi ),бит | pi* log2(1/pi ),бит | |
| Ж | 3/4 | 4/3 | log2(4/3)=0,42 | 3/4 * 0,42=0,31 |
| М | 1/4 | 4/1 | log2(4)=2 | 1/4 * 2=0,5 |
| å | H= 0,81бит |
Мы уже упоминали, что формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.
Подставив в формулу (2.1) вместо pi его (в равновероятном случае не зависящее от i )значение, получим:
Таким образом, формула Хартли выглядит очень просто:
Из нее явно следует, что чем больше количество альтернатив (N ), тем больше неопределенность (H ). Логарифмирование по основанию 2 приводит количество вариантов к единицам измерения информации – битам. На рис.3.6 представлена зависимость энтропии от количества равновероятных вариантов выбора.
Рис. 3.6 Зависимость энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив)
Для решения обратных задач, когда известна неопределенность (H ) или полученное в результате ее снятия количество информации (I ) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выглядит еще проще:
Например, если известно, что в результате определения того, что интересующий нас Коля Иванов живет на втором этаже, было получено 3 бита информации, то количество этажей в доме можно определить по формуле (2.3), как N= 23= 8этажей.
Если же вопрос стоит так: «В доме 8 этажей, какое количество информации мы получили, узнав, что интересующий нас Коля Иванов живет на втором этаже?», нужно воспользоваться формулой (2.2): I = log2(8) = 3 бита.
До сих пор мы приводили формулы для расчета энтропии (неопределенности) H , указывая, что H в них можно заменять на I , потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.
Но неопределенность может быть снята только частично, поэтому количество информации I , получаемой из некоторого сообщения, вычисляется как уменьшение энтропии, произошедшее в результате получения данного сообщения .
Для равновероятного случая , используя для расчета энтропии формулу Хартли, получим:
Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).
Исходя из (3.5) можно вывести следующее:
Если, то - полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.
Если, то - неопределенности не изменилась, следовательно, информации получено не было.
Если, то => ,
если, то => .
Т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.
Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е., то I =log2(2)=1бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.
Рассмотрим в качестве примера опыт с колодой из 36 карт (рис.3.7).
Рис. 3.7 Иллюстрация к опыту с колодой из 36-ти карт
Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (3.2), составляет H= log2(36)@5,17бит . Вытянувший карту сообщает нам часть информации. Используя формулу (3.5), определим, какое количество информации мы получаем из этих сообщений:
Вариант A. “Это карта красной масти”.
I =log2(36/18)=log2(2)=1бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).
Вариант B. “Это карта пиковой масти”.
I =log2(36/9)=log2(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).
Вариант С. “Это одна из старших карт: валет, дама, король или туз”.
I =log2(36)–log2(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).
Вариант D. “Это одна карта из колоды".
I =log2(36/36)=log2(1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).
Вариант E. “Это дама пик".
I =log2(36/1)=log2(36)=5,17 бит (неопределенность полностью снята).
Задача 1. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25 красных, 25 синих шариков?
Решение .
1) всего шаров 50+25+25=100
2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4
3)I = -(1/2 log21/2 + 1/4 log21/4 + 1/4 log21/4) = -(1/2(0-1) +1/4(0-2) +1/4(0-2)) = =1,5 бит
Задача 2. В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?
Решение . Т.к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.
Задача 3. В корзине лежат черные и белые шары. Среди них18 черных шаров. Сообщение о том, что достали белый шар, несет 2 бита информации. Сколько всего шаров в корзине?
1) 18 2) 24 3) 36 4)48
Решение . Найдем по формуле Шеннона вероятность получения белого шара: log2N=2, N=4, следовательно, вероятность получения белого шара равна 1/4 (25%), а вероятность получения черного шара соответственно 3/4(75%). Если 75% всех шариков черные, их количество 18, тогда 25% всех шариков белые, их количество (18*25)/75=6.
Осталось найти количество всех шариков в корзине 18+6=24.
Ответ: 24 шарика.
Задача 4. В некоторой стране автомобильный номер длиной 5 символов составляется из заглавных букв (всего используется 30 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 50 автомобильных номеров.
1) 100 байт 2) 150 байт 3) 200 байт 4)250 байт
Решение . Количество символов используемых для кодирования номера составляет: 30 букв + 10 цифр = 40 символов. Количество информации несущий один символ равен 6 бит (2I=40, но количество информации не может быть дробным числом, поэтому берем ближайшую степень двойки большую количества символов 26=64).
Мы нашли количество информации, заложенное в каждом символе, количество символов в номере равно 5, следовательно, 5*6=30 бит. Каждый номер равен 30 битам информации, но по условию задачи каждый номер кодируется одинаковым и минимально возможным количеством байт, следовательно, нам необходимо узнать, сколько байт в 30 битах. Если разделить 30 на 8 получится дробное число, а нам необходимо найти целое количество байт на каждый номер, поэтому находим ближайший множитель 8-ки, который превысит количество бит, это 4 (8*4=32). Каждый номер кодируется 4 байтами.
Для хранения 50 автомобильных номеров потребуется: 4*50=200 байт.
Выбор оптимальной стратегии в игре «Угадай число». На получении максимального количества информации строится выбор оптимальной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например, от 1 до 16), а второй - должен «угадать» задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знаний для второго участника составляет 16 возможных событий (вариантов загаданных чисел).
При оптимальной стратегии интервал чисел всегда должен делиться пополам, тогда количество возможных событий (чисел) в каждом из полученных интервалов будет одинаково и отгадывание интервалов равновероятно. В этом случае на каждом шаге ответ первого игрока («Да» или «Нет») будет нести максимальное количество информации (1 бит).
Как видно из табл. 1.1, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность знаний второго участника уменьшалась в два раза за счет получения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, необходимое для отгадывания одного из 16 чисел, составило 4 бита.
Контрольные вопросы и задания
1. Априори известно, что шарик находится в одной из трех урн: А, В или С. Определите, сколько бит информации содержит сообщение о том, что он находится в урне В.
Варианты: 1бит, 1,58бита, 2бита, 2,25бита.
2. Вероятность первого события составляет 0,5, а второго и третьего 0,25. Чему для такого распределения равна информационная энтропия. Варианты: 0,5бита, 1 бит, 1,5бита, 2бита, 2,5бита, 3бита.
3. Вот список сотрудников некоторой организации:
Определите количество информации, недостающее для того, чтобы выполнить следующие просьбы:
Пожалуйста, позовите к телефону Иванову.
Меня интересует одна ваша сотрудница, она 1970 года рождения.
4. Какое из сообщений несет больше информации:
· В результате подбрасывания монеты (орел, решка) выпала решка.
· На светофоре (красный, желтый, зеленый) сейчас горит зеленый свет.
· В результате подбрасывания игральной кости (1, 2, 3, 4, 5, 6) выпало 3 очка.
Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.
Формула Хартли: I = log 2 N
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log 2 100 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
Приведем другие примеры равновероятных сообщений :
при бросании монеты: "выпала решка" , "выпал орел" ;
на странице книги: "количество букв чётное" , "количество букв нечётное" .
Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина" . Однозначно ответить на этот вопрос нельзя . Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.
Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
Формула Шеннона: I = - (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N),
где p i
- вероятность того, что именно i
-е сообщение выделено в наборе из N сообщений.
Легко заметить, что если вероятности p 1 , ..., p N равны, то каждая из них равна 1 / N , и формула Шеннона превращается в формулу Хартли.
Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями .
В качестве единицы информации Клод Шеннон предложил принять один бит (англ . bit - bi nary digit - двоичная цифра).
Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"-"решка", "чет"-"нечет" и т.п.).
В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.
Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт , равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8).
Широко используются также ещё более крупные производные единицы информации :
1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,
1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,
1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,
1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.
За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит ) единица информации.
Что можно делать с информацией?
Информацию можно:
Все эти процессы, связанные с определенными операциями над информацией, называются информационными процессами.
Свойства информации.
Свойства информации:
достоверность;
ценность;
своевременность; понятность;
доступность;
краткость;
Информация достоверна, если она отражает истинное положение дел . Недостоверная информация может привести к неправильному пониманию или принятию неправильных решений.
Достоверная информация со временем может стать недостоверной , так как она обладает свойством устаревать , то есть перестаёт отражать истинное положение дел .
Информация полна, если её достаточно для понимания и принятия решений . Как неполная, так и избыточная информация сдерживает принятие решений или может повлечь ошибки .
Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т.п.
Ценность информации зависит от того, насколько она важна для решения задачи , а также от того, насколько в дальнейшем она найдёт применение в каких-либо видах деятельности человека .
Только своевременно полученная информация может принести ожидаемую пользу . Одинаково нежелательны как преждевременная подача информации (когда она ещё не может быть усвоена), так и её задержка .
Если ценная и своевременная информация выражена непонятным образом , она может стать бесполезной .
Информация становится понятной , если она выражена языком, на котором говорят те, кому предназначена эта информация.
Информация должна преподноситься в доступной (по уровню восприятия) форме. Поэтому одни и те же вопросы по разному излагаются в школьных учебниках и научных изданиях.
Информацию по одному и тому же вопросу можно изложить кратко (сжато, без несущественных деталей) или пространно (подробно, многословно). Краткость информации необходима в справочниках, энциклопедиях, учебниках, всевозможных инструкциях.
Обработка информации.
Обработка информации - получение одних информационных объектов из других информационных объектов путем выполнения некоторых алгоритмов.
Обработка является одной из основных операций, выполняемых над информацией, и главным средством увеличения объёма и разнообразия информации.
Средства обработки информации - это всевозможные устройства и системы, созданные человечеством, и в первую очередь, компьютер - универсальная машина для обработки информации.
| Планирование уроков и материалы к урокам | 11 классы | Планирование уроков на учебный год (по учебнику К.Ю. Полякова, Е.А. Еремина, полный углублённый курс, по 4 часа в неделю) | Количество информации
Уроки 2 - 3
Информация и вероятность. Формула Хартли. Формула Шеннона
(§1. Количество информации)
Ответить на этот вопрос стало возможно только после того, как вы изучили логарифмы в курсе математики. Из формулы
сразу следует, что I - это степень, в которую нужно возвести 2, чтобы получить N, т. е. логарифм:
Эта формула называется формулой Хартли в честь американского инженера Ральфа Хартли, который предложил её в 1928 г.
Пусть, например, на лётном поле стоят 10 самолётов (с номерами от 1 до 10) и известно, что один из них летит в Санкт-Петербург.
Сколько информации в сообщении «Самолёт № 2 летит в Санкт-Петербург»? У нас есть 10 вариантов, из которых выбирается один, поэтому по формуле Хартли количество информации равно
I = log 2 10 ≈ 3,322 бита.
Обратите внимание, что для значений N, которые не равны целой степени числа 2, количество информации в битах - дробное число.
С помощью формулы Хартли можно вычислить теоретическое количество информации в сообщении. Предположим, что алфавит (полный набор допустимых символов) включает 50 символов (в этом случае говорят, что мощность алфавита равна 50). Тогда информация при получении каждого символа составляет
I = log 2 50 ≈ 5,644 бита.
Если сообщение содержит 100 символов, его общий информационный объём примерно равен
5,644 100 = 564,4 бита.
В общем случае объём сообщения длиной L символов, использующего алфавит из N символов, равен I = L log 2 N.
Такой подход к определению количества информации называют алфавитным. Конечно, на практике невозможно использовать для кодирования символа нецелое число битов, поэтому используют первое целое число, которое больше теоретически рассчитанного значения. Например, при использовании алфавита из 50 символов каждый символ будет закодирован с помощью 6 битов (50 ≤ 2 6 = 64).
Сколько разных сообщений можно передать, если известен алфавит и длина сообщения? Предположим, что для кодирования сообщения используются 4 буквы, например «А», «Б», «В» и «Г», и сообщение состоит из двух символов. Поскольку каждый символ может быть выбран 4 разными способами, на каждый вариант выбора первого символа есть 4 варианта выбора второго. Поэтому общее число разных двухбуквенных сообщений вычисляется как 4 4 = 4 2 = 16. Если в сообщение добавить ещё один символ, то для каждой из 16 комбинаций первых двух символов третий можно выбрать четырьмя способами, так что число разных трёхсимвольных сообщений равно 4 4 4 = 4 3 = 64.
В общем случае, если используется алфавит из N символов, то количество разных возможных сообщений длиной L символов равно Q = N L .
Следующая страница
1928 год американский инженер Ральф Хартли рассматривает процесс получения информации как выбор одного сообщения из конечного заданного множества N равновероятных событий.
Формула Хартли:
где К - количество информации, N -число равновероятных событий.
Формула Хартли может быть записана и так: N=2k
Так как наступление каждого из N событий имеет одинаковую вероятность P, то:
где P- вероятность наступления события.
Тогда, формулу можно записать иначе:
1948 год американский ученый Клод Шеннон предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе.
Формула Шеннона:
K = - (p1 *log2 p1+ p2 *log 2p 2 + p 3 *log 2p 3 +…+ pi * log2 pi),
где pi вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
Также эту формулу записывают:
Современная наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Содержание понятия "информация" можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй - на теории вероятностей.
Информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.
Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.
Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).
Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной.
Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).
Существуют различные подходы к определению количества информации. Наиболее часто используются следующие объемный и вероятностный.
Объемный подход.
Используется двоичная система счисления, потому что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: намагничено / не намагничено, вкл./выкл., заряжено / не заряжено и другое.
Объём информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом невозможно нецелое число битов.
Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта - мегабайт (Мбайт), а 1024 мегабайта - гигабайт (Гбайт).
Энтропийный (вероятностный) подход.
Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определённое представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённостей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.
Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень её неопределённости. Поступающее сообщение полностью или частично снимает эту неопределённость, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.
Подход Р. Хартли основан на фундаментальных теоретико-множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.
Если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным. Необходимо найти вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, т.е. с его мощностью.
Если множество элементов, из которых осуществляется выбор, состоит из одного единственного элемента, то ясно, что его выбор предопределен, т.е. никакой неопределенности выбора нет - нулевое количество информации.
Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации.
Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации.
Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к своей мере на основе эвристических соображений, подобных только что изложенным, но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.
Клод Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:
- 1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
- 2. в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;
- 3. должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.
Поэтому функция энтропии должна удовлетворять условиям:
определена и непрерывна для всех,
где для всех и. (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита).
Для целых положительных, должно выполняться следующее неравенство:
Для целых положительных, где, должно выполняться равенство:
информационный пропускной энтропийный
Шеннон определил, что измерение энтропии, применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка -- имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т.д.
Хартли в 1928, а затем Шеннон в 1948 предложили формулы для вычисления количества информации, но вопрос о природе информации остался открытым. Шеннон научился измерять количество информации, передаваемой по каналам связи, однако на вопрос о том, что такое информация он не ответил.
Формула Хартли. В 1928 Хартли предложил формулу для вычисления количества информации, необходимого для нахождения (угадывания) одного выделенного элемента x из множества M, содержащего N элементов. Это количество информации вычисляется по формуле
Неопределённость ситуации (энтропия H) в этом случае тем больше, чем больше N. Очевидно, что при N=1 неопределённость вообще отсутствует - Н=0; В этом случае множество М состоит из одного элемента, и количество информации, необходимое для нахождения x, равно нулю.
Если N =2, то для «угадывания» одно элемента из требуется Н=Log 2 (2) =1 единица информации. Это количество информации принято за единицу измерения и называется 1 бит.
Дальнейшее развитие теория измерения информации получила в работа К. Шеннона.
В 1948 году Шеннон опубликовал свой opus magnum «Математическая теория связи». Вот как он формулировал задачу: «фундаментальной проблемой связи является воспроизведение в одной точке, точно или приблизительно, сообщения, собранного в другой точке». Собственно, вся терминология науки о коммуникациях была введена именно Шенноном.
В теории Шеннона изучаются сведения, которые кодируются и передаются в форме сигналов техническими средствами. (Это скорее ДАННЫЕ, чем информация). Здесь можно ввести количественную меру информации - 1 бит.
Суть подхода Шеннона к определению количества информации, необходимого для выяснения состояния некоторой системы, состоит в следующем.
Определение. Если Х – случайная величина (физическая система),принимающая значения (состояния) x i c вероятностью р i , то энтропия случайной величины X
H(X)= - Sр i * Log 2 (р i) , i = 1,2,...n
Наибольшее значение H(X) принимает в случае, когда все р i = p = 1/n:
H(X) = Log 2 (n),
и мы приходим к формуле Хартли.
Log 2 (n) >= - Sр i * Log 2 (р i)
Вероятность - количественная мера возможности некоторого события. Некоторые события более возможны, чем другие. Есть невозможное событие Q- его вероятность р(Q) =0. Есть достоверное событие W, его вероятность р(W)= 1. Для других событий A, которые не являются ни достоверными, ни невозможными выполняется соотношение 0 < p(A) < 1.
Первоначально Шеннон интересовался передачей зашифрованных сообщений, и предложил способ вычисления количества информации, содержащейся в таком сообщении.
Текстовое сообщение, состоящее из N букв содержит
единиц информации, где М -число букв в алфавите, p i - частота буквы под номером i.
Каждое передаваемое сообщение имеет свое содержание. Но в подходе Шеннона оно совершенно несущественно при передаче информации по каналу связи. Бессмысленные сообщения передаются также, как и осмысленные. Количество информации, вычисленное по формуле Шеннона, для осмысленного сообщения, и сообщения полученного из него произвольной перестановкой букв, будет одинаковым.
Если алфавит бинарный = {1;0}, и сообщение состоит из N букв, то I = Log 2 (2 N) = N бит.