Единицы количества информации
Непрерывная и дискретная информация
Чтобы сообщение было передано от источника к получателю, необходима некоторая материальная субстанция - носитель информации. Сообщение, передаваемое с помощью носителя, назовем сигналом. В общем случае сигнал - это изменяющийся во времени физический процесс. Такой процесс может содержать различные характеристики (например, при передаче электрических сигналов могут изменяться напряжение и сила тока). Та из характеристик, которая используется для представления сообщений, называется параметром сигнала.
В случае когда параметр сигнала принимает последовательное во времени конечное число значений (при этом все они могут быть пронумерованы), сигнал называется дискретным, а сообщение, передаваемое с помощью таких сигналов - дискретным сообщением. Информация, передаваемая источником, в этом случае также называется дискретной. Если же источник вырабатывает непрерывное сообщение (соответственно параметр сигнала - непрерывная функция от времени), соответствующая информация называется непрерывной. Пример дискретного сообщения - процесс чтения книги, информация в которой представлена текстом, т.е. дискретной последовательностью отдельных значков (букв). Примером непрерывного сообщения служит человеческая речь, передаваемая модулированной звуковой волной; параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника - человеческого уха.
Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором отрезке. Непрерывное сообщение можно преобразовать в дискретное, такая процедура называется дискретизацией.
Видеурок-online «Информация, количество информации» http://videouroki.net/view_post.php?id=129
Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно, конце 40-х годов XX века. Работы Джон фон Неймана по созданию ЭВМ привели к объемному подходу измерения количества информации, а один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации.