Для Норберта Винера, который широко использует теорию информации в своих кибернетических исследованиях, то есть использует для того, чтобы оценить возможность контроля над коммуникацией среди людей и машин, информативное содержание того или иного сообщения зависит от степени его организации; информация является мерой упорядоченности и, следовательно, мера беспорядка, то есть энтропия, будет противоположностью информации. Иначе говоря, информация, заключенная в каком — либо сообщении, зависит от его способности организоваться в соответствии с конкретным порядком, благодаря невероятной систематизации избегая той равновероятности, того единообразия, той элементарной неупорядоченности, к которой преимущественно стремились бы естественные события. Приведем пример. Если я подбрасываю в воздух большое количество кубиков, на гранях которых написаны буквы алфавита, они в любом случае выпадут так, что их последовательность будет лишена всякого смысла, например, AAASQMFLLNSUHOI и т. д. Эта последовательность ничего мне не говорит: она сказала бы мне что — нибудь, если бы была организована по правилам орфографии какого — нибудь языка, несла на себе печать определенных орфографических и грамматических критериев, если бы, одним словом, основывалась на предугадываемой и организованной системе сочетаний, то есть на
Изучая передачу сообщений, теория информации понимает их именно как организованные системы, управляемые установленными законами вероятности, системы, в которых в виде помехи, исходящей извне, или ослабления самого сообщения (все эти элементы понимаются как «шум») может заявить о себе некая неупорядоченность, то есть оскудение сообщения, увеличение энтропии. Если значение представляет собой организацию сообщения по определенным правилам вероятности (именно по
Для того, чтобы защитить сообщение от такого оскудения, чтобы, несмотря на проникновение шума, мешающего его принятию, смысл содержания (его порядок) в основном оставался без изменения, мне придется как бы окутать это сообщение условными повторениями, окружить его избытком четко определенных вероятностей, чтобы, каким бы упомянутый шум ни был, доля информации все равно сохранилась бы. Этот излишек вероятностей и является избыточностью. Предположим, нам надо сообщить: «Я тебя слышу» («Ti odo»). Допустим, что кто — то кричит эти слова с одной горной вершины на другую, что, передавая эту фразу, неопытная телеграфистка неправильно расставляет на своем передатчике необходимые точки и тире или что, наконец, она написана на листке бумаги, оказавшемся в классической бутылке, где бумагу подмочила вода. В контексте передачи информации все эти помехи и ситуации являются