Исследуем •

Клод Шеннон: человек, который научил измерять информацию

Сообщение в мессенджере, фотография в памяти смартфона, музыка в стриминговом сервисе и данные, которые компьютер получает через интернет, на первый взгляд имеют мало общего. Но для техники всё это — информация, которую можно измерять, хранить, кодировать и передавать.

Одним из первых общие математические правила для этих процессов сформулировал американский учёный Клод Шеннон. Его работы заложили основы теории информации, цифровой связи и проектирования логических схем — то есть технологий, без которых трудно представить современный компьютерный мир.

Кто такой Клод Шеннон

Клод Элвуд Шеннон (Claude Elwood Shannon) — американский математик, инженер и исследователь, живший в 1916–2001 годах. Его называют основоположником теории информации и одним из учёных, заложивших фундамент цифровой эпохи.

При этом круг его интересов был значительно шире. Шеннон занимался электрическими схемами, связью, криптографией, вычислительной техникой и ранними идеями искусственного интеллекта. А в свободное время конструировал необычные механизмы, играл в шахматы, жонглировал и ездил на одноколёсном велосипеде.

Краткая биография Клода Шеннона

Клод Шеннон родился 30 апреля 1916 года в городе Петоски, штат Мичиган, и вырос в небольшом городе Гейлорд. Ещё в школе он интересовался техникой и работал посыльным в компании Western Union.

В Мичиганском университете Шеннон одновременно изучал математику и электротехнику и в 1936 году получил степени по обеим специальностям. Затем он поступил в Массачусетский технологический институт — MIT.

Именно там молодой исследователь сделал свою первую работу, оказавшую огромное влияние на развитие вычислительной техники.

Как Шеннон связал электрические схемы и логику

Во время учёбы в MIT Шеннон работал с дифференциальным анализатором Вэнивара Буша — огромной аналоговой вычислительной машиной, в которой использовались механические и электрические элементы.

Шеннон заметил, что работу электрических переключателей можно описывать с помощью булевой алгебры — математической логики, построенной на двух состояниях: например, «да» и «нет», «истина» и «ложь». Электрическая цепь тоже может находиться в двух состояниях: ток проходит или не проходит.

В магистерской работе «Символический анализ релейных и переключательных схем» он показал, как логические операции можно реализовывать с помощью электрических переключателей. Работа была написана в 1937 году и стала основой современной теории цифровых схем.

Сегодня эта идея кажется естественной. Компьютерные процессоры состоят из огромного количества элементов, которые работают с двумя состояниями — условными нулём и единицей. Но в 1930-х годах связь между математической логикой и устройством электрических схем была далеко не очевидной.

Так Шеннон внёс один из своих важнейших вкладов в информатику ещё до появления современных электронных компьютеров.

Главная работа Шеннона: основы теории информации

В 1941 году Шеннон начал работать в Bell Laboratories — одном из ведущих исследовательских центров в области связи. Именно там он занялся вопросом, который впоследствии сделал его знаменитым: что вообще такое информация и как измерить её количество?

В 1948 году вышла его работа «Математическая теория связи» — A Mathematical Theory of Communication. Она положила начало отдельной научной дисциплине — теории информации.

Шеннон предложил рассматривать передачу сообщения как систему из нескольких элементов:

источника информации;
передатчика;
канала связи;
помех;
приёмника;
получателя.

Это описание подходит к совершенно разным ситуациям: телеграфной линии, радиопередаче, телефонному разговору или современной передаче данных через интернет.

Главной идеей стало то, что информацию можно изучать независимо от её смысла.

Для инженера неважно, передаётся по каналу строка из романа, прогноз погоды или результаты измерений. Важно, сколько информации содержит сообщение и насколько надёжно его можно доставить получателю.

Что такое бит

Работы Шеннона сделали бит основной единицей измерения информации.

Самый простой пример — вопрос с двумя равновероятными ответами:

Монета упала орлом или решкой?

Чтобы выбрать один вариант из двух, достаточно одного двоичного значения. Условно можно записать:

0 — орёл;
1 — решка.

Такое количество информации соответствует одному биту.

Из битов можно составлять более сложные сообщения. Текст, фотография, звук или видео могут быть представлены последовательностями нулей и единиц — именно в таком виде данные обрабатываются цифровой техникой. Теория Шеннона позволила строго описывать количество информации и возможности каналов её передачи.

Почему неожиданное сообщение содержит больше информации

Одна из самых интересных идей Шеннона связана с неопределённостью.

Представим два сообщения:

«Завтра утром взойдёт солнце».

«Завтра утром выпадет снег в пустыне Сахара».

Второе событие гораздо менее ожидаемо. Если оно действительно произошло, сообщение существенно сильнее изменяет наши знания о ситуации.

В теории информации редкое и неожиданное событие несёт больше информации, чем событие, которое практически гарантировано.

Для измерения неопределённости Шеннон использовал понятие информационной энтропии. Чем менее предсказуем источник сообщений, тем больше информации в среднем необходимо для описания его результата.

При этом теория не пытается определить, насколько сообщение интересно или важно человеку. Огромный научный текст и случайный набор символов могут оцениваться совершенно иначе с точки зрения смысла, но теория Шеннона рассматривает прежде всего структуру и вероятность данных.

Можно ли передать информацию без ошибок

Реальные каналы связи не идеальны.

В радиосвязи возникают помехи. Электрический сигнал искажается. При передаче цифровых данных отдельные элементы сообщения могут потеряться или измениться.

До Шеннона могло казаться очевидным: если канал шумный, ошибки неизбежны.

Шеннон показал более интересный результат. Для любого канала существует определённый предел скорости передачи — пропускная способность канала. Если передавать информацию с подходящей скоростью и правильно её кодировать, влияние помех можно сделать сколь угодно малым.

Сам Шеннон не дал готовый универсальный код, который решал бы эту задачу. Он математически доказал, что такие способы кодирования в принципе возможны.

Это стало ориентиром для последующих поколений инженеров.

Сегодня методы обнаружения и исправления ошибок используются практически во всей цифровой связи — от мобильных сетей и Wi-Fi до спутниковых систем и хранения данных.

Как теория информации связана со сжатием файлов

Работы Шеннона объяснили ещё один важный принцип: сообщение часто содержит избыточность.

Например, в обычном языке некоторые буквы и сочетания встречаются намного чаще других. По предыдущим символам мы иногда можем догадаться, что будет дальше.

Если часть информации предсказуема, данные можно представить более компактно.

На этом общем принципе основаны методы сжатия данных. Они позволяют уменьшать размер текстов, изображений, музыки и видео, не храня каждый элемент самым прямолинейным способом.

Теория информации устанавливает фундаментальные пределы такого сжатия: насколько коротко вообще можно представить данные, сохранив необходимую информацию.

Клод Шеннон и криптография

Криптография была ещё одним важным направлением работы Шеннона.

Во время Второй мировой войны он занимался в Bell Labs системами секретной связи. В 1949 году была опубликована его работа Communication Theory of Secrecy Systems, в которой методы теории информации применялись к криптографии. MIT характеризует эту работу как один из этапов превращения криптографии из набора практических приёмов в строгую научную область.

Шеннон сформулировал математическое понятие совершенной секретности: зашифрованное сообщение не должно давать противнику информации об исходном тексте.

Он также показал условия, при которых такой уровень защиты возможен. Классическим примером является одноразовый блокнот: если ключ действительно случаен, имеет длину не меньше сообщения, используется только один раз и остаётся секретным, шифр обладает совершенной секретностью.

Развитые Шенноном идеи стали частью математического фундамента современной криптографии.

Что ещё изобрёл Клод Шеннон

Несмотря на фундаментальные научные работы, Шеннон любил не только теорию. Он постоянно конструировал необычные устройства.

Одно из самых известных — Theseus, электромеханическая «мышь», которая перемещалась по лабиринту. Система могла запоминать найденный маршрут, а при следующем запуске использовать полученную информацию. Это устройство начала 1950-х годов считается одним из ранних экспериментов с машинным обучением.

Шеннон также экспериментировал с шахматными машинами, создавал устройство для вычислений римскими цифрами, машину для жонглирования и множество других механизмов. В Bell Labs коллеги запомнили его в том числе за поездками по коридорам на одноколёсном велосипеде — иногда одновременно с жонглированием.

Для Шеннона такие проекты были не просто развлечением. Его интересовал сам процесс поиска правил, по которым сложное поведение можно разложить на простые операции.

Вклад Клода Шеннона в информатику

Шеннон не изобрёл персональный компьютер, интернет или мобильную связь. Большая часть привычных нам цифровых технологий появилась значительно позже.

Его вклад оказался более фундаментальным: он разработал идеи, на которых стало возможно строить эти технологии.

Работы Шеннона помогли сформировать основы:

цифровых логических схем;
теории информации;
передачи цифровых данных;
кодирования и исправления ошибок;
сжатия информации;
математической криптографии;
отдельных направлений искусственного интеллекта.

Созданная им теория применяется к проводной и беспроводной связи, компьютерным сетям, хранению данных и цифровым медиа. Понятие пропускной способности канала, сформулированное Шенноном, остаётся фундаментальным ограничением, с которым работают современные инженеры связи.

Почему Шеннон так важен для цифрового мира

Главное достижение Клода Шеннона можно сформулировать довольно просто: он превратил информацию в объект, который можно исследовать математически.

До этого люди уже передавали телеграммы, разговаривали по телефону, использовали радио и строили вычислительные устройства. Шеннон показал, что за всеми этими разными технологиями стоят общие закономерности.

Информацию можно измерить. Её можно закодировать. Можно определить предел скорости её передачи. Можно бороться с помехами. Можно оценить, насколько компактно данные удастся записать.

Эти идеи появились задолго до смартфонов и интернета, но именно цифровой мир сделал их значение особенно заметным.

Клод Элвуд Шеннон умер 24 февраля 2001 года в возрасте 84 лет. К этому времени теория информации уже стала фундаментом современной связи и вычислительной техники.

От шифров до теории информации

История Клода Шеннона хорошо показывает, как менялось само представление об информации. Когда-то главной задачей было передать сообщение или скрыть его содержание. В XX веке возникли новые вопросы: сколько информации содержится в сообщении, как представить её в цифровой форме, насколько быстро её можно передать и как защитить от ошибок и перехвата.

В Музее криптографии можно проследить этот путь на примере шифров, средств связи, вычислительной техники и других технологий работы с информацией. На экскурсии история криптографии раскрывается не как набор отдельных изобретений, а как часть большого процесса, который в итоге привёл к современному цифровому миру.