SYSTEM ATLASЗагрузка материала

Неравенство обработки данных

Data Processing Inequality

Обработка не может увеличить информацию о скрытой переменной.

Простыми словами

Например, нужно передать сообщение по шумному каналу и понимать, сколько полезной информации реально доходит до получателя. Поэтому этот инструмент используют, чтобы сравнивать количество информации, неопределённость или цену передачи - без контекста одна формула не говорит, какое инженерное решение лучше.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Решение принимают без учета механизма «Неравенство обработки данных», оценивая только ближайший эффект.

Системный подход

Перед изменением проверяют, как «Неравенство обработки данных» влияет на ограничения, стимулы, зависимости и вторичные последствия.

Ограничения

Неравенство предполагает марковскую цепь и корректно определённую меру информации; источник Шеннона содержит основу, но современная именованная формулировка сложилась позднее.

Источник

Claude E. Shannon, “A Mathematical Theory of Communication”, 1948.

Первоисточник