Простыми словами
Слишком простая модель систематически не замечает важные закономерности, а слишком сложная запоминает случайный шум. Это похоже на ученика: один отвечает слишком общо, другой заучивает конкретные примеры и теряется при новом вопросе. Поэтому нужен баланс между устойчивостью и способностью учитывать детали.
Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
В задаче «Выбор стратегии» сразу применить привычное решение и назвать происходящее «Компромисс смещения и дисперсии», не проверив, действительно ли работает этот механизм. Так можно улучшить один симптом и пропустить основную причину.
Использовать «Компромисс смещения и дисперсии» как гипотезу: сначала определить границы ситуации и исходное состояние, затем менять только то, что связано с проверяемым механизмом, и смотреть на результат.
Ограничения
Классическое разложение относится к заданной функции потерь и вероятностной модели; в современных моделях связь сложности, переобучения и обобщения может быть немонотонной.
Источник
Stuart Geman; Elie Bienenstock; René Doursat, “Neural Networks and the Bias/Variance Dilemma”, 1992.