Слои: от одного нейрона к сети

В 1989 году Курт Хорник доказал теорему универсальной аппроксимации: нейронная сеть с одним скрытым слоем и достаточным числом нейронов может приблизить любую непрерывную функцию с произвольной точностью. Это фундаментальный результат. Но почему тогда строят глубокие сети с десятками слоёв? Ответ не в вычислительной мощности — в эффективности представления. Каждый дополнительный слой позволяет описывать экспоненциально более сложные функции с полиномиальным числом параметров. Глубина — это про иерархию абстракций, а не просто про «больше».