Капсульные сети
Новая архитектура (не новая) подъехала, конспектируем.
https://analyticsindiamag.com/why-do-capsule-networks-work-better-than-convolutional-neural-networks/
Далее цитаты:
Капсульные сети являются эквивариантными — это означает, что вам не нужно передавать в сеть отдельные изображения повернутого лица для ее обучения (пример показан на изображении ниже). На самом деле одним из параметров (векторов активации), которые узнают капсулы, является вращение — на сколько градусов повернут объект. Это огромная вещь, так как это уменьшает количество изображений, необходимых для обучения капсульной сети, по сравнению со сверточной нейронной сетью.
Как графический дизайнер создает персонажа видеоигры или объект? Он сообщает механизму рендеринга детали объекта — например, его ориентацию в пространстве, его размеры, его положение относительно других объектов и т. д. Механизм рендеринга принимает эти входные данные, которые представляются с точки зрения дизайнера, и создает модель объекта. который можно рассматривать с любой точки зрения. Короче говоря, используя параметры и свойства, такие как форма, размер, цвет и т. д., механизм рендеринга может сгенерировать весь объект.
Капсульная сеть делает то же самое в обратном порядке (инверсная графика) — берет изображение и изучает его векторы активации (длину, ориентацию, позу, относительное положение и т. д.). Это помогает создать представление объекта с точки зрения параметров, которые могут быть изучены сетью, и эти параметры используются для прогнозирования объектов в капсулах.
....
Сверточная сеть должна учиться на 3 разных выборках из трех разных типов изображений (поворот: 0 0 , +20 0 , -20 0 ), тогда как капсульная сеть также изучает вращение лица (0 0 , +20 0 , -20 0 ) в одной капсуле, помимо других особенностей. Его не нужно явно обучать на повернутых гранях.
....
Капсульная сеть не только обнаруживает признаки, но также определяет их ориентацию (среди прочего) и то, как они связаны, а также вероятность того, что этот признак принадлежит объекту более высокого уровня в иерархии частей .Каждая капсула определяет наличие признака более низкого уровня вместе с параметрами его активации (длина, толщина, вращение, положение относительно других признаков) и вычисляет вероятность того, что признак предскажет объект более высокого уровня,
....
Одним из ключевых преимуществ Capsule Network является то, что они, как правило, отходят от модели черного ящика нейронной сети и представляют более конкретные функции, которые можно интерпретировать, чтобы понять, что и как обучается сеть.
....
Минусы
Капсульные сети все еще развиваются, и из-за их сложной природы и вычислительной стоимости они не получили широкого внедрения в производство, хотя и подали большие надежды.
pS: к сожалению, это требует хорошего железа. Хотя с другой стороны - уменьшается требование к объему обучающих данных.
pps: реально старая статья, уже 4 года, где капсульные сети
https://analyticsindiamag.com/why-do-capsule-networks-work-better-than-convolutional-neural-networks/
Далее цитаты:
Капсульные сети являются эквивариантными — это означает, что вам не нужно передавать в сеть отдельные изображения повернутого лица для ее обучения (пример показан на изображении ниже). На самом деле одним из параметров (векторов активации), которые узнают капсулы, является вращение — на сколько градусов повернут объект. Это огромная вещь, так как это уменьшает количество изображений, необходимых для обучения капсульной сети, по сравнению со сверточной нейронной сетью.
Как графический дизайнер создает персонажа видеоигры или объект? Он сообщает механизму рендеринга детали объекта — например, его ориентацию в пространстве, его размеры, его положение относительно других объектов и т. д. Механизм рендеринга принимает эти входные данные, которые представляются с точки зрения дизайнера, и создает модель объекта. который можно рассматривать с любой точки зрения. Короче говоря, используя параметры и свойства, такие как форма, размер, цвет и т. д., механизм рендеринга может сгенерировать весь объект.
Капсульная сеть делает то же самое в обратном порядке (инверсная графика) — берет изображение и изучает его векторы активации (длину, ориентацию, позу, относительное положение и т. д.). Это помогает создать представление объекта с точки зрения параметров, которые могут быть изучены сетью, и эти параметры используются для прогнозирования объектов в капсулах.
....
Сверточная сеть должна учиться на 3 разных выборках из трех разных типов изображений (поворот: 0 0 , +20 0 , -20 0 ), тогда как капсульная сеть также изучает вращение лица (0 0 , +20 0 , -20 0 ) в одной капсуле, помимо других особенностей. Его не нужно явно обучать на повернутых гранях.
....
Капсульная сеть не только обнаруживает признаки, но также определяет их ориентацию (среди прочего) и то, как они связаны, а также вероятность того, что этот признак принадлежит объекту более высокого уровня в иерархии частей .Каждая капсула определяет наличие признака более низкого уровня вместе с параметрами его активации (длина, толщина, вращение, положение относительно других признаков) и вычисляет вероятность того, что признак предскажет объект более высокого уровня,
....
Одним из ключевых преимуществ Capsule Network является то, что они, как правило, отходят от модели черного ящика нейронной сети и представляют более конкретные функции, которые можно интерпретировать, чтобы понять, что и как обучается сеть.
....
Минусы
Капсульные сети все еще развиваются, и из-за их сложной природы и вычислительной стоимости они не получили широкого внедрения в производство, хотя и подали большие надежды.
pS: к сожалению, это требует хорошего железа. Хотя с другой стороны - уменьшается требование к объему обучающих данных.
pps: реально старая статья, уже 4 года, где капсульные сети