kvisaz (kvisaz) wrote,
kvisaz
kvisaz

Category:

Нейронки

Какие внешние события побудили написать этот пост? То, что я услышал от эксперта такую формулировку, до которой уже дошел сам раньше:
- Нейронные сети в компьютере - это не аналог биологических нейронов, которые связываются в сети. Нейронные сети в компьютере - правильнее было бы называть матрицами. Гигантскими матрицами весов для признаков, которые подаются на вход.

Слово "сеть" тут даже вводит в заблуждение. Три матрицы, соединенные последовательно, это не сеть в нашем привычном понимании. А это рабочая архитектура известных нейронок (word2vec). Можно добавлять "слои", то есть наращивать матрицы, но они идут последовательно, как правило.

Да, если рисовать потоки данных, как выходные данные с одного слоя передаются на другой - выглядит красиво, "сетеподобно". Но это не связи между матрицами. Это просто подача всех сигналов предыдущей матрицы на каждый нейрон следующей.

А нейрон в таких системах - это набор чисел [x1, x2, .... x10e6], каждое из которых отражает реакцию на соответствующий входной признак.

update: нейрон как набор чисел - это упрощенная модель. Числа эти используются как коэффициенты в функции преобразования

Матрица (слой) нейронной сети - это набор реакций всех нейронов. Никаких связей между нейронами нет, есть независимое от других нейронов вычисление весов. Поскольку есть независимость в этих микрозадачах - они хорошо автоматически параллелятся, то есть могут выполняться параллельно. Поэтому видеокарты с кучей параллельных вычислений так прекрасно подошли к нейронкам.

Но в силу экономности связей биологическая сеть нейронов кроет по энергоэффективности компьютерные нейроны, как бык - мышь.
Tags: нейронки
Subscribe

Recent Posts from This Journal

  • Дикий путь эволюции

    Как можно догадаться, я продолжаю медленно читать Мориса Клайна "Утрата определенности" про историю математики. И вот очередной кусочек,…

  • Ложь не компилируется в истину

    Хорошая эвристика. - https://bash.im/quote/465193 Определение "ложь все, что не выдает рабочее истинное утверждение" хорошо тем, что устраняет…

  • Медленное мышление о книге воли

    Я дочитал книжку про волю. Мне кажется, это фейковый автор. Причины - У него англоязычное имя, но в эпиграф он ставит цитату из Пушкина. - западные…

  • Post a new comment

    Error

    default userpic
    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 17 comments

Recent Posts from This Journal

  • Дикий путь эволюции

    Как можно догадаться, я продолжаю медленно читать Мориса Клайна "Утрата определенности" про историю математики. И вот очередной кусочек,…

  • Ложь не компилируется в истину

    Хорошая эвристика. - https://bash.im/quote/465193 Определение "ложь все, что не выдает рабочее истинное утверждение" хорошо тем, что устраняет…

  • Медленное мышление о книге воли

    Я дочитал книжку про волю. Мне кажется, это фейковый автор. Причины - У него англоязычное имя, но в эпиграф он ставит цитату из Пушкина. - западные…