kvisaz (kvisaz) wrote,
kvisaz
kvisaz

Category:

Нейронки

Какие внешние события побудили написать этот пост? То, что я услышал от эксперта такую формулировку, до которой уже дошел сам раньше:
- Нейронные сети в компьютере - это не аналог биологических нейронов, которые связываются в сети. Нейронные сети в компьютере - правильнее было бы называть матрицами. Гигантскими матрицами весов для признаков, которые подаются на вход.

Слово "сеть" тут даже вводит в заблуждение. Три матрицы, соединенные последовательно, это не сеть в нашем привычном понимании. А это рабочая архитектура известных нейронок (word2vec). Можно добавлять "слои", то есть наращивать матрицы, но они идут последовательно, как правило.

Да, если рисовать потоки данных, как выходные данные с одного слоя передаются на другой - выглядит красиво, "сетеподобно". Но это не связи между матрицами. Это просто подача всех сигналов предыдущей матрицы на каждый нейрон следующей.

А нейрон в таких системах - это набор чисел [x1, x2, .... x10e6], каждое из которых отражает реакцию на соответствующий входной признак.

update: нейрон как набор чисел - это упрощенная модель. Числа эти используются как коэффициенты в функции преобразования

Матрица (слой) нейронной сети - это набор реакций всех нейронов. Никаких связей между нейронами нет, есть независимое от других нейронов вычисление весов. Поскольку есть независимость в этих микрозадачах - они хорошо автоматически параллелятся, то есть могут выполняться параллельно. Поэтому видеокарты с кучей параллельных вычислений так прекрасно подошли к нейронкам.

Но в силу экономности связей биологическая сеть нейронов кроет по энергоэффективности компьютерные нейроны, как бык - мышь.
Tags: нейронки
Subscribe

  • Число, которое невозможно представить

    Прошлой ночью приснился типичный для меня кошмар - число, которое не укладывается в голове. Его невозможно представить, оно занимает все ресурсы, и…

  • need proof

    По телевизору в зарубежной научно-познавательной передаче сказали, что недавние расчёты показали, что все наши радиоволны, которые раньше считались…

  • (no subject)

    ну вот, если быть точнее, то шишки во френологии - это языковые паттерны в НЛП. Френологи утверждали, что по шишкам на черепе можно установить…

  • Post a new comment

    Error

    default userpic
    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 17 comments

  • Число, которое невозможно представить

    Прошлой ночью приснился типичный для меня кошмар - число, которое не укладывается в голове. Его невозможно представить, оно занимает все ресурсы, и…

  • need proof

    По телевизору в зарубежной научно-познавательной передаче сказали, что недавние расчёты показали, что все наши радиоволны, которые раньше считались…

  • (no subject)

    ну вот, если быть точнее, то шишки во френологии - это языковые паттерны в НЛП. Френологи утверждали, что по шишкам на черепе можно установить…