kvisaz (kvisaz) wrote,
kvisaz
kvisaz

Categories:

Видеокарты для крутых нейронок

Читаю тредик про исходники GPT-2, нейронки, которая генерит качественный текст со смысловыми связями (тот самый креативный дописыватель)

Там люди жалуются, что полной модели не хватает и видеокарты с 6 гигабайтами памяти. Ну блин, значит надо сразу ориентироваться на 12 гигабайт. Но у меня сейчас и шестигигабайтной нет. Похоже, под опыты с нейронками такого уровня надо собирать отдельную и дорогую систему.

Предсказание: вот когда видеокарты с 12 гигабайтами памяти станут рядовыми - ждите распространение персональных нейронок нового уровня.

Ожидаемая поправка: вместо таких видеокарт могут быть и специальные нейрочипы. Хотя у производителей графических ускорителей в нейронки дорога уже намолена, да и использовать видеокарты можно для кучи вещей - так что я ставлю, что видеокарты на бытовом, персональном уровне и дальше будут основным фактором для развития таких вещей (независимых, не-серверных нейронок).

PS: конечно, учиться самому можно и на меньшем объеме, и вообще использовать какие-то серверные решения. Но интересно узнать, как работают и на таких проектах.
Tags: нейронки
Subscribe

  • Брандмауэр

    - Ты почему не улыбаешься? - Мало практики. Родился в 74 году - Я вообще родился в 70. - Значит, у тебя больше практики в международных компаниях. -…

  • У России только два союзника - Достоевский и Гиляровский

    Я в один день случайно прочитал какие-то куски Достоевского, затем мнение нейробиологов о нем, затем куски записок Гиляровского (искал слово…

  • Не люблю Рика Санчеса, но признаю его заслуги

    Читаю историю науки. Допустим, о мозге. Интересные факты так и сыплются. Эммануэль Сведенборг - первым, кто предположил, что Солнечная система…

  • Они используют нас как батарейки (с)

    "Они соединили биотопливный элемент, который умеет собирать пот с кончиков пальцев и окислять содержащийся в нем лактат, и пьезоэлемент, который…

  • П. 2

    Ладно, зайдем с другой стороны. Мне кажется удивительным, что магазин, тратящий деньги на витрины, дорогие товары и закупку статуй у своего участка,…

  • П.

    Меня поражает, что в магазине с достаточно дорогими продуктами висит объявление "требуется продавец на 23 тысячи рублей" П. - психология. Считается…

  • Post a new comment

    Error

    default userpic
    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 6 comments

Bestmr_garett

December 19 2019, 15:27:48 UTC 1 year ago Edited:  December 19 2019, 15:28:47 UTC

  • New comment
2 по 11. Для серьезных задач этой мощности мало.

Чтобы поиграть с нейронками тестовыми более менее нормально вам нужна хотя бы одна RTX2080 Ultra. Это минимум.