kvisaz (kvisaz) wrote,
kvisaz
kvisaz

Categories:

Видеокарты для крутых нейронок

Читаю тредик про исходники GPT-2, нейронки, которая генерит качественный текст со смысловыми связями (тот самый креативный дописыватель)

Там люди жалуются, что полной модели не хватает и видеокарты с 6 гигабайтами памяти. Ну блин, значит надо сразу ориентироваться на 12 гигабайт. Но у меня сейчас и шестигигабайтной нет. Похоже, под опыты с нейронками такого уровня надо собирать отдельную и дорогую систему.

Предсказание: вот когда видеокарты с 12 гигабайтами памяти станут рядовыми - ждите распространение персональных нейронок нового уровня.

Ожидаемая поправка: вместо таких видеокарт могут быть и специальные нейрочипы. Хотя у производителей графических ускорителей в нейронки дорога уже намолена, да и использовать видеокарты можно для кучи вещей - так что я ставлю, что видеокарты на бытовом, персональном уровне и дальше будут основным фактором для развития таких вещей (независимых, не-серверных нейронок).

PS: конечно, учиться самому можно и на меньшем объеме, и вообще использовать какие-то серверные решения. Но интересно узнать, как работают и на таких проектах.
Tags: нейронки
Subscribe

  • Небесный поезд

    ну, я должен сказать спасибо vagonsky за знакомство с понятием " сфера Хаббла" (Объём Хаббла, радиус Хаббла). В нейтральном…

  • The Great Horse Manure Crisis of 1894

    Из той же книжки - в 1894 в Нью-Йорке случился великий кризис лошадиного навоза (The Great Horse Manure Crisis of 1894) Чтобы не травмировать, я…

  • От паровой энергии до наших дней

    Книжка "Энергия. История человечества" - она действительно не только про Британию. Это в первой части, про возникновение парового…

  • Бордосские свечи

    Тысячи бочек с горящим парафином в Бордо, Шабли, Шампани - попытка спасти виноградники от апрельских заморозков. via…

  • Торговля экзоскелетами

    Согласно исследованию ABI Research, мировые доходы от экзоскелетов вырастут с 392 млн долларов (284 млн фунтов стерлингов) в 2020 году до 6,8 млрд…

  • Теория кризисов и космос

    Типичный случай - человек начитался научно-популярных (даже не научных) книжек и давай всем рассказывать, как все устроено на самом деле. Бывает,…

  • Post a new comment

    Error

    default userpic
    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 6 comments

Bestmr_garett

December 19 2019, 15:27:48 UTC 1 year ago Edited:  December 19 2019, 15:28:47 UTC

  • New comment
2 по 11. Для серьезных задач этой мощности мало.

Чтобы поиграть с нейронками тестовыми более менее нормально вам нужна хотя бы одна RTX2080 Ultra. Это минимум.