kvisaz (kvisaz) wrote,
kvisaz
kvisaz

Categories:

Видеокарты для крутых нейронок

Читаю тредик про исходники GPT-2, нейронки, которая генерит качественный текст со смысловыми связями (тот самый креативный дописыватель)

Там люди жалуются, что полной модели не хватает и видеокарты с 6 гигабайтами памяти. Ну блин, значит надо сразу ориентироваться на 12 гигабайт. Но у меня сейчас и шестигигабайтной нет. Похоже, под опыты с нейронками такого уровня надо собирать отдельную и дорогую систему.

Предсказание: вот когда видеокарты с 12 гигабайтами памяти станут рядовыми - ждите распространение персональных нейронок нового уровня.

Ожидаемая поправка: вместо таких видеокарт могут быть и специальные нейрочипы. Хотя у производителей графических ускорителей в нейронки дорога уже намолена, да и использовать видеокарты можно для кучи вещей - так что я ставлю, что видеокарты на бытовом, персональном уровне и дальше будут основным фактором для развития таких вещей (независимых, не-серверных нейронок).

PS: конечно, учиться самому можно и на меньшем объеме, и вообще использовать какие-то серверные решения. Но интересно узнать, как работают и на таких проектах.
Tags: нейронки
Subscribe

  • Шюрюшкюдюк

    Обычно в снах происходит искажение, а не творчество. Поэтому, когда я проснулся, то сразу полез искать слово Шюрюшкюдюк. Во сне это было названием и…

  • Брендон Сандерсон, трилогия "Рождённый туманом" (Mistborn)

    Дочитал я Брендона Сандерсона, трилогию "Рождённый туманом" (Mistborn), очень впечатлен. Вы когда такое читаете, сначала думайте о…

  • Ройбуш, пуэр и улун

    Ройбуш пахнет восхитительно и имеет нежный вкус. Не торкает. Пуэр почти не имеет вкуса и запаха, если не считать легкой нотки дерева. Торкает. Вывод?…

  • Теплая зима

    Пережили зиму без 30 градусных морозов, странно. Зима была очень мягкой, даже 20 градусов мороза было только под вечер, ну или максимум утром, для…

  • Жалко, если Perplexity.ai не выживет

    Жалко, если Perplexity.ai не выживет, они реально пытаются сделать продукт удобный и более доступный. Сейчас они выкатили Deep Research, который…

  • Suno как Bitcoin

    Не один я думаю, что кто-то разбогатеет на песнях от Suno - Suno как Bitcoin Но есть нюанс - это надо работать, то есть прямо сейчас тратить тонны…

  • Post a new comment

    Error

    default userpic
    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 6 comments

Bestmr_garett

December 19 2019, 15:27:48 UTC 5 years ago Edited:  December 19 2019, 15:28:47 UTC

  • New comment
2 по 11. Для серьезных задач этой мощности мало.

Чтобы поиграть с нейронками тестовыми более менее нормально вам нужна хотя бы одна RTX2080 Ultra. Это минимум.