Мнение эксперта о больших языковых моделях
"я думал, что построение очень большой языковой модели на основе существовавшей тогда технологии (которая тогда просто переключалась между RNN/LSTM и Transformer) не приведет нас даже близко к «идеальному языковому моделированию».
Был ли я неправ? вроде. Меня определенно удивили возможности, продемонстрированные большими языковыми моделями. Оказалось, что где-то между 60 миллиардами параметров и 175 миллиардами параметров есть фазовый сдвиг, что делает языковые модели супер впечатляющими. Они делают гораздо больше, чем я думал, когда-либо могла сделать языковая модель, обученная на тексте и основанная на RNN/LSTM/Transformers. Они, конечно, делают все то, что я имел в виду, когда сказал, что они «все не решат».
Да, современные языковые модели (первый выпуск chatGPT) действительно «решили» все проблемы из набора проблем понимания языка, которые я тогда неявно рассматривал. Так что в этом смысле я был не прав. "
"
- Модели на самом деле не понимают язык.
- Конечно. Они не понимают. Ну и что? Давайте сосредоточимся на том, что им удается сделать, и, может быть, попробуем улучшить то, что им не удается?
"
(с) профессор Йоав Гольдберг
https://gist.github.com/yoavg/59d174608e92e845c8994ac2e234c8a9
PS: сейчас страничка профессора на университетском сайте перестала быть действительной, но его имя и фамилия легко гуглятся среди авторов книг по теме, некоторые даже переведены на русский язык
Был ли я неправ? вроде. Меня определенно удивили возможности, продемонстрированные большими языковыми моделями. Оказалось, что где-то между 60 миллиардами параметров и 175 миллиардами параметров есть фазовый сдвиг, что делает языковые модели супер впечатляющими. Они делают гораздо больше, чем я думал, когда-либо могла сделать языковая модель, обученная на тексте и основанная на RNN/LSTM/Transformers. Они, конечно, делают все то, что я имел в виду, когда сказал, что они «все не решат».
Да, современные языковые модели (первый выпуск chatGPT) действительно «решили» все проблемы из набора проблем понимания языка, которые я тогда неявно рассматривал. Так что в этом смысле я был не прав. "
"
- Модели на самом деле не понимают язык.
- Конечно. Они не понимают. Ну и что? Давайте сосредоточимся на том, что им удается сделать, и, может быть, попробуем улучшить то, что им не удается?
"
(с) профессор Йоав Гольдберг
https://gist.github.com/yoavg/59d174608e92e845c8994ac2e234c8a9
PS: сейчас страничка профессора на университетском сайте перестала быть действительной, но его имя и фамилия легко гуглятся среди авторов книг по теме, некоторые даже переведены на русский язык