Мы потратили 320 тысяч рублей ради Nvlink для нейросетей. Но был ли в этом смысл? Привет Хабр, с вами снова S…
Мы потратили 320 тысяч рублей ради Nvlink для нейросетей. Но был ли в этом смысл? Привет Хабр, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от NVLink для развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ни... https://clck.ru/3Eq3mY
Автор: Habr все новости об IT