Токенизатор ИИ В английском языке, по разным оценкам от 150 до 450 тысяч слов (по данным Google), но GPT-3 зн…
Токенизатор ИИ В английском языке, по разным оценкам от 150 до 450 тысяч слов (по данным Google), но GPT-3 знает только 50 000 слов. При этом для нас это совершенно не заметно. В чем здесь секрет? GPT фактически работает на подсловах (= токенах) вместо слов.В качестве примера возьмем слово «экстраординарный», GPT услышит [«экстра», «ординарный»]. Точно так же «гидроэлектростанция» будет звучать как [«гидро»... https://clck.ru/34qcd8
Автор: Habr все новости об IT