Үлкен тілдік модельдер әріптерді неге шатастырады: byteification әдісі

«Strawberry» сөзінде «r» әрпі үш рет кездеседі. Бірақ кейбір үлкен тілдік модельдер оны екі деп қате санайды. Nature журналында Minixhofer және әріптестері мұндай шектеуді азайтуға арналған byteification әдісін ұсынған: ол модельдерді жеке таңбаларды оқи алатын байт деңгейіне бейімдейді.

Токен сөздің ішкі әріптерін жасыруы мүмкін

Үлкен тілдік модельдер мәтінді әрдайым әріп-әріппен оқымайды. Көп модель сөздерді бірнеше әріпті біріктіретін бөліктерге, яғни токендерге бөледі. Токен — модель өңдейтін мәтін бөлігі.

Мұны сөзді бөлшектемей, бір жапсырма ретінде көруге ұқсатуға болады. Модель сол бөліктің мағынасын жақсы өңдеуі мүмкін, бірақ оның ішіндегі әр таңбаны бөлек санау қолжетімсіз болуы ықтимал. «Strawberry» сөзіндегі «r» санын сұрағанда қате жауап шығуы осы айырманы көрсетеді.

Мәтіндегі түсіндіруге сай, жеке таңбалар компьютерде байт деп аталатын екілік тізбектер түрінде беріледі. Токенмен жұмыс істейтін модель мұндай таңбаларды тікелей өңдемеуі мүмкін. Бұл модельдің барлық тапсырмада нашар екенін білдірмейді: мақалада токендік модельдердің жоғары нәтижеге жете алатыны да айтылған.

Byteification модельді байт деңгейіне бейімдейді

Minixhofer және әріптестері byteification деп атаған тәсіл токенмен жұмыс істейтін үлкен тілдік модельді байт деңгейінде әрекет етуге бейімдейді. Яғни модель мәтінді тек бірнеше әріптен құралған бөліктер арқылы емес, жеке таңбаларды көрсетуге мүмкіндік беретін деңгейде де өңдей алады.

Авторлардың хабарлауынша, осылай бейімделген модельдер бәсекеге қабілетті нәтижелер көрсетіп, жеке таңбаларды оқу мүмкіндігін сақтаған. Бұл жерде «бәсекеге қабілетті» деген сөз модельдердің нәтижесі салыстыруға лайық болғанын білдіреді. Алайда берілген үзіндіде нақты сынақ түрлері мен сандық көрсеткіштер жоқ.

Зерттеу нені көрсетті және нені ашық қалдырды

Негізгі зерттеу Nature журналында 2026 жылға сілтемемен берілген. Үзіндіде қанша модель сыналғаны, қандай деректер қолданылғаны немесе нәтижелердің айырмасы қанша болғаны көрсетілмейді. Сондықтан әдістің артықшылығының көлемін осы ақпаратқа сүйеніп бағалау мүмкін емес.

Мұндағы дәлел модельдердің мәтінді өңдеуіне қатысты. Бұл зерттеу адамдардың оқуына немесе күнделікті өмірдегі басқа әрекеттеріне жасалған сынақ емес. Сондай-ақ байт деңгейіне бейімдеу модель барлық сөзді енді қатесіз санайды дегенді білдірмейді: авторлар жеке таңбаларды оқу мүмкіндігі сақталғанын және бәсекеге қабілетті нәтиже болғанын хабарлаған, бірақ үзіндіде қателердің толық жойылғаны айтылмайды.

Қолданушы үшін бұл әзірге нені білдіреді

Әріп санын сұрау — қарапайым көрінетін тапсырма, бірақ ол модельдің сөзді қалай бөлшектеп өңдейтініне тәуелді болуы мүмкін. Сондықтан бір ғана осындай мысалға қарап модельдің жалпы қабілетін бағалау дұрыс емес. Ал таңба деңгейіндегі өңдеу қажет болатын міндеттер үшін byteification зерттеуге тұрарлық тәсіл ретінде ұсынылған.

Күнделікті қолданғанда сөз ішіндегі әріптерді дәл санау керек болса, жауапты өзіңіз тексерген жөн. Ал зерттеу туралы әзірге айтуға болатын нақтысы: Minixhofer және әріптестері токендік модельдерді байт деңгейіне бейімдейтін әдісті сипаттап, оның жеке таңбаларды оқу қабілетін сақтайтынын хабарлаған.

Тақырып бойынша оқыңыз

• Ядролық сағат деген не: алғашқы іске асыру нені көрсетті
• Уран дителлуридіндегі асқынөткізгіштік жоғалса да, Купер жұптары сақталуы мүмкін
• Антарктидадағы IceCube обсерваториясы: Фрэнсис Халзен физикадан Нобель алды