Jak LLM czyta zdanie: tokenizacja od podszewki

Tokenizacja LLM to podstawowy proces, który decyduje o tym, jak AI czyta zdanie. Dzięki podziałowi tekstu na mniejsze jednostki modele mogą wydajnie przetwarzać złożone dane językowe.

Modele językowe, takie jak GPT, BERT czy Llama, nie przetwarzają tekstu tak jak ludzie. Zanim aktywuje się choćby jeden neuron, muszą zamienić tekst na zrozumiałe dla siebie jednostki liczbowe: tokeny.

Za tym pozornie prostym krokiem kryje się poważne wyzwanie dla wydajności, zdolności generalizacji i obsługi wielu języków. Ten artykuł to techniczne omówienie działania nowoczesnych tokenizerów, od Byte-Pair Encoding po SentencePiece.

Kluczowa rola tokenizacji w LLM

Modele językowe nie operują bezpośrednio na surowym tekście, tylko na tokenach – elementarnych jednostkach tekstu zamienianych na liczby całkowite. Tokeny mogą reprezentować:

• całe słowa („cat”)
• fragmenty słów („ation” w „ration”)
• pojedyncze znaki („x”, „@”)
• pary bajtów („ĠThe”, „##ing”)

Przykład:

Tekst jest dzielony na tokeny, a każdy token jest następnie przypisywany do identyfikatora liczbowego (ID) na podstawie wyuczonego słownika.

Tokenizacja: po co dzielić tekst na tokeny?

• Aby ograniczyć rozmiar słownika do kilkudziesięciu tysięcy pozycji
• Aby skutecznie obsługiwać słowa spoza słownika (OOV, out-of-vocabulary)
• Aby zapewnić przetwarzanie odporne lingwistycznie i wielojęzyczne
• Aby utrzymać długość sekwencji w rozsądnych granicach (ze względu na kwadratowy koszt mechanizmu uwagi)

Przegląd głównych metod tokenizacji

✅ BPE (Byte-Pair Encoding)

Stosowany w: GPT-2, GPT-3, GPT-J, CLIP…
Zasada: punktem wyjścia jest minimalny słownik (często znaki lub tokeny na poziomie bajtów), a algorytm uczy się scalać najczęstsze pary symboli występujące w korpusie.

Przebieg:

• Rozłóż każde słowo na znaki (lub bajty)
• Policz najczęściej występujące sąsiednie pary
• Scal te pary w jeden token
• Powtarzaj, aż słownik osiągnie docelowy rozmiar (zwykle od 30 tys. do 50 tys. pozycji)

✅ WordPiece (BERT)

Stosowany w: BERT, RoBERTa, DistilBERT, Albert…
Zasada: algorytm inspirowany BPE, ale probabilistyczny, oparty na wiarygodności (likelihood) korpusu.

Przykład porównawczy:

Implementacja w praktyce z Hugging Face

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize("Unbelievable results!")
print(tokens)
# ['un', '##bel', '##iev', '##able', 'results', '!']

Specyfika BERT

• [CLS]: token specjalny dodawany na początku sekwencji (używany do klasyfikacji)
• [SEP]: token separatora między dwoma zdaniami (używany w zadaniu Next Sentence Prediction)
• Wielkość liter: modele uncased zamieniają tekst na małe litery i usuwają znaki diakrytyczne, modele cased je zachowują

SentencePiece

Stosowany w: Llama, T5, mT5, XLNet, ByT5, ALBERT (warianty), MarianMT itd.
Zasada: SentencePiece to samodzielny tokenizer trenowany bezpośrednio na surowym tekście. Nie zakłada, że słowa są oddzielone spacjami.

Jak to działa

• Nie przyjmuje żadnych założeń co do rozdzielania słów spacjami (co ma kluczowe znaczenie w językach aglutynacyjnych lub logograficznych)
• Może działać na poziomie znaków, bajtów lub punktów kodowych Unicode
• Implementuje dwa algorytmy:
  • Unigram Language Model (domyślny w T5)
  • Zmodyfikowany BPE (opcjonalnie)
• Trening opiera się na łącznym prawdopodobieństwie podtokenów: maksymalizuje prawdopodobieństwo, minimalizując jednocześnie złożoność słownika

['▁The', '▁cat', '▁sat', '.']

Przykład wielojęzyczny

Implementacja w praktyce z SentencePiece

import sentencepiece as spm

sp = spm.SentencePieceProcessor()
sp.load("m.model")

tokens = sp.encode("The cat sat.", out_type=str)
print(tokens)
# ['▁The', '▁cat', '▁sat', '.']

Typowe przypadki użycia

Przypadki brzegowe w tokenizacji

input = "z3r0C00l@#"

['z', '3', 'r', '0', 'C', '00', 'l', '@', '#']

['z', '##3', '##r', '##0', '##c', '##00', '##l', '@', '#']

Im mniej znane słowo, tym bardziej zostaje rozdrobnione, co wpływa na:

• Długość sekwencji (a w konsekwencji kwadratowy koszt mechanizmu uwagi)
• Zdolności rozumowania semantycznego modelu
• Mechanizm cross-attention w architekturach koder–dekoder

Wpływ na wydajność

• Zbyt szczegółowa tokenizacja: prowadzi do dłuższych sekwencji i większego zużycia pamięci
• Zbyt zgrubna tokenizacja: oznacza utratę zdolności generalizacji i więcej przypadków OOV (Out-Of-Vocabulary)

Tokenizacja: przykład w Pythonie

from transformers import GPT2TokenizerFast

tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
tokens = tokenizer.tokenize("The cat sat.")
print(tokens)  
# ['The', 'Ġcat', 'Ġsat', '.']

Znak Ġ koduje spację. Słownik jest trenowany tak, aby rozpoznawał częste wzorce w oryginalnym korpusie.

Podsumowanie

• Lepiej interpretować wyniki LLM
• Optymalizować trening i inferencję
• Dostosować pipeline przetwarzania do ograniczeń konkretnej dziedziny

To także kluczowy etap każdego projektu fine-tuningu lub wstępnego trenowania własnego LLM.

Dalsza lektura

• A History of Tokenisation Methods
• Recent Advances in Tokenisation