トークン
「再生」を押して分解してみよう
※ 実際のトークナイザ（tiktoken等）の分割に近づけた近似表現
なぜ「文字」ではなく「トークン」なのか
AIは文字を1個ずつ読むのではなく、「よく出る単語ごと」にまとめて処理します。 英語なら「the」「ing」などはまとめて1トークン。日本語は漢字ごとに分かれたり、2〜3文字が1トークンになったりします。 だいたい 日本語は1文字 ≒ 1〜3トークン、英語は1単語 ≒ 1〜2トークン と覚えておけばOK。
身近な例えで理解する
例① 寿司のシャリ一口
お寿司を食べるとき、シャリを米粒1個ずつではなく「一口ぶん」で頬張りますよね。 AIも同じで、一口サイズ（トークン）にまとめて処理します。 「一口の大きさ」はネタ（単語）によって違う、これがトークン可変の世界です。
例② 水道・電気の使用量
使った分だけ料金がかかる、あの感覚。AIも同じで、入力と出力のトークン数で使用量が決まる。 無駄な前置きや冗長なナレッジは、そのままコスト増に直結する感覚を持っておくと吉。
トークンはAIにとっての「情報量の単位」。 文字数ではなくトークン数で上限が決まる、と覚えておきましょう。 長文を渡すときは「全部渡す」ではなく「必要な部分だけ絞って渡す」が鉄則です。