コンテキスト
ウィンドウ
「追加」でメッセージを入れていくと…
上限を超えると、古いメッセージが押し出されてAIの記憶から消える。
AIには「視野の広さ」がある
人間が長い小説を一気に読めないように、AIにも一度に読める量の上限(トークン数)があります。 GPT-4o は約12万、Gemini 1.5 Pro は最大200万トークン、など。 長い会話や大きなファイルを渡すと、古い情報から順に「窓」の外に押し出され、AIが忘れていく現象が起きます。
身近な例えで理解する
例① 大きさが決まっている弁当箱
弁当箱に入るおかずの量は決まっていて、たくさん入れようとすると古いおかずを出さないといけない。 AIの会話も同じで、新しい情報が増えると古い会話が押し出されます。
例② 短期記憶の限界
人間も一度に覚えられることに限界がありますよね。 AIにとってのコンテキストウィンドウは、まさに「作業記憶」の容量。 長い作業をお願いするときは、大事な情報を適度に繰り返すのがコツです。
AIは無限に記憶できるわけではない。 長文のナレッジを渡すときは「全部詰め込む」ではなく「必要な部分だけ抜粋して渡す」が鉄則。 会話が長くなって「あれ?さっき言ったこと忘れた?」と感じたら、それは窓から押し出された可能性大です。