129 · G. エンジニアリング
Streaming
ストリーミング
結果が少しずつ流れてくる
こんにちは。今日はストリーミングについて
ストリーミングってそもそも何？
ストリーミングとは、結果が少しずつ流れてくる方式のこと。全部完成するのを待つのではなく、できた部分から順番に届きます。ChatGPTで文字が一文字ずつ出てくるあの動きが、まさにストリーミング。
身近な例えで理解する
例① Netflixの動画再生
映画をダウンロードし終わるのを待たなくても、再生ボタンを押した瞬間から見られる。見ながら裏で続きが届いている。これがストリーミング。AIも、答え全部できる前に、できた所から見せてくれる。
例② ChatGPTの文字出力
ChatGPTで質問すると、文字が一文字ずつスススッと表示される。あれは「全部できてから一気に出す」のではなく、「できた所から順に流して」見せている。読みながら待てるので、体感速度が早い。
まとめ
ストリーミングは「待ち時間の体感を短くする」技術。長文生成や動画生成では、全部完成を待つより、できた所から見せる方が圧倒的に体験が良い。