LLMにおけるトークンとは？
言語モデルが実際に処理するテキストの塊がトークンです。単語、単語の一部、句読点などが該当します。目安として、1,000トークンは英語で約750語です。モデルのコンテキストウィンドウ、APIの料金、回答の長さの上限は、すべてトークンで数えられます。
マーケティングチームが知っておく理由
取得に支えられたアシスタントは、答える前にページの抜粋をトークンの予算に収めます。長く回りくどいページはその予算を浪費し、答えを前に置いた締まった節は、より多くの使える根拠をウィンドウに収めます。トークンを節約して書くことは、そのまま引ける回答を書く訓練と同じです。
関連する尺度
- コンテキストウィンドウ：モデルが一度に考慮できるトークンの上限
- チャンキング：コンテンツを取得に適したトークンの塊に分けること
- 出力の上限：AIの回答が途中で切れ、引用する情報源が少数にとどまる理由
