チャンキングとは？
チャンキングは、ページや文書を小さな一節に分割し、取得システムがそれぞれに索引を作って、AIの回答に最も関連する部分だけを返せるようにする処理です。見出しが明快で段落が単独で成り立つコンテンツはきれいに分割され、適切な一節が取得され引用されやすくなります。
チャンキングが自社のコンテンツに関わる理由
取得システムがページ全体をモデルに渡すことはまれで、最も一致するチャンクを渡します。節が明快で段落が単独で成り立つページはうまく分割され、特定の答えをきれいに取り出せます。まとまりのないページはうまく分割されず、より明快な競合に負けます。
チャンクしやすい書き方
- 直下で答える質問を示す、説明的な見出しを使う
- 前の文脈がなくても各段落が単独で成り立つようにする
- 一節の最初の文で要点となる事実を述べる
