ChatGPTやClaudeを使っていると、「コンテキストに限界がある」「入力できる情報量に上限がある」という話を聞いたことがありませんか？
この上限を決めているのが「トークン」という単位です。
トークンとは、AIがテキストを処理するときの最小単位のことで、文字数とは異なる概念です。
文字数とは違う概念で、日本語と英語では消費量の感覚も変わります。
このノートでは、トークンとは何か・文字数との違い・実務での意識の仕方を、非エンジニアが使う視点で整理します。
トークンとは何か
トークンとは、AIがテキストを処理するときの最小単位です。
人間が「文章を読む」とき、単語・文・段落という単位で情報を理解しますが、AIは異なります。
入力されたテキストを細かい単位（トークン）に分割してから処理します。
英語の場合、1単語が1〜数トークンになることが多く、“ChatGPT” のような単語も複数のトークンに分割されることがあります。
日本語の場合、「私」「は」「今日」がそれぞれ1〜2トークン前後になることが多いです。
スペース・句読点・記号も、それぞれトークンとして消費します。
「文章」ではなく「トークンの集まり」として処理している、というのがAIの基本的な動き方です。
AIは「文字を読む」のではなく「トークンで処理する」
AIが文章を理解するとき、「文字を一つひとつ読んでいる」と感じるかもしれませんが、実際の仕組みはやや異なります。
AIは、入力されたテキストを事前に学習したパターンをもとに「トークン」に分解し、そのトークン列をもとに次の言葉を予測しています。
「意味を理解して返答している」というより、「大量のパターンから次に来るべきトークンを計算している」という方が仕組みとしては近いです。
この処理方式が、いくつかの実務上の特徴につながります。
どれだけ長い文章でも、AIはトークン単位で処理する
1万字の資料をそのまま渡しても、AIは「1万字の文書を読んだ」のではなく「数万トークンを処理した」ことになります。
「意味」より「出現パターン」に近い
AIは「この文章の意図を完全に理解した」わけではなく、「学習済みパターンからもっともらしい返答を生成している」に近い仕組みです。トークン分解の仕方によって、出力が微妙に変わることがあります。
AIは文章の「意味」をそのまま理解しているのではなく、トークンに分解したパターンから処理している。この仕組みを知ると、AIの出力がなぜそうなるかの感覚が変わります。
なぜ文字数とトークン数が違うのか
「文字数」と「トークン数」は一致しません。
日本語と英語では、同じ情報量を表すのに必要なトークン数が異なります。
日本語は英語と比べて、同じ情報量でもトークン数が増えやすい傾向があります。
同じ内容を日本語で書いた場合と英語で書いた場合、英語の方がトークン数を抑えやすいです。
書き方によってもトークン数は変わります。余計な改行や記号が多い文章は、情報量に対してトークンを余分に消費します。
「500文字のテキストだから大丈夫」という感覚は正確ではありません。
日本語の500文字は、英語の500文字よりトークン数が多くなることがほとんどです。
トークン上限がコンテキストの限界を決める
前回の記事、
コンテキストとは？AIの性能を変える「情報環境」の考え方
の最後に、「コンテキストには上限がある」と書きました。
この上限を決めているのがトークンです。
AIが1回の会話で処理できるトークンの総量を「コンテキストウィンドウ」と言います。
これを超えると、AIは古い情報から参照できなくなります。
コンテキストウィンドウに含まれるのは会話の文章だけではありません。
・あなたが送ったメッセージ
・AIが返したメッセージ
・最初に設定したシステムプロンプト（役割・ルールなど）
・添付したファイル・資料の内容
これらすべてを合計したトークン数が、コンテキストウィンドウの範囲内に収まっていることが前提です。
長い会話を続けていると、上限に近づいていきます。そうなると何が起きるか。
会話の前半の情報が参照されにくくなる
「最初にお願いした条件を無視している」「何度も同じことを修正している」という現象は、トークン上限に近づいていることが一因です。
指示が矛盾し始める
大量の資料と複数の指示が混在すると、AIがどの情報を優先するか判断できなくなることがあります。
長い会話の後半で出力が不安定になるのは、このためです。
会話が長くなるほど、前半に渡した情報はAIから遠ざかります。
重要な前提条件は、会話の都度リマインドする習慣が実務では機能します。
実務で重要なのは「トークン節約」ではなく情報選択
「トークン消費を減らす」ことを意識しすぎると、必要な情報まで削ることになります。
実務で重要なのはトークンの節約そのものではなく、「渡す情報を選ぶこと」です。
同じ情報量でも、渡し方によってトークンの使い方は変わります。
長文資料をそのまま貼り付けない
10ページの資料をそのまま渡すより、「このドキュメントの〇〇に関する部分だけ」に絞って渡す方が、トークンを有効に使えます。
会話が長くなったらリセットする
長い会話を1セッションで続けるより、区切りのいいタイミングで新しい会話を始めた方が、AIの参照精度が安定します。
このとき、新しい会話を始める前に「今までの作業内容と前提条件をまとめて」とAIに依頼しておくと便利です。
まとめてもらった内容をコピーして、新しいセッションの冒頭に貼り付けるだけで、前提情報を素早く引き継げます。「前提情報を再度整理する」という手間を最小化しながら、後半のズレを防ぐ実務的な使い方です。
繰り返す作業は短い前提文にまとめる
「今日の作業の前提はこうです」とまとめた定型文を持っておくと、毎回の会話立ち上げがシンプルになります。
コンテキストを整えながら、トークンの無駄遣いを避けられます。
「全部渡せば安心」は違います。
AIに渡す情報は「多ければいい」ではなく「必要なものだけを選んで渡す」が正解です。
「渡す情報を選ぶ」がAI活用の実力になる
トークンの概念を知ると、AI活用で起きているさまざまな現象の理由がわかるようになります。
「会話が長くなると出力がズレ始める」
「大量の資料を渡したら指示の一部が無視された」
「日本語のプロンプトが思ったより制限に近い」
これらはすべて、トークンの仕組みと関係しています。
コンテキストとトークンはセットで理解する概念です。
コンテキストを整えることがAI活用の土台、トークンを意識することがコンテキスト設計の精度を上げる。
この順序で考えると、実務でのAIとの向き合い方が変わります。
「たくさん渡せば出力がよくなる」ではなく、「必要なものを選んで渡す設計」を持てるかどうか。
ここが、AI活用の精度を大きく左右します。
次回は「Markdownとは？AI時代に全員が使うべき理由を実務視点で解説」です。
トークンを学んだ次のステップとして、AIとやり取りする際の書き方の標準形として機能するMarkdownを取り上げます。
トークンを意識するとは、「情報を選ぶ力」を鍛えること。
これはAI活用の精度を上げると同時に、業務設計全体の質も上げます。
＼AIを使った記事制作・コンテンツ運用を止めずに続けたい方へ／
記事の企画から執筆・公開まで、まるごとお任せください。
