トークンとは、生成AIが文章を処理するときの「区切りの単位」です。私たちが文字や単語で数えるところを、AIはトークンで数えています。 知っておくと得なのは、料金・入力できる量・回答が途中で切れる現象の3つが、すべてトークン数で決まっているからです。ただし、普段のチャット利用ではほとんど気にする必要はありません。
この記事の要点
- トークンは文字数とも単語数とも違う。言語やサービスで数え方が変わる
- 効いてくるのは「料金」「入力の上限」「出力が途中で切れる」の3場面
- 日常のチャットでは意識不要。API利用と長文処理で初めて効く
トークンとは：AIにとっての文章の区切り
AIは文章をそのまま読んでいるわけではありません。まず文章を細かい断片に分け、その断片ごとに処理します。この断片がトークンです。
トークンは、単語1つのこともあれば、単語の一部のこともあります。英語なら短い単語は1トークンで済み、長い単語や珍しい単語は複数に分かれることがあります。
日本語は、英語と比べてトークン数が多くなりやすい傾向があります。 ひらがな・カタカナ・漢字と文字の種類が多く、区切り方が複雑になるためです。ただし、具体的にどれくらい増えるかはサービスやモデルによって異なるため、「日本語は1文字＝何トークン」といった換算は、鵜呑みにしないほうが安全です。
AIがトークンの並びから次を予測する仕組みはLLM（大規模言語モデル）とは？で解説しています。
トークンが効いてくる3つの場面
1. 料金
多くのAPIサービスでは、やり取りしたトークン数に応じて料金が決まります。長い文章を投げるほど、また長い回答を受け取るほど、コストが上がる仕組みです。
入力と出力で単価が違う場合がある点も知っておくと役に立ちます。一般に、AIが生成する側（出力）のほうが単価が高く設定されていることが多いため、「長い回答をたくさん出させる」使い方はコストが膨らみやすい傾向があります。
具体的な料金体系は各社で異なり改定も頻繁なため、AIツール料金比較や各社の公式情報でご確認ください。
2. 入力できる量の上限
AIが一度に扱えるトークン数には上限があります。これをコンテキストウィンドウと呼びます。長い資料を貼ったときに「入りきらない」「前半を忘れている」といったことが起きるのは、この上限が理由です。詳しくはコンテキストウィンドウとはへ。
3. 回答が途中で切れる
意外と知られていないのがこれです。 入力だけでなく、出力にもトークンの上限が設定されています。
「長い文章を書いて」と頼んだときに、文の途中でぷつりと止まることがあります。これはAIが力尽きたのではなく、出力の上限に達しただけです。
対処は簡単で、「続きを書いて」と伝えれば再開します。あるいは、最初から分割して頼むほうが安定します。
トークンを減らす実務のコツ
APIを使う場合や、長い文章を扱う場合に効きます。
- 貼る前に要らない部分を削る：ヘッダー、フッター、目次、繰り返しの定型文。本題だけを渡すと、精度も上がります
- 会話を分ける：同じ会話を延々と続けると、過去のやり取り全体が毎回処理の対象になり、トークンが積み上がります。話題が変わったら新しい会話を始めます
- 出力の長さを指定する：「200字で」と伝えるだけで、出力側のトークンが抑えられます
- 要約してから渡す：長い資料は、いったん要約してから本題を頼むと効率的です（AIで長文を要約する方法）
- 指示は簡潔に：丁寧すぎる前置きは、トークンを消費するだけで精度には寄与しません（プロンプトとは？）
気にしなくていい場合
正直に書いておきます。個人が無料または定額のプランでチャットを使っている範囲では、トークンを意識する必要はほとんどありません。
意識する価値が出てくるのは、次のような場合です。
- APIを使って、従量課金で自社のサービスに組み込んでいる
- 長い資料（報告書、議事録、書籍のような分量）を頻繁に扱う
- 大量のデータを繰り返し処理している
- 「回答が途中で切れる」「前半を忘れる」現象の理由を知りたい
それ以外の場面では、トークンより「どう頼むか」を工夫するほうが、はるかに効果があります。
FAQ
Q. トークンと文字数は同じですか？ A. 違います。トークンは文字や単語のかたまりを指す単位で、言語やサービスによって数え方が変わります。同じ内容でも、日本語と英語ではトークン数が異なります。
Q. 日本語は英語より何倍くらいトークンを使いますか？ A. 日本語のほうが多くなりやすい傾向はありますが、倍率はサービスやモデルによって異なるため、一律の数字はお伝えできません。正確に知りたい場合は、利用しているサービスが提供する計測ツールや公式情報をご確認ください。
Q. 回答が途中で切れるのはなぜですか？ A. 出力側のトークン上限に達したためです。故障ではありません。「続きを書いて」と伝えれば再開します。長い文章が必要な場合は、最初から分割して頼むほうが安定します。
Q. トークンを減らすと、回答の質は落ちますか？ A. 落ちるとは限りません。むしろ、不要な情報を削ったほうが精度が上がることがよくあります。減らすべきは本題ではなく、余分な前置きや無関係な部分です。
Q. 普段のチャット利用でも意識すべきですか？ A. ほとんど必要ありません。API利用や長文処理をするようになったときに、あらためて確認すれば十分です。
まとめ
- トークンは、AIが文章を扱うための区切りの単位。文字数とも単語数とも違う
- 日本語はトークン数が多くなりやすい傾向。ただし換算値はサービスで異なる
- 効いてくるのは料金・入力の上限・出力が途中で切れるの3場面
- 減らすコツは「要らない部分を削る」「会話を分ける」「出力の長さを指定する」
- 日常のチャットでは気にしなくてよい。APIと長文処理で初めて意味を持つ知識
次に読む：LLM（大規模言語モデル）とは？／コンテキストウィンドウとは
※トークンの数え方・料金体系・上限は言語やサービスにより異なり、改定されることもあります。詳細は各サービスの公式情報をご確認ください。
出典
- 本記事は概念解説のため、外部の数値出典は用いていません
- 各AIサービスのトークン換算・料金体系・上限は各社公式情報
最終更新：2026年7月25日／fondantAI編集部