先日にはGoogle Pixel 11シリーズがいよいよ正式発表されましたが、今後おそらく「ベンチマークスコア」が徐々に公開されていく流れになるのかなと思います。
特に例年通りであれば海外からの方が情報が早いと思います。今回YouTubeにおいてPixel 11シリーズのベンチマークスコアとTPUについてコメントを頂いたのでまとめたいと思います。
ベンチマークが不安。
Google Pixel 11シリーズが正式発表される前にベンチマークスコアがリークして話題となりました。その上で今回YouTubeにおいて以下のようなコメントを頂きました。
Pixel 11 Pro XLのGeekbenchスコアが出てマルチコアの数値がTensor G5より１割くらい低いようですが、これでもTPUは他のSoCより良いんですかね？
別にPixelへの批判でもなんでもなく単純に疑問だと思います。その上でGeekBenchでそもそもNPUやTPUを計測することが出来るのかまとめると以下のようになります。
| 比較・検証項目 | 通常版 Geekbench (Geekbench 6 / 7) |
AI特化版 Geekbench AI (旧 Geekbench ML) |
|---|---|---|
| NPU / TPUの計測 | ❌ 計測不可（対象外） | ⭕ 直接計測可能 |
| 主な測定対象 | • CPU（シングルコア / マルチコア） • GPU（OpenCL / Vulkan / Metal） |
• NPU / TPU（AIアクセラレータ） • GPU / CPU（AI演算処理時） |
| ベンチマーク内容 | 整数・浮動小数点演算、メモリ帯域、ファイル圧縮、画像処理等の各種プロセッサ基礎性能 | 画像分類、オブジェクト検出、スタイル変換、自然言語処理等の**実際の機械学習（AI）タスク** |
| 使用フレームワーク （バックエンド） |
CPU命令セット、OpenCL、Vulkan、Metal APIなど | • **Android：** Qualcomm QNN、NNAPI、TensorRT • **iOS：** Core ML（Neural Engine駆動） |
| 最適用途・目的 | アプリの基本起動速度、ゲーム動作の安定性、CPU/GPUの素の処理能力を知りたい場合 | 💡 オンデバイスAI性能の計測： PixelのTPUやSnapdragon/DimensityのNPUによるAI処理性能をスコア化したい場合 |
少なくともリークしていたベンチマークスコアからTPUやNPUの実力を計測することが出来ないので注意が必要です。
そもそも計測が難しい。
一方でAIを計測できるベンチマークがあるとはいえ一般的に比較は難しいとも言われており、まとめると以下のようになります。
| 検証・分析セグメント | 測定方法・仕組み要約 | 評価・分析における重要ポイント |
|---|---|---|
| 📊 1. スマホ各プロセッサ の測定指標 |
• CPU：** Geekbench等のスコア（CPU演算） • GPU：** 3DレンダリングFPS・スコア • NPU / TPU：** TOPS、推論時間（ms）、AIスコア • SoC全体：** 総合ベンチマークスコア |
💡 基本指標の違い： NPU/TPUは単純な演算力だけでなく、特定の処理における「推論効率」が重要視される。 |
| 🧩 2. NPU / TPUの評価 が複雑化する理由 |
• 実行するAIタスク（画像認識、超解像、ノイズ除去、小型LLM等）により得意・不得意が分かれる。 • AndroidではCPU/GPU/NPUのどこで実行されるかの制御・特定が難解なケースがある。 |
⚠️ タスク依存性： 単一の指標だけで「どちらのAI性能が上か」を一概に判定することはできない。 |
| 💡 3. 理論性能（TOPS）と 実際のアプリ処理速度のギャップ |
• 公称TOPS値（例：60 TOPS vs 40 TOPS）が高くても、実効速度が比例するとは限らない。 • メモリ帯域、キャッシュ、AIモデル最適化、精度（Quantized/FP16等）、SDK/ドライバが実効速度を大きく左右。 |
◯ TOPS数値への過信注意： TOPSはあくまで理論上限値であり、アプリ上での体験速度とは別物である。 |
| 🔍 4. スマホAI性能を測る おすすめ評価の3軸（結論） |
• ① Geekbench AI：** アクセラレータの精度別（単精度/半精度/量子化）実効スコアを比較。 • ② AIモデルの実測：** LLMや画像生成を直接動かし、tokens/sや処理時間を計測。 • ③ メーカー公称TOPS：** NPU/TPUハードウェア単体の理論上の性能限界を確認。 • 結論：** 3つの切り口を組み合わせることで、「TOPSが低くてもTensorのTPUが実効AI処理で速い」といった複雑な実態を正確に分析可能。 |
|
結局のところ複数の視点で検証する必要があり、単純に一つのベンチマークから判断することは難しいです。何よりユーザーにとって「ベンチマーク」が優れていることよりも「実使用」において快適に動作することが重要なのかなと思います。
