開発者は自社アプリがテストされていることを知っていますか?
いいえ。テストは開発者との事前接触なしに、通常の消費者アカウントで実施されます。テスト前・中・後に通知することはありません。これにより、特定条件への狙った最適化や操作を防ぎます。
ホーム › 方法論
方法論2026 ベンチマーク方法論
最終更新:2026年4月20日
10のAIカロリートラッカーを、ラボで計量したポーションを基準として15,000枚の標準化食事写真で評価する方法。
ステップ1
アプリ選定
世界で最も利用されているAIカロリートラッカー上位10を、公開ダウンロード・レビューデータに基づき選定。少なくとも無料版または試用版でAI写真認識を提供することを条件とし、純粋なデータベース検索アプリは除外。10アプリリストは毎年見直されます。
ステップ2
画像ライブラリ(15,000枚)
10料理カテゴリ各1,500枚、計15,000枚:アメリカ、地中海、日本、中華、インド、メキシコ/ラテンアメリカ、東南アジア、中東、アフリカ、ヨーロッパ。難易度3段階:単純(単品)、混合(2~4要素)、複雑(5要素以上または密度の高い料理)。標準化照明、一定角度、スケール参照物体ありで撮影。
ステップ3
グラウンドトゥルース:ラボ計量ポーション
撮影前に各食事は校正済みラボスケール(精度±0.1g)で計量。マクロ栄養素構成は USDA FoodData Central および検証済地域DBから算出。これが各アプリのAI推定を比較する客観的基準となります。
ステップ4
テストプロトコル
- 三重提出:各写真を各アプリに3回送信し、中央値を最終スコアとする。
- ブラインドテスト:開発者は通知されず、どの画像が送信されたかも知らない。
- 通常の消費者アカウント:早期アクセスなし、プライベートAPIキーなし。
- 同一条件:同一端末、同一ネットワーク、同一照明。
ステップ5
スコアリング方式
最終スコアは5つの加重指標で構成:
- 食品認識率(30%):15,000枚に対する top-1 精度。
- ポーションMAPE(25%):グラム推定の平均絶対パーセンテージ誤差。
- 処理速度(20%):写真から結果までの中央値時間。
- 料理カバー(15%):10料理カテゴリでの一貫性。
- 学習と適応(10%):ユーザーフィードバック後の改善。
よくある質問
方法論に関するFAQ
なぜ画像ライブラリは公開されないのですか?
ライブラリを公開すると、開発者が将来の学習に画像を組み込み、後続サイクルが無効化されます。ライブラリは内部で維持し毎年更新されます。構築方法論は完全公開されているため、第三者は同等のベンチマークを再現できます。
このベンチマークの資金源は?
ベンチマークは自己資金です。全てのアプリ購入、テスト機材、ラボ検証費用は自費で賄われます。サイト収益はディスプレイ広告のみ。開発者、アフィリエイトプログラム、スポンサー掲載は費用に貢献せず、結果にも影響しません。