開發者知道他們的應用正被測試嗎?
不知道。測試使用標準消費賬戶,事先不聯絡開發者。測試前、中、後都不通知。這防止任何針對我們特定條件的預先最佳化。
首頁 › 方法論
方法論2026 基準測試方法
最後更新:2026 年 4 月 20 日
我們如何在 15,000 張標準化餐食照片上評估 10 款 AI 卡路里追蹤應用,以實驗室稱重份量作為參考標準。
第 1 步
應用選擇
我們納入根據公開下載和評分資料全球使用最廣泛的 10 款 AI 卡路里追蹤應用。應用必須在至少一個免費或試用版本中提供基於 AI 的照片食物識別;純基於資料庫搜尋的應用被排除。10 款名單每年稽核。
第 2 步
影象庫(15,000 張照片)
15,000 張餐食照片,分佈在 10 個菜系類別(每類 1,500 張):美式、地中海、日式、中式、印度、墨西哥/拉美、東南亞、中東、非洲和歐洲。三個難度等級:簡單(單一食物)、混合(2–4 種成分)和複雜(5+ 種成分或密集菜餚)。照片在標準化光照下、以一致角度拍攝,帶參考物用於比例。
第 3 步
參考標準:實驗室稱重份量
每份拍照的餐食在拍攝前都用校準過的實驗室秤(精度 ±0.1 g)稱重。宏量營養素成分根據 USDA FoodData Central 和經過驗證的區域資料庫計算。這建立了一個客觀參考,我們用它來測量每款應用的 AI 估算。
第 4 步
測試協議
- 三次提交:每張照片向每款應用提交三次,以中位數作為最終分數。
- 盲法測試:開發者既不被通知,也不知道正在提交哪些影象。
- 標準消費賬戶:沒有提前訪問,沒有私有 API 金鑰。
- 相同條件:相同裝置、相同網路、相同光照。
第 5 步
評分系統
五個加權指標構成最終得分:
- 食物識別率(30%):15,000 張照片上的 top-1 準確率。
- 份量 MAPE(25%):克數估算的平均絕對百分比誤差。
- 處理速度(20%):從照片到結果的中位時間。
- 菜系覆蓋(15%):10 個菜系類別的一致性。
- 學習與適應(10%):使用者反饋後的改進。
常見問題
方法論常見問題
為什麼影象庫不公開?
公開影象庫會讓開發者在未來訓練中包含我們的基準影象,使後續週期失效。庫內部保留,每年更換為新的影象集。構建方法完全公開,以便他人可獨立復現可比較的基準。
誰為這個基準測試出資?
基準是自籌資金。所有應用購買、測試裝置和實驗室驗證成本都由我們自掏腰包。網站僅透過展示廣告產生收入。沒有開發者、聯盟專案或贊助置入對成本作貢獻或影響結果。