האם המפתחים יודעים שהאפליקציות שלהם נבדקות?
לא. הבדיקות מתבצעות עם חשבונות צרכן רגילים ללא קשר מוקדם עם המפתחים. הם לא מקבלים הודעה לפני, במהלך או אחרי הבדיקה. זה מונע כל מניפולציה או אופטימיזציה מקדימה מכוונת לתנאים הספציפיים שלנו.
בית ← מתודולוגיה
מתודולוגיהמתודולוגיית המבחן 2026
עודכן לאחרונה: 20 באפריל 2026
איך אנו מעריכים 10 מעקבי קלוריות AI מול 15,000 תמונות מזון מתוקננות, עם מנות שקולו במעבדה כבסיס.
שלב 1
בחירת אפליקציות
אנו כוללים את 10 מעקבי הקלוריות AI הנפוצים ביותר ברחבי העולם, על בסיס נתוני הורדות וביקורות ציבוריים. האפליקציות חייבות להציע זיהוי תמונה מבוסס AI לפחות בגרסה חינמית או ניסיון; אפליקציות מבוססות-חיפוש בלבד מוחרגות. רשימת ה-10 נבחנת מדי שנה.
שלב 2
ספריית תמונות (15,000 תמונות)
15,000 תמונות מזון ב-10 קטגוריות מטבח (1,500 תמונות לכל אחת): אמריקאי, ים-תיכוני, יפני, סיני, הודי, מקסיקני/לטיני-אמריקאי, דרום-מזרח אסיה, מזרח תיכון, אפריקאי ואירופי. שלוש רמות קושי: פשוט (מזון יחיד), מעורב (2-4 מרכיבים) ומורכב (5+ מרכיבים או מנות דחוסות). התמונות מצולמות בתאורה מתוקננת, בזוויות עקביות, עם חפץ ייחוס לקנה-מידה.
שלב 3
אמת בסיס: מנות שקולות במעבדה
כל ארוחה מצולמת נשקלת על משקלי מעבדה מכוילים (דיוק ±0.1 ג') לפני הצילום. ההרכב התזונתי מחושב מ-USDA FoodData Central ומסדים אזוריים מאומתים. זה יוצר ייחוס אובייקטיבי מולו אנו מודדים את הערכות ה-AI של כל אפליקציה.
שלב 4
פרוטוקול בדיקה
- הגשה משולשת: כל תמונה מוגשת שלוש פעמים לכל אפליקציה, החציון משמש כציון הסופי.
- בדיקות עיוורות: המפתחים לא מקבלים הודעה ולא יודעים אילו תמונות נשלחות.
- חשבונות צרכן רגילים: ללא גישה מוקדמת, ללא מפתחות API פרטיים.
- תנאים זהים: אותו מכשיר, אותה רשת, אותה תאורה.
שלב 5
שיטת הניקוד
חמישה מדדים משוקללים מרכיבים את הציון הסופי:
- שיעור זיהוי מזון (30%): דיוק top-1 על 15,000 תמונות.
- MAPE מנות (25%): שגיאה אבסולוטית ממוצעת באחוזים בהערכת גרמים.
- מהירות עיבוד (20%): זמן חציוני מהתמונה לתוצאה.
- כיסוי מטבחים (15%): עקביות לאורך 10 קטגוריות מטבח.
- למידה והתאמה (10%): שיפור לאחר משוב המשתמש.
שאלות נפוצות
שאלות נפוצות על המתודולוגיה
למה ספריית התמונות לא מפורסמת?
פרסום הספרייה יאפשר למפתחים לכלול את התמונות באימונים עתידיים, מה שיבטל מחזורים מאוחרים יותר. הספרייה מוחזקת פנימית ומוחלפת מדי שנה. המתודולוגיה לבנייתה גלויה לחלוטין כך שאחרים יכולים לשחזר מבחן דומה.
מי מממן את המבחן הזה?
המבחן ממומן עצמאית. כל רכישות האפליקציות, ציוד הבדיקה ועלויות אימות המעבדה משולמים מהכיס. האתר מייצר הכנסות רק מפרסומות תצוגה. אף מפתח, תוכנית שותפים או מיקום ממומן לא תורם לעלויות או משפיע על התוצאות.