נק' מוניטין:
58,703
לפני כמה ימים יצא מחקר חסר תועלת עם בושה לכל מי שמבין קצת בסטטיסטיקה. המחקר טוען שצריכה של ממתיקים מלאכותיים, במיוחד כאלו שמגיעים במשקאות דיאט למיניהם, עלולים לגרום לשבץ ושיטיון (דמנציה - ירידה בפעילות הקוגניטיבית של המוח.
במחקר נמצא שאלו שצרכו משקע עם ממתיק מלאכותי לפחות אחת ליום היו בסיכון מוגבר לפתח דמנציה או שבץ מאשר אלו שצרכו משקה עם ממתיק מלאכותי אחת לשבוע. אבל במספרים מדובר ביחס מספרי גם מאוד קטן, רק 81 מתוך 1484 אנשים נמצאו עם דמנציה ו-63 אנשים עם אלצהיימר – מי אמר שזה מהממתקים מלאכותיים? זה יכול להיות מאוד 10001 סיבות אחרות, בין היתר גנטיות (אם נוסיף גם את הפקטור שהאנשים הללו היו מעל גיל 60, הינה לכם מחקר "לא משהו" בלשון המעטה). שימו לב גם שבתוצאות המחקר כתבו "פי 3" וזה גם מה שרוב אתרי החדשות הולכים לצטט ומצטטים כבר ברחבי העולם. אבל במספרים מדובר על אחוזים בודדים של אנשים שלא בהכרח קיבלו את התסמונות ממתיקים מלאכותיים!
בתגובות הצגתי קצת למי שמבין במחקר מדוע מסקנות החוקרים לא קשורות בכלל לנתונים שהציגו. אין במחקר הזה שום יחס סיבה-תוצאה (סיבתיות) וזה עצוב איך בכלל דבר כזה עבר ביקורת עמיתים.
החוקרים הריצו כ-90 מבחנים סטטיסטים וככל שמריצים יותר מבחנים שכאלו קשה לדעת מה התוצאה מאחר וניתן לקבל תוצאה רנדומלית כמו "עלול להזיק פי 3" רק מעצם עקרון הסתברותי בהרצה של כל כך הרבה מבחנים. נעזור את זה, הם בכלל לא עשו התאמות כדי להתחשב בכך בסוף האנליזה הסטטיסטית שלהם:
""we did not adjust our findings for multiple testing, meaning that some findings may be attributable to chance"
לחנונים של סטטיסטיקה:
אם עושים התאמה ל multivariable adjustment מקבלים p=0.12 כנגד 57 תרחישים. תבינו לבד מה זה אומר.
במחקר נמצא שאלו שצרכו משקע עם ממתיק מלאכותי לפחות אחת ליום היו בסיכון מוגבר לפתח דמנציה או שבץ מאשר אלו שצרכו משקה עם ממתיק מלאכותי אחת לשבוע. אבל במספרים מדובר ביחס מספרי גם מאוד קטן, רק 81 מתוך 1484 אנשים נמצאו עם דמנציה ו-63 אנשים עם אלצהיימר – מי אמר שזה מהממתקים מלאכותיים? זה יכול להיות מאוד 10001 סיבות אחרות, בין היתר גנטיות (אם נוסיף גם את הפקטור שהאנשים הללו היו מעל גיל 60, הינה לכם מחקר "לא משהו" בלשון המעטה). שימו לב גם שבתוצאות המחקר כתבו "פי 3" וזה גם מה שרוב אתרי החדשות הולכים לצטט ומצטטים כבר ברחבי העולם. אבל במספרים מדובר על אחוזים בודדים של אנשים שלא בהכרח קיבלו את התסמונות ממתיקים מלאכותיים!
בתגובות הצגתי קצת למי שמבין במחקר מדוע מסקנות החוקרים לא קשורות בכלל לנתונים שהציגו. אין במחקר הזה שום יחס סיבה-תוצאה (סיבתיות) וזה עצוב איך בכלל דבר כזה עבר ביקורת עמיתים.
החוקרים הריצו כ-90 מבחנים סטטיסטים וככל שמריצים יותר מבחנים שכאלו קשה לדעת מה התוצאה מאחר וניתן לקבל תוצאה רנדומלית כמו "עלול להזיק פי 3" רק מעצם עקרון הסתברותי בהרצה של כל כך הרבה מבחנים. נעזור את זה, הם בכלל לא עשו התאמות כדי להתחשב בכך בסוף האנליזה הסטטיסטית שלהם:
""we did not adjust our findings for multiple testing, meaning that some findings may be attributable to chance"
לחנונים של סטטיסטיקה:
אם עושים התאמה ל multivariable adjustment מקבלים p=0.12 כנגד 57 תרחישים. תבינו לבד מה זה אומר.
