ما الذي لا تظهره هذه التجارب؟
اولا هي تجربة تختبر اثار التدخلات التي يجريها الباحث في بيئة محكمة (اي التقليص من عدد العوامل التي تتداخل معها).
بالنسبة للكثير فان RCT تعتبر المعيار الذهبي لاخذ القرارات الصحيحة في شأن الواقع العملي. اي اذا نريد ان نعلم ان تدخل معين يسبب نتيجة معينة، فان RCT هي افضل طريقة لاخذ القرار.
هذه التجارب لها محاسنها لاكتشاف الأسباب. فهي تصحح نفسها بنفسها بسبب طريقة بنائها، بما اننا نقلل قدر المستطاع العوامل الخارجية و نركز على عامل واحد فقط.
و لكن المشكلة الآن تكون بما تسميه كارترايت inference gap. استنتاج صحة لانها عملت هنا الى انها ستعمل هناك ايضا.
الهدف هنا هو تبيان انه لا يمكننا الوثوق بالRCT لإعطاء القصة الكاملة للسببية الكافية معرفيا.
المشاكل التي تواجهها هذه التجارب:
١-ليس كل العلوم و الأبحاث يمكن دراستها بهذه الطريقة.
لا يمكن للمرء ، على سبيل المثال ، استخدام هذه الطريقة لتسوية ما إذا كانت القيادة أثناء الغضب تزيد من حوادث المرور ، وما إذا كانت تجارب الاعتداء الجنسي في الطفولة تسبب مرضًا مزمنًا كبالغين ، أو ما إذا كان الاختلاس المنهجي مرتبطًا بإفلاس الشركة ، أو ما إذا كان الضرب في الرأس يسبب الدماغ ضرر. إذا أجرى أحدهم تجارب RCT لهذه التدخلات ، فإن المشاركين يخاطرون بضرر جسيم أو حتى الموت كنتيجة مباشرة للتجربة.
٢- معايير الإنتقاء و الإقصاء تكون جدا صارمة كي لا نلحق الضرر على الناس.
لأسباب أخلاقية ، يجب استبعاد مجموعات معينة من المشاركة. إذا كان شخص ما يعاني من الحساسية ، أو كان غير مستقر عقليًا ، على سبيل المثال ، فإن بعض التدخلات قد تعرضه للخطر.
في احدى الدراسات من قبل gomez marin درسوا اثار الملح على ضغط الدم عند الأطفال، 93 % من المشاركين تم اقصاؤهم.
٣- عادة RCT تختبر الآثار الشائعة داخل المجموعة. و هنالك افتراض في هذا النوع من الإختبارات، ان نفس السبب لا بد ان ياتي بنفس النتيجة.
يُعتقد أن السببية هي التي تحدث نفس النوع من التأثير على مجموعة متنوعة من السياقات.
فهذا النوع من الدراسات لا يدرس الإختلافات، ففي المجموعة الذي نود دراستها لا بد من التماثلية homogeneity. فلهذا اي تباين في العينة او النتيجة يجب معاملتها على انها noise (اي غير متنبأة من قبل الفرضية).
٤- حينما نذهب من عينة كبيرة الى حالة خاصة، فنحن نقوم باستنباط من الترددات frequencies الإحصائية للنزعات الفردية.
الفرق بين النزعات و الترددات, او الأولى ذو علاقة بالنوع و الكيفية و الثاني كمي.
إذا تم عرض طريقة التدريس إحصائيًا لتحسين نتائج الطلاب في مجموعة سكانية واحدة ، فهذا مقياس كمي بحت حول تكرار النتيجة داخل هذه العينة. ولكن من الممكن تمامًا أن يحصل الطلاب الأفراد ، أيضًا في العينة المختبرة ، على درجة أقل بهذه الطريقة أو حتى بدون تغيير. كل ما يمكن إظهاره من خلال دراسة السكان هو أن النتيجة الإجمالية تتحسن. لا يمكن أن يوضح سبب تحسن نتائج بعض الطلاب أو سبب انخفاض الآخرين. هذا سؤال نظري يقع خارج نطاق RCT.
في الطب هنالك خطر في تطبيق نتائج RCT على اشخاص بعينهم individual patients. لان التطبيق الذي يصلح لأغلب الناس ممكن الا يصلح للجميع.
فلهذا النزعات الفردية لا يمكن استنباطها من الترددات الإحصائية و هذه تسمى ecological fallacy.
٥- الإنحيازات biases.
اذا دراسة معينة لم تنتهي او نتائجها كانت خاطئة فلا يتم النشر، و هذا انحياز للفرضية، كي لا بتم ضحدها.
بالإضافة هنالك selection biase انحياز في اختيار العينة تكون تمثل عامة السكان.
فمثلا الدراسات في الإقتصاد و البسيكولوجي تستم عينات من طلاب امريكان، فهل هذه العينة تمثل عامة سكان الأرض؟
ففي النهاية RCT عندها توثيق داخلي قوي، و لكن يستحيل ان تقول لنا اذا هذه النتائج صالحة في الخارج، اي الواقع.
فلهذا ان نأخذ قرار معين بناء على هذه التجربة لا يصح هكذا باطلاق، بل لا بد ان نراعي المصالح الأخرى و نتأكد من الفرضيات السابقة القائمة في هذه التجربة و هل يصح ان نعممها.