معلومة

منشورات متسرعة تستند إلى بيانات معيبة

منشورات متسرعة تستند إلى بيانات معيبة



We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

في عام 2014 ، أصدر BICEP2 بيانًا صحفيًا مثيرًا للجدل. تم تسريعها ، قبل نشر أي أوراق بحثية ، لأنهم كانوا يخشون أن تجرفهم تجربة أخرى مماثلة. في النهاية اتضح أن تحليلهم لبياناتهم كان معيبًا. لقد كانت دراماتيكية بشكل خاص لأنها لو كانت صحيحة لكانت تطورًا مهمًا.

هل توجد حالات مشابهة في علم الأحياء؟ ليس من الضروري وجود موقف مماثل ، ولكن نتيجة عالية المستوى تم إصدارها على عجل والتي تبين لاحقًا أنها غير صحيحة.


كيف استحوذت المجلات الطبية ومنظمة الصحة العالمية على هيدروكسي كلوروكين؟

بعض الأوراق العلمية توقف العالم في مساره. في خضم جائحة مستعرة ، كانت دراسة في مجلة الصحة العالمية الرائدة في العالم والتي بدت وكأنها تثبت خطأ الرئيس ترامب في الإشادة بعقار هيدروكسي كلوروكين لـ Covid-19 سيكون لها دائمًا تأثير هائل. فعلت. عندما أشارت الورقة إلى وجود خطر أعلى للوفاة على العقار ، توقفت التجارب في جميع أنحاء العالم ، بما في ذلك واحدة من قبل منظمة الصحة العالمية.

الآن هو في خطر الانهيار.

البيانات الخاصة بأكثر من 96000 مريض من 671 مستشفى في جميع أنحاء العالم تحت المجهر. تم بالفعل تأكيد الأخطاء. كشف تحقيق أجرته صحيفة The Guardian عن مشكلات كبيرة مع شركة Surgisphere الأمريكية الصغيرة التي تمتلك قاعدة البيانات. أصدرت مجلتان رئيسيتان - The Lancet ، التي نشرت ورقة hydroxychloroquine ، و New England Journal of Medicine ، التي نشرت ورقة سابقة من نفس المؤلفين مع بيانات من Surgisphere تخلص من أدوية ضغط الدم من أي تأثير سلبي في Covid-19 - التعبير عن القلق. هذا بيان رسمي يفيد بأن شيئًا ما ليس صحيحًا ، ولكنه أقل من التراجع. اعتمادًا على ما يقوله التدقيق ، قد يتبع التراجع.

هذه منطقة صعبة بالنسبة للمجلات ، التي ستتعرض بلا شك للانتقاد إذا تبين أن المواد المنشورة بها عيوب خطيرة.

لكن من السهل معرفة سبب اعتبار هذه الورقة مهمة للنشر. في خضم الجائحة ، وفي ظل الحاجة الماسة لإجابات العلاجات المحتملة ، يحرض رئيس الولايات المتحدة الناس على تناول الأدوية التي قد تكون خطرة ونقصها فجأة ، حتى بالنسبة للأشخاص الذين يحتاجون إليها لحالة أخرى - الذئبة. تسعى الدول جاهدة لشراء الأسهم على أمل إنقاذ الأرواح.

وفي الوقت نفسه ، يتم نشر عشرات الأوراق حول هيدروكسي كلوروكين ونسخته الأقدم ، الكلوروكين ، على الإنترنت في ما يسمى شكل ما قبل الطباعة ، مما يعني بدون مراجعة الأقران التي تجريها المجلات الرئيسية بشكل معتاد.

يُنظر إلى مراجعة الأقران على أنها وسيلة وقائية ضد الخطأ والاحتيال. ترسل المجلات مسودات الدراسات إلى عدد من الخبراء في مجال معين - ربما ثلاثة أو أربعة خبراء بارزين سوف يفكرون في محتويات وطرق ومعقولية النتائج ، ويوجهون انتقادات ويعطون إبهامًا لأعلى أو لأسفل للنشر ، المحرر لا يجب أن يقبل.

خضعت الدراسة التي أجراها البروفيسور مانديب ميهرا من جامعة هارفارد ومستشفى بريغهام والنساء في الولايات المتحدة على هيدروكسي كلوروكين والكلوروكين الأصلي المضاد للملاريا إلى شكل من أشكال مراجعة الأقران التي كانت أسرع من المعتاد بسبب الوباء.

يبدو أن لا أحد قد اكتشف الخطأ الذي صححه لانسيت منذ ذلك الحين فيما يتعلق بأعداد المرضى في أستراليا - الذين اتضح أنهم في آسيا. قد يكون ذلك بسبب إجهادهم واندفاعهم ، كما يفعل العلماء الآن ، ولكن قد يكون ذلك أيضًا لأنهم لم يروا قاعدة البيانات.

لكن هذا طبيعي. تنتمي قاعدة البيانات إلى Surgisphere. كان دور الشركة في الدراسة هو توفير البيانات من المستشفيات حول كيفية تعامل المرضى مع الأدوية أو بدونها. هذا هو السبب الذي جعل سابان ديساي ، الرئيس التنفيذي لشركة Surgisphere ، هو المؤلف الثاني. يتحمل مؤلفو البحث مسؤولية دقة البيانات التي يستخدمونها. عندما يحصلون عليها من شركة ما ، فإنهم عادة ما يقومون ببعض الفحوصات الموضعية للتأكد من أن ما تم إعطاؤهم لتحليله يمكن الاعتماد عليه.

قام البروفيسور ميهرا والمؤلفون المشاركون الآخرون الذين ليسوا جزءًا من Surgisphere ، المستاءين من الانتقادات ، بإعداد مراجعة مستقلة للبيانات - كيف وأين تم جمعها بالإضافة إلى دقتها - من شركة تدقيق خارجي في Bethesda . ومن المتوقع صدور تقريرهم بنهاية الأسبوع. قال ميهرا إنه لم يتوقع أبدًا أن تكون دراسته القائمة على الملاحظة هي الكلمة الأخيرة بشأن هذه الأدوية وشدد على أنهم استخدموا البيانات التي يمكنهم وضع أيديهم عليها لأن الأمر كان عاجلاً.

وقال في بيان: "لقد شددت بشكل روتيني على أهمية وقيمة التجارب السريرية العشوائية وأوضحت أن مثل هذه التجارب ستكون ضرورية قبل التوصل إلى أي استنتاجات".

"إلى أن تتوافر النتائج من مثل هذه الدراسات ، نظرًا لإلحاح الموقف ، كان استخدام مجموعة البيانات المتاحة خطوة وسيطة. أنتظر بفارغ الصبر كلمة من المراجعين المستقلين ، وستكون نتائجها مفيدة لأي إجراء آخر ".

هناك دروس هنا. أحدها أن مراجعة الأقران عملية معيبة ، كما سيخبرك العلماء جميعًا. إنها شبكة أمان ، لكنها تعتمد على أشياء كثيرة ، بما في ذلك الوقت الذي يتعين على المراجعين قضاؤه في الدراسة. وهم يرون مسودة الورقة ، وليس البيانات التي تستند إليها. لذلك ليس من المستغرب أنه لم يكن الخبراء المختارون هم من اكتشفوا الأخطاء ، لكن العلماء من جميع أنحاء العالم هم الذين أدركوا أن عدد المرضى في بعض المستشفيات لا يمكن أن يكون صحيحًا.

لكن الأهم من ذلك ، أن الدراسات القائمة على الملاحظة لها نقاط ضعف خطيرة ولا ينبغي أبدًا أن تصدر الحكم النهائي بشأن العلاجات الدوائية. كانت هذه دراسة رصدية كبيرة جدًا ، والتي يمكن أن تظهر الاتجاهات ، ولكن هناك دائمًا خطر عدم مقارنتها مع مثل. قد لا يتم علاج المرضى الذين عولجوا مع هيدروكسي كلوروكوين في الهند بنفس الطريقة التي عولجوا بها في فرنسا. المعيار الذهبي هو التجربة العشوائية المضبوطة ، والتي تم إعدادها بشكل هادف للإجابة على السؤال. تعد تجربة التعافي ، التي تضم أكثر من 11000 مريض مسجلين في كل مستشفى للحالات الحادة في المملكة المتحدة ، أكبر تجربة من نوعها في العالم. وهي تختبر سبعة علاجات بما في ذلك هيدروكسي كلوروكوين. بحلول شهر يوليو ، يجب أن تكون لدينا إجابة حقيقية - ليست مجرد إجابة تعكر المياه.


تجربة الخلايا الجذعية الإيطالية بناءً على بيانات معيبة

يثير العلماء مخاوف جدية بشأن براءة اختراع تشكل أساس علاج مثير للجدل بالخلايا الجذعية.

دافيد فانيوني ، عالم نفسي تحول إلى رائد أعمال طبي ، تسبب في استقطاب المجتمع الإيطالي في العام الماضي في محاولة للحصول على ترخيص علامته التجارية الخاصة من العلاج بالخلايا الجذعية. لقد حصل على دعم شعبي قوي بادعاءاته بعلاج الأمراض القاتلة - وكذلك معارضة شديدة من العديد من العلماء الذين يقولون إن علاجه غير مثبت.

يريد هؤلاء العلماء الآن من الحكومة الإيطالية سحب 3 ملايين يورو (3.9 مليون دولار أمريكي) من التجربة السريرية للعلاج الذي وعدت بدعمه في مايو ، بعد الانصياع لضغوط المرضى. يزعمون أن طريقة فانونوني في تحضير الخلايا الجذعية تستند إلى بيانات معيبة.

و الطبيعة تشير التحقيقات الخاصة إلى أن الصور المستخدمة في طلب براءة الاختراع لعام 2010 ، والتي يقول فانيوني أن طريقته مبنية عليها ، مكررة من أوراق سابقة غير ذات صلة.

يقول باولو بيانكو ، باحث الخلايا الجذعية في جامعة روما وأحد العلماء الذين يقولون إن طلب فانيوني لعام 2010 إلى مكتب براءات الاختراع الأمريكي ، إن التجربة "مضيعة للمال وتعطي أملًا كاذبًا للعائلات اليائسة" حتى التدقيق.

يقول لوكا باني ، المدير العام لوكالة الأدوية الإيطالية (AIFA) ، التي علقت العمليات في مختبرات Stamina في فانون في مؤسسة Vannoni's Stamina Foundation في بريشيا في مايو 2012 ، "لست مندهشًا من معرفة ذلك" ، بعد أن خلص المفتشون إلى أن المختبرات سوف لا تكون قادرة على ضمان مستحضرات خالية من التلوث للخلايا الجذعية. لم يظهر المفتشون منهجيات أو بروتوكولات منهجية. يقول: "لقد رأينا مثل هذه الفوضى هناك ، وعلمت أن الطريقة الرسمية لن تكون موجودة".

لكن الأسئلة التي أثيرت حول براءة الاختراع التي تدعم المنهجية اللازمة للمحاكمة يمكن أن تكون دينامية سياسية.

أكثر من 100 شخص يعانون من حالات تتراوح من مرض باركنسون إلى مرض الخلايا العصبية الحركية إلى الغيبوبة - ما يقرب من نصفهم من الأطفال - قد سجلوا بالفعل للمشاركة في التجربة التي ترعاها الحكومة ، على الرغم من عدم وجود دليل منشور على أن العلاج يمكن أن يكون فعالاً.

مُنحت مؤسسة Stamina الإذن بمعالجة أكثر من 80 شخصًا لأسباب إنسانية منذ عام 2007 ، ويقول فانيوني - الذي لم ينشر بيانات متابعة عن المرضى - إن مئات آخرين اصطفوا في انتظار العلاج عندما تم تعليق عمليات المختبر. نظم المؤيدون مظاهرات غاضبة في جميع أنحاء إيطاليا في وقت سابق من هذا العام.

التمايز القسري

يشمل العلاج استخراج الخلايا من نخاع عظام المرضى ، والتلاعب بها في المختبرثم حقنها مرة أخرى في نفس المرضى. تجنب Vannoni مرارًا وتكرارًا الكشف عن تفاصيل طريقته بخلاف تلك المتوفرة في طلب براءة الاختراع الخاص به ، والذي أشار إليه على أنه مكتمل.

طبيعة سجية أكد بشكل مستقل أن صورة مجهرية رئيسية في طلب براءة الاختراع تلك ، والتي تصور خليتين عصبيتين على ما يبدو تمايزتا عن خلايا انسجة نخاع العظم ، ليست أصلية. أحد كبار خبراء الخلايا الجذعية اتصل به طبيعة سجية يقول أن الصورة المجهرية الموضحة في الشكل 3 من براءة اختراع Vannoni مطابقة لتلك الموجودة في الشكل 2 ب من ورقة بحثية نشرها في عام 2003 فريق روسي وأوكراني 1.

أخبرت إيلينا شيغيلسكايا ، عالمة الأحياء الجزيئية في جامعة خاركوف الطبية الوطنية ، والمؤلفة المشاركة في ورقة عام 2003 ، طبيعة سجية أن الصورة المجهرية الخاضعة للفحص قد نشأت مع فريقها.

مثل براءة اختراع Vannoni ، بحثت ورقة Schegelskaya في إقناع خلايا نخاع العظام لتتمايز إلى خلايا عصبية. ولكن بينما تقول براءة اختراع فانيوني أن التحول تضمن احتضان خلايا نخاع العظم المزروعة لمدة ساعتين في محلول سعة 18 ميكرومولار من حمض الريتينويك المذاب في الإيثانول ، تستخدم ورقة شيجلسكايا محلول حمض الريتينويك مع عُشر هذا التركيز فقط ، وتحتضن الخلايا لعدة أيام. لذا فإن الأرقام المتطابقة تمثل ظروفًا تجريبية مختلفة جدًا.

تشير Schegelskaya أيضًا إلى أن الشكل 4 ، صورة مجهرية أحادية اللون في براءة الاختراع ، متطابقة مع صورة مجهرية ملونة نشرتها في مجلة جراحة الأعصاب الأوكرانية في 2006.

يمكن أن تتمايز خلايا نخاع العظام إلى خلايا عظمية أو دهنية أو غضروفية فقط. إن فكرة أنه يمكن إجبارهم على التحول إلى أنواع أخرى من الخلايا هي أساس الإمكانات العلاجية المزعومة في براءة اختراع فانيوني.

تقول إيلينا كاتانيو ، باحثة الخلايا الجذعية التي تدرس مرض هنتنغتون في جامعة ميلانو بإيطاليا: "في الحقيقة ، لم يتمكن أحد من إثبات أن خلايا نخاع العظام يمكن تحويلها بشكل مقنع إلى خلايا عصبية".

يقول فانيوني ، جنبًا إلى جنب مع مؤيدين آخرين للعلاج بالخلايا اللحمية لنخاع العظام ، إن الخلايا في علاجه قد تعمل عن طريق توجيه أي نسيج تالف وتقليل الالتهاب أو تعزيز نمو الأوعية الدموية هناك.

في العام الماضي ، أصدر مكتب براءات الاختراع الأمريكي رفضًا "قبل النهائي" لبراءة اختراع Vannoni - وهو رفض يسمح بإعادة التقديم ، على الرغم من أن Vannoni لم يعيد تقديمه بعد. لاحظ الرفض أن التطبيق تضمن تفاصيل غير كافية حول المنهجية ، وأن التمايز من غير المحتمل أن يحدث خلال فترة الحضانة القصيرة جدًا الموصوفة ، وأن ظهور الخلايا الشبيهة بالأعصاب في المزرعة من المرجح أن "يعكس التغيرات السامة للخلايا".

كان من المقرر أن تبدأ التجربة السريرية الإيطالية التي ترعاها الحكومة في 1 يوليو ، ولكن تم تأجيلها الآن لأن Vannoni قام بتأجيل الالتزامات ثلاث مرات للكشف عن طريقته إلى اللجنة المعينة من قبل الحكومة التي ستعد تفاصيل التجربة.

تضم هذه اللجنة ممثلين عن AIFA ووزارة الصحة الإيطالية وخبراء علميين مختلفين. يقودها معهد الصحة الفائق في روما ، هيئة الأبحاث الطبية الحيوية الرائدة في إيطاليا. ورفض رئيس المعهد فابريزيو أوليري التعليق.

طبيعة سجية قام بمحاولات متكررة للاتصال بـ Vannoni عبر البريد الإلكتروني والهاتف للتعليق ، منذ الأربعاء الماضي ، 26 يونيو ، لكنه لم يتلق أي رد. لم ترد مؤسسة Stamina Foundation على رسائل البريد الإلكتروني.

يقول إيرفينغ وايزمان ، مدير معهد ستانفورد لبيولوجيا الخلايا الجذعية والطب التجديدي في كاليفورنيا ، إن الحكومة الإيطالية لن تكون حكيمة في دعم تجربة مع القليل من الأدلة على فعاليتها.


وجهة نظر: لماذا الكثير من الدراسات العلمية معيبة وغير مفهومة بشكل جيد

هل يجب أن نصدق الولايات المتحدة الأمريكية اليوم العنوان ، "شرب أربعة فناجين من القهوة يوميا يقلل من خطر الموت"؟ وماذا يجب أن نصنع ، "غسول الفم قد يؤدي إلى الإصابة بمرض السكري. . . " ؟ هل يجب أن نأكل المزيد من الدهون وليس أقل؟ يبدو أن هذه الأنواع من الاستنتاجات ، التي يُفترض أنها من "دراسات علمية" ، تختلف من شهر لآخر ، مما يؤدي إلى توصيات "الخبراء" المتغيرة باستمرار. ومع ذلك ، فإن معظم تحذيراتهم تستند إلى "بحث" مشكوك فيه يفتقر إلى أساس علمي صالح ويجب أن ينزل إلى عالم الفولكلور والحكايات.

البحوث الخاطئة والمضللة مكلفة على المجتمع لأن الكثير منها ناتج عن سوء إنفاق التمويل الحكومي ، وغالبًا ما يؤدي إلى تنظيم غير حكيم. قد يكون أحد العلاجات هو زيادة المعرفة الإحصائية التي من شأنها أن تمكن الجمهور - وقادتهم المنتخبين - من رفض العلوم "غير المرغوب فيها".

الإحصاء هو أداة رياضية تستخدم في العديد من التخصصات العلمية لتحليل البيانات. الغرض منه هو تقديم نتيجة تكشف شيئًا عن البيانات غير واضح ، والذي سنشير إليه على أنه "نتيجة" أو "مطالبة". قبل الشروع في التحليل ، يقوم الباحث بصياغة فرضية - والتي هي أفضل تخمين له لما يتوقع حدوثه.

"القيمة الاحتمالية" مصطلح يستخدم في الإحصائيات للإشارة إلى ما إذا كانت النتيجة تؤكد النتيجة التي توقعها الباحث. جزء أساسي من هذه العملية هو أن قبل عند إجراء التحليل ، يجب على الباحث صياغة فرضية يتوقع أن يميل التحليل إلى إثبات أو دحض بناءً على القيمة p. كلما انخفضت القيمة الاحتمالية ، زادت الثقة في صحة النتيجة.

عادةً ما يتم تقديم فرضية "مقلدة" ، على سبيل المثال أن المعاملتين A و B متساويان في الفعالية ، ثم تتم مقارنة المعاملتين ، وأي قيمة p أقل من 0.05 (p & lt.05) ، وفقًا للاتفاقية ، تعتبر عادةً "ذات دلالة إحصائية "ويميل إلى دحض الفرضية القائلة بأن تأثيرات المعالجات هي نفسها. الفرضية البديلة ، A تختلف عن B (على سبيل المثال ، الأسبرين أفضل من حبوب السكر لتخفيف الصداع) مقبولة الآن.

ومع ذلك ، فهذه نقطة رئيسية - يمكن أن تحدث قيمة p أقل من 0.05 (p & lt.05) عن طريق الصدفة ، والتي تُعرف بالإيجابية الزائفة. تتمثل الطريقة العلمية القياسية لتحديد النتيجة الإيجابية الخاطئة في محاولة تكرار النتيجة الإيجابية الخاطئة المحتملة. إذا لم يتم تكرار النتائج الأصلية ، فمن المفترض أنها كانت خاطئة - وبقيت لدينا مع فرضية "البدائية" الأصلية التي تقول أنه لا يوجد فرق بين A و B.

لكن يمكن أن تتعقد الأمور ، لأنه يمكن التلاعب بتحليل القيمة الاحتمالية يبدو لدعم ادعاء كاذب. على سبيل المثال ، يمكن للعالم النظر في الكثير من الأسئلة ، والتي تُعرف باسم "تجريف البيانات" ، وصياغة فرضية بعد، بعدما يتم إجراء التحليل ، والذي يُعرف باسم HARKing ، H ypothesis بعد أن تكون النتيجة R هي K nown. هذه مجتمعة تنتهك المبدأ العلمي الأساسي الذي يجب على العالم بداية مع فرضية ، وليس تكوين واحدة بعد أن تخضع مجموعة البيانات للتحليل.

يوضح مثال بسيط لإرم العملة هذه النقطة. لنفترض أن أحد العلماء يحلل 61 تقليبًا لعملة ، وفي وقت ما هناك خمسة رؤوس متتالية على التوالي. عند رؤية هذه النتيجة ، يصوغ العالم فرضية مفادها أن هذه النتيجة ، غير المتوقعة المأخوذة في عزلة ، يبدو أنها تثبت أن العملة غير عادلة. يمكن تعزيز مفهوم عدم عدالة العملة من خلال عدم الكشف عن وجود 56 رمية أخرى للعملة في التسلسل.

هذا الادعاء ، بالطبع ، إيجابي خاطئ لأنه في المجموعة التالية المكونة من 61 قطعة نقود ، من غير المحتمل أن يكون هناك خمسة رؤوس متتالية في نفس المكان في التسلسل الجديد. في الجدول 1 نقدم عشرة متواليات من 61 إرمًا. تم إنشاء التسلسلات بالكمبيوتر باستخدام عملة معدنية بنسبة 50:50. لقد حددنا مكان وجود خمسة رؤوس أو أكثر واحدًا تلو الآخر.

في جميع المتتاليات باستثناء ثلاثة ، هناك سلسلة من خمسة رؤوس على الأقل. وبالتالي ، فإن احتمال حدوث تسلسل من خمسة رؤوس هو 0.5 5 = 0.03125 (أي أقل من 0.05). لاحظ أن هناك 57 فرصة في سلسلة من 61 رمية لخمسة رؤوس متتالية لتحدث. يمكننا أن نستنتج أنه على الرغم من أن التسلسل المكون من خمسة رؤوس متتالية نادر نسبيًا إذا تم أخذه بمفرده ، فليس من النادر رؤية تسلسل واحد على الأقل من خمسة رؤوس في 61 رمية لعملة واحدة.

الجدول 1. يوجد 10 سلاسل من 61 تقليبًا لكل قطعة ، 1 = رؤوس و 0 = ذيول. لاحظ أن 5 رؤوس متتالية تحدث (0.5) 5 = 0.03125 نادرًا ،

3٪ من الوقت ، ولكن مع 61 قلبًا ، توجد في 7 من 10 متتاليات ، مع 61 قلبًا. في أي من التسلسلات العشرة ، لا تظهر عمليات التشغيل المكونة من 5 رؤوس في نفس المكان في التسلسل.

الآن ، دعونا نفكر في تجربة استهلاك الغذاء. نقوم بمحاكاة نتائج استبيان تردد الطعام ، أو FFQ ، مع 61 نوعًا من الأطعمة المختلفة وتأثيراتها الصحية المحتملة. في مثل هذه التجربة ، سُئل عدد كبير جدًا من الأشخاص عن الكمية التي يتناولونها عادةً من هذه الأطعمة البالغ عددها 61. لاحقًا ، يجيب الأشخاص على استبيان صحي يحتوي على أسئلة حول ما إذا كانوا قد عانوا من ارتفاع ضغط الدم ، أو ارتجاع المريء ، أو تاريخ من الإصابة بسرطان البنكرياس ، وما إلى ذلك.

في الواقع ، استفسرت الدراسة الأولى من هذا النوع عن 61 نوعًا من الأطعمة. تم جمع العديد من الآثار الصحية في المسح الأخير. من أجل هذه المحاكاة ، من أجل توضيح مغالطة مثل هذه الدراسات ، سيكون لدينا 10 تأثيرات صحية ، مرقمة: سعادة 1 ... سعادة 10.

قد يكون نوع السؤال الذي يثير اهتمام المحققين ، "هل تناول برتقالة كل يوم يقلل من نسبة الكوليسترول؟" وبالتالي ، هناك 61 × 10 سؤالًا قيد البحث ويمكن ترتيبها في جدول 61 × 10 (الجدول 2). من المعتاد أن نعلن عن & # 8220 دلالة إحصائية & # 8221 إذا كانت القيمة p لأي من هذه الأسئلة الـ 610 لها قيمة p & lt0.05 ، ويمكننا استخدام جهاز كمبيوتر لمحاكاة الدلالة الإحصائية.

في الجدول 2 ، وضعنا "1" حيث كانت قيمة p المحاكاة أقل من أو تساوي 0.05 و "0" في أي خلية حيث كانت قيمة p المحاكاة أكبر من 0.05. يمثل كل عمود في الجدول تأثيرًا صحيًا منفصلاً. لاحظ أنه في هذه المحاكاة كل عمود (تأثير صحي) له قيمة احتمالية كبيرة. ما هي فرص وجود علاقة ارتباط واحدة على الأقل - ولكن ليست حقيقية - ذات دلالة إحصائية في تجربة 61 طعامًا مع تأثير صحي واحد فقط تم فحصه؟ اتضح أن الاحتمال مرتفع جدًا - حوالي 0.95 ، حيث يعني 1.00 أنه يحدث في كل مرة.

بطبيعة الحال ، فإن النظر إلى المزيد من التأثيرات الصحية يزيد من فرص الحصول على نتيجة ذات دلالة إحصائية في مكان ما من الدراسة. مع وجود 61 نوعًا من الأطعمة و 10 تأثيرات صحية ، فإن فرصة الحصول على نتيجة ذات دلالة اسمية عن طريق الصدفة إيجابية كاذبة إحصائيًا ، والنتيجة "الزائفة" - مضمونة بشكل أساسي. يبدو أننا نشاهد آلة توليد إيجابية زائفة.

الجدول 2. هناك 61 طعامًا ، وصفًا ، و 10 تأثيرات صحية ، عمود. تشير A & # 82201 & # 8221 إلى دلالة إحصائية ، و p & lt0.05 ، و a & # 82200 & # 8221 تشير إلى عدم وجود تأثير إحصائي اسمي. كل "1" هو إحصائي إيجابي خاطئ. لكل "1" يمكن كتابة ورقة حول نتيجة لا يُتوقع تكرارها.

لكن من المؤكد أن الفرق بين طرح سؤال واحد (غذاء واحد وتأثير صحي واحد) وطرح 610 سؤالاً معروف جيدًا للباحثين. حسنًا ، نعم ، ولكن طرح الكثير من الأسئلة وإجراء اختبار إحصائي ضعيف هو جزء من الخطأ في نموذج العمل للنشر / المنح المعزز ذاتيًا. فقط اطرح الكثير من الأسئلة ، واحصل على إيجابيات كاذبة ، وقم بعمل قصة معقولة للطعام الذي يسبب تأثيرًا صحيًا بقيمة p أقل من 0.05: HARKing.

صدر أول استبيان عن تردد الغذاء (FFQ) من كلية هارفارد للصحة العامة وكان يحتوي على 61 سؤالاً. بالنسبة لأي تأثير صحي ، فإن طرح 61 سؤالاً يعطي فرصة 95٪ للحصول على نتيجة ذات دلالة إحصائية - والتي قد تكون "حقيقية" أو لا تكون - لكل تأثير صحي. وبالتالي ، فإن النقطة الحرجة هي: احذر من أي دراسة تطرح الكثير من الأسئلة!

لكن بالنسبة للعديد من أسئلة الأسئلة المتكررة ، كان 61 سؤالاً غير كافٍ. الإصدارات الأحدث تطلب المزيد. استخدمت ورقة بحثية في عام 2008 FFQ مع 131 سؤالًا ، والتي تم طرحها في نقطتين زمنيتين مختلفتين ، مع إعطاء إجمالي 262 سؤالًا. أبلغوا عن وجود علاقة بين تناول النساء لحبوب الإفطار وزيادة احتمالات إنجاب طفل. (للتسجيل ، يتم تحديد جنس الزيجوت من خلال ما إذا كان الحيوان المنوي للذكر يساهم في كروموسوم X أو Y.) تستخدم دراسة استقصائية حكومية أمريكية FFQ مع 139 سؤالًا ، وورقة بحثية حديثة ظهرت في المجلة قلب واستخدمت FFQ مع 192 سؤالًا عن الطعام وجدت انخفاضًا في الرجفان الأذيني المرتبط باستهلاك الشوكولاتة.

يمكن أيضًا تطبيق "تجريف البيانات" و HARKing الذي يؤدي إلى نتائج إيجابية خاطئة على التجارب على الحيوانات المعملية ، كما أوضح هنا الدكتور جوش بلوم ، الكيميائي في المجلس الأمريكي للعلوم والصحة. تنطبق هذه الظواهر أيضًا على الدراسات السريرية. ضع في اعتبارك هذا التحذير من مقال في JAMA ، انتقد مقالًا عن جهاز طبي لمنع السكتة الدماغية أثناء استبدال الصمام الأبهري عبر قسطرة:

من المحتمل أن تكون المقارنة الإحصائية لعدد كبير من النتائج باستخدام عتبة الأهمية المعتادة البالغة 0.05 مضللة نظرًا لوجود مخاطر عالية للاستنتاج الخاطئ بوجود تأثير مهم في حالة عدم وجوده. إذا تم إجراء 17 مقارنة مع عدم وجود تأثير علاجي حقيقي ، فإن كل مقارنة لديها فرصة 5٪ للاستنتاج الكاذب بوجود اختلاف ملحوظ ، مما يؤدي إلى احتمال 58٪ لاستنتاج خطأ واحد على الأقل.

يتم نشر دراسات FFQ الزائفة باستمرار. مخترع FFQ لديه لحسابه (؟) أكثر من 1700 ورقة. تم الاستشهاد بورقة FFQ الأصلية أكثر من 3300 مرة. يبدو أنه لا يوجد تقريبًا أي من الباحثين الذين يستخدمون FFQ يصحح تحليلهم للظواهر الإحصائية التي نوقشت هنا ، ومؤلفو أوراق FFQ مبدعون بشكل ملحوظ في تقديم مبررات معقولة لـ "الارتباطات" التي يكتشفونها - بعبارة أخرى ، HARKing.

يخلق هذا الموقف نوعًا من مخروط الآيس كريم الذي يلعق نفسه: لقد حقق الباحثون نجاحًا من خلال إجراء هذا البحث المشكوك فيه منذ أوائل التسعينيات ، وبقدر ما تم تمويل معظم العمل في استبيانات تردد الغذاء من قبل الحكومة - من المعهد الوطني للسرطان ، من بين الكيانات الفيدرالية الأخرى - إنها تمزق دافعي الضرائب وتضللهم. من الغريب أن المحررين والمراجعين الأقران للمقالات البحثية لم يتعرفوا على هذه الممارسة الخاطئة الإحصائية وأنهىوها ، لذلك ستقع على عاتق وكالات التمويل الحكومية قطع الدعم عن الدراسات ذات التصميم المعيب ، وعلى الجامعات أن تتوقف عن مكافأة نشر البحوث السيئة. نحن لسنا متفائلين.

ستانلي يونغ هو خبير إحصائي عمل في شركات الأدوية والمعهد الوطني للعلوم الإحصائية في مسائل الإحصاء التطبيقي. وهو عضو في اللجنة الاستشارية لعلوم الهواء النظيف التابعة لوكالة حماية البيئة.

هنري آي ميللر ، طبيب وعالم الأحياء الجزيئية ، هو زميل روبرت ويسون في الفلسفة العلمية والسياسة العامة في معهد هوفر بجامعة ستانفورد. كان المدير المؤسس لمكتب التكنولوجيا الحيوية التابع لإدارة الغذاء والدواء. لمتابعته عبر تويترhenryimiller.


مقالات ذات صلة

رئيس الوزراء الكندي جاستن ترودو ، الرئيس التنفيذي لشركة Microsoft بيل جيتس ، الرئيس الأمريكي باراك أوباما ، الرئيس الفرنسي فرانسوا هولاند ورئيس الوزراء الهندي ناريندرا مودي في المؤتمر العالمي لتغير المناخ

رئيس الوزراء والأمير و "وقفة": حضر ديفيد كاميرون والأمير تشارلز مؤتمر باريس التاريخي لتغير المناخ لعام 2015 مع 150 من قادة العالم. نتيجة لذلك ، ألزم كاميرون بريطانيا بخفض الانبعاثات على مستوى الاتحاد الأوروبي. وذكر تشارلز ، في هذه الورقة الشهر الماضي ، أنه لم يكن هناك توقف في الاحتباس الحراري ، متأثرًا بورقة NOAA المعيبة التي قدمت هذا الادعاء

في مقابلة حصرية ، اتهم الدكتور بيتس المؤلف الرئيسي للورقة ، توماس كارل ، الذي كان حتى العام الماضي مدير قسم NOAA الذي ينتج بيانات المناخ - المراكز الوطنية للمعلومات البيئية (NCEI) - بالإصرار على اتخاذ القرارات والعلمية. الخيارات التي أدت إلى زيادة الاحتباس الحراري وتقليل التوثيق ... في محاولة لتشويه سمعة فكرة توقف الاحتباس الحراري ، تم تسريعها حتى يتمكن من وقت النشر للتأثير على المداولات الوطنية والدولية بشأن سياسة المناخ '.

كان الدكتور بيتس واحدًا من اثنين من العلماء الرئيسيين في NCEI ، ومقرها في أشفيل بولاية نورث كارولينا.

تأثرت الوفود الرسمية من أمريكا وبريطانيا والاتحاد الأوروبي بشدة بدراسة الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA) الخاطئة أثناء قيامهم بصياغة اتفاقية باريس - والتزموا الدول المتقدمة بتخفيضات كاسحة في استخدامها للوقود الأحفوري وإنفاق 80 مليار جنيه إسترليني كل عام على مناخ جديد. - مشاريع المساعدات ذات الصلة.

للفضيحة أصداء مقلقة لقضية "Climategate" التي اندلعت قبل وقت قصير من قمة المناخ للأمم المتحدة في عام 2009 ، عندما أشار تسرب آلاف رسائل البريد الإلكتروني بين علماء المناخ إلى أنهم تلاعبوا بالبيانات وأخفوها. كان بعضهم خبراء بريطانيين في وحدة الأبحاث المناخية المؤثرة في جامعة إيست أنجليا.

أدى إلى هذه الالتزامات الخضراء

زعمت البيانات التي نشرتها NOAA ، أكبر وكالة بيانات مناخية في العالم ، أن الاحتباس الحراري كان أسوأ مما كان يعتقد سابقًا. تم نشر المعلومات بالتزامن مع مؤتمر باريس للتغير المناخي في عام 2015 ، حيث اتفق قادة العالم على ذلك.

يتم تقديم 100 مليار دولار سنويًا كمساعدات إضافية "متعلقة بالمناخ" للعالم النامي من قبل الدول الغنية

يتم تعيين درجتين مئويتين على أنهما الحد الأقصى لارتفاع درجة الحرارة فوق أوقات ما قبل الثورة الصناعية

سيتم خفض 40٪ من انبعاثات ثاني أكسيد الكربون عبر الاتحاد الأوروبي بحلول عام 2030

320 مليار جنيه إسترليني ... ما ستكلفه تعهدات المملكة المتحدة اقتصادنا بحلول عام 2030

اعتمدت ورقة NOAA لعام 2015 'Pausebuster' على مجموعتين جديدتين من بيانات درجة الحرارة - تحتوي إحداهما على قياسات درجات الحرارة على سطح الكوكب على الأرض ، والأخرى على سطح البحار.

كانت كلتا مجموعتي البيانات معيبة. علمت هذه الصحيفة أن الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA) قررت الآن أنه يجب استبدال مجموعة بيانات البحر ومراجعتها بشكل جوهري بعد 18 شهرًا فقط من إصدارها ، لأنها استخدمت أساليب غير موثوقة بالغت في سرعة الاحترار. ستظهر البيانات المنقحة درجات حرارة منخفضة ومعدل أبطأ في اتجاه الاحترار الأخير.

تأثرت مجموعة بيانات درجة حرارة الأرض التي استخدمتها الدراسة بأخطاء مدمرة في برنامجها جعلت نتائجها "غير مستقرة".

اعتمدت الورقة على نسخة أولية "ألفا" من البيانات التي لم تتم الموافقة عليها أو التحقق منها.

النسخة النهائية المعتمدة لم تصدر بعد. لم يتم "أرشفة" أي من البيانات التي استندت إليها الورقة البحثية بشكل صحيح - وهو مطلب إلزامي يهدف إلى ضمان أن البيانات الخام والبرامج المستخدمة في معالجتها يمكن الوصول إليها من قبل العلماء الآخرين ، حتى يتمكنوا من التحقق من نتائج NOAA.

تقاعد الدكتور بيتس من NOAA في نهاية العام الماضي بعد 40 عامًا من العمل في علم الأرصاد الجوية وعلوم المناخ. في الآونة الأخيرة في عام 2014 ، منحته إدارة أوباما ميدالية ذهبية خاصة لعمله في وضع معايير جديدة يفترض أنها ملزمة "لإنتاج سجلات البيانات المناخية والحفاظ عليها".

ومع ذلك ، عندما يتعلق الأمر بالورقة التي تم توقيتها للتأثير على مؤتمر باريس ، قال الدكتور بيتس ، تم تجاهل هذه المعايير بشكل صارخ.

تم نشر الورقة في يونيو 2015 من قبل مجلة Science. وقالت الوثيقة التي تحمل عنوان "القطع الأثرية المحتملة لتحيزات البيانات في فجوة الاحتباس الحراري الأخيرة على سطح الأرض" ، إن "التوقف المؤقت" أو "التباطؤ" الذي تم الإبلاغ عنه على نطاق واسع كان خرافة.

قبل أقل من عامين ، وجد تقرير ضخم من الفريق الحكومي الدولي المعني بتغير المناخ (IPCC) التابع للأمم المتحدة ، والذي اعتمد على عمل مئات العلماء في جميع أنحاء العالم ، `` اتجاهًا متزايدًا أصغر بكثير خلال السنوات الخمس عشرة الماضية 1998-2012. من 30 إلى 60 عامًا الماضية. أصبح تفسير التوقف قضية رئيسية لعلوم المناخ. تم الاستيلاء عليه من قبل المتشككين في ظاهرة الاحتباس الحراري ، لأن مستوى ثاني أكسيد الكربون في الغلاف الجوي استمر في الارتفاع.

لماذا سيجعل الجورو الأخضر لأوباما يبدو ترامب باللون الأحمر

توماس كارل ، رئيس الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA) ، أسفل اليسار ، كان لديه خط ساخن إلى البيت الأبيض ، من خلال علاقته الطويلة مع المستشار العلمي للرئيس أوباما ، جون هولدرين.


علماء NOAA متهمون زوراً بالتلاعب ببيانات تغير المناخ

في 4 فبراير 2017 ، صحيفة التابلويد البريطانية البريد يوم الأحد (وموقع ديلي ميل على الإنترنت) نشر مقالًا بقلم ديفيد روز - مؤيد قديم لنظريات مؤامرة تغير المناخ التي يعتبر المجتمع العلمي تحليلاتها على نطاق واسع أنها معيبة ومضللة - زعمت أن العلماء في الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA) استخدام بيانات مضللة من أجل الإسراع بنشر دراسة مناخية رائدة وبالتالي "خداع" قادة العالم:

تكشف The Mail on Sunday اليوم عن دليل مذهل على أن المنظمة التي تعد المصدر الرئيسي لبيانات المناخ في العالم قد سارعت إلى نشر ورقة تاريخية بالغت في الاحتباس الحراري وتم توقيتها للتأثير على اتفاقية باريس التاريخية بشأن تغير المناخ.

أخبر مُبلغ عن المخالفات رفيع المستوى هذه الصحيفة أن الإدارة الوطنية الأمريكية للمحيطات والغلاف الجوي (NOAA) انتهكت قواعدها الخاصة بشأن النزاهة العلمية عندما نشرت تقريرًا مثيرًا ولكنه معيب ، والذي يهدف إلى تحقيق أقصى تأثير ممكن على قادة العالم بما في ذلك باراك أوباما وديفيد. كاميرون في مؤتمر المناخ للأمم المتحدة في باريس عام 2015.

موضوع الخلاف هو بحث نُشر في يونيو 2015 في علم بعنوان "القطع الأثرية المحتملة لتحيز البيانات في فجوة الاحتباس الحراري الأخيرة على سطح الأرض" ، من تأليف (من بين آخرين) توماس آر كارل ، مدير المراكز الوطنية للمعلومات البيئية التابعة للإدارة الوطنية للمحيطات والغلاف الجوي (NOAA).

كما هو موضح في التحليل المصاحب للقطعة في علم، تناولت الورقة قضية كان المنكرون للتغير المناخي البشري المنشأ قد احتشدوا وراءهم لسنوات - أنه كان هناك تباطؤ أو "فجوة" في ظاهرة الاحتباس الحراري منذ عام 1998 على الرغم من الارتفاع المستمر في مستويات ثاني أكسيد الكربون:

يبدو أن التحليلات السابقة لاتجاهات درجات الحرارة العالمية خلال العقد الأول من القرن الحادي والعشرين تشير إلى أن الاحترار قد توقف. سمح هذا لمنتقدي فكرة الاحتباس الحراري بالادعاء بأن القلق بشأن تغير المناخ كان في غير محله. كارل وآخرون. أظهر الآن أن درجات الحرارة لم تستقر كما كان يعتقد وأن "فجوة" الاحترار المفترض هي مجرد قطعة أثرية من التحليلات السابقة. استمر الاحترار بوتيرة مماثلة لتلك التي حدثت في النصف الأخير من القرن العشرين ، وكان التباطؤ مجرد وهم.

بسبب هجومها المباشر على نقطة نقاش شائعة لدى المتشككين في تغير المناخ ، كانت الدراسة هدفًا مشتركًا لأولئك الذين يسعون إلى تقويض علم المناخ. In this latest round of controversy, the Daily Mail article cited a “whistleblower” (retired NOAA scientist John Bates) who came forward to reveal what he described as ethical lapses in the way that study’s data were selected and archived by its authors.

The allegations made against Karl and his co-authors fall into three general groups:

1) That the team unethically selected flawed data that was supportive of their cause.

2) That they failed to archive their data as required by both NOAA and the journal علم.

3) That they rushed through the required internal review process to get the paper published before the 2015 Paris Climate Summit.

First, and most “astonishing,” were claims that the data used in Karl’s paper were manipulated to derive a specific result, according to Rose’s Daily Mail report:

The sea dataset used by Thomas Karl and his colleagues — known as Extended Reconstructed Sea Surface Temperatures version 4, or ERSSTv4, tripled the warming trend over the sea during the years 2000 to 2014 from just 0.036C per decade — as stated in version 3 — to 0.099C per decade …

But Dr Bates said this increase in temperatures was achieved by dubious means. Its key error was an upwards ‘adjustment’ of readings from fixed and floating buoys, which are generally reliable, to bring them into line with readings from a much more doubtful source — water taken in by ships. This, Dr Bates explained, has long been known to be questionable: ships are themselves sources of heat, readings will vary from ship to ship, and the depth of water intake will vary according to how heavily a ship is laden — so affecting temperature readings.

Here, Rose offered two implications. The first was that Karl’s methodology was intentionally opaque in order to hide the fact that it went against a well-known ship measurement bias. In reality, the entire methodology was spelled out in the paper, and the ship data correction Karl et al selected had previously been published. This correction, far from ignoring the differences between boat and buoy data, actually took into account the generally superior buoy data in its calculation:

Several studies have examined the differences between buoy- and ship-based data, noting that the ship data are systematically warmer than the buoy data. This is particularly important because much of the sea surface is now sampled by both observing systems, and surface-drifting and moored buoys have increased the overall global coverage by up to 15%. These changes have resulted in a time-dependent bias in the global SST record, and various corrections have been developed to account for the bias.

Recently, a new correction [Huang et al 2015] was developed and applied in the Extended Reconstructed Sea Surface Temperature (ERSST) data set version 4, which we used in our analysis. In essence, the bias correction involved calculating the average difference between collocated buoy and ship SSTs. The average difference globally was −0.12°C, a correction that is applied to the buoy SSTs at every grid cell in ERSST version 4. […] More generally, buoy data have been proven to be more accurate and reliable than ship data, with better-known instrument characteristics and automated sampling. Therefore, ERSST version 4 also considers this smaller buoy uncertainty in the reconstruction.

Conspicuously absent from Rose’s article was any mention of a 4 January 2017 study that critically investigated the choices referenced above, demonstrating that the record made by Karl et al tracked the buoy data and other modern sources of data more accurately than any other model. The lead author of that more recent study discussed those findings in response to the Daily Mail article:

I recently led a team of researchers that evaluated NOAA’s updates to their ocean temperature record. In a paper published last month in the journal Science Advances, we compared the old NOAA record and the new NOAA record to independent instrumentally homogenous records created from buoys, satellite radiometers, and Argo floats. Our results, as you can see in the chart below, show that the new NOAA record agrees quite well with all of these, while the old NOAA record shows much less warming.

This was due to two factors: the old NOAA record spliced together warmer ship data with colder buoy data without accounting for the offset between the two and the new NOAA record puts more weight on higher-quality buoy records and less weight on ship records (versus the old NOAA record which treated ships and buoys equally) …

The fact that the new NOAA record [Karl et al 2015] is effectively identical with records constructed only from higher quality instruments (buoys, satellite radiometers, and Argo floats) strongly suggests that NOAA got it right and that we have been underestimating ocean warming in recent years.

The second implication, that Karl et al intentionally selected data and corrections with the intent of exaggerating global warming, was a serious charge based only on Bates’ testimony. But in a 7 February 2016 interview with EE News, Bates explicitly stated that he did not mean to suggest that Karl et al had manipulated data:

Bates accused former colleagues of rushing their research to publication, in defiance of agency protocol. He specified that he did not believe that they manipulated the data upon which the research relied in any way.

“The issue here is not an issue of tampering with data, but rather really of timing of a release of a paper that had not properly disclosed everything it was,” he said.

With respect to the team’s use of this new correction, Rose reported that “Dr Bates said he gave the paper’s co-authors ‘a hard time’ about this, ‘and they never really justified what they were doing.”

However, Karl told us via e-mail that Bates’ only role in the paper was to organize the internal review process, during which time he says no such conversations regarding their use of ERSSTv4 ever took place:

[There were] no discussions, nor emails to me. Dr. Bates was asked to coordinate the internal review of the paper (I am not sure who made the request) since this was normally handled by Tom Peterson, but he was one of the authors. The responsibility of the coordinator for the internal review is to identify an individual within the [National Centers for Environmental Information] who could review the paper and pass those comments back to the authors for their response. In our case, there were no comments by the reviewer.

(Neither John Bates nor David Rose returned our requests for comments.)

Rose further alleged that Karl et al used a particular land-temperature dataset because it demonstrated findings more amenable to their cause, even though (according to Rose) that dataset was both too preliminary to be approved and was plagued by “devastating” computer bugs:

The second dataset used by the [Karl et al.] paper was a new version of NOAA’s land records, known as the Global Historical Climatology Network (GHCN) […]. This new version found past temperatures had been cooler than previously thought, and recent ones higher — so that the warming trend looked steeper. For the period 2000 to 2014, the paper increased the rate of warming on land from 0.15C to 0.164C per decade.

In the weeks after the [Karl et al.] paper was published, Dr Bates conducted a one-man investigation into this. His findings were extraordinary. Not only had Mr Karl [sic] and his colleagues failed to follow any of the formal procedures required to approve and archive their data, they had used a ‘highly experimental early run’ of a programme that tried to combine two previously separate sets of records …

As discussed above, Bates has asserted that he did not mean to suggest Karl and his colleagues manipulated the data by selecting (as Rose implied) a new buggy model in order to exaggerate the records. Instead, Bates said that he simply felt it improper to use that data without a disclaimer clearly indicating that it was derived from an experimental run, as discussed in a blog post authored by Bates:

Clearly labeling the dataset would have indicated this was a highly experimental early GHCN-M version 4 run rather than a routine, operational update. As such, according to NOAA scientific integrity guidelines, it would have required a disclaimer not to use the dataset for routine monitoring.

Bates, it should be noted, was the lead on a massive NOAA effort that aimed to overhaul procedures for the standardization of which datasets to use, as described in that same blog post:

As a climate scientist formerly responsible for NOAA’s climate archive, the most critical issue in archival of climate data is actually scientists who are unwilling to formally archive and document their data. I spent the last decade cajoling climate scientists to archive their data and fully document the datasets. I established a climate data records program that was awarded a U.S. Department of Commerce Gold Medal in 2014 for visionary work in the acquisition, production, and preservation of climate data records (CDRs), which accurately describe the Earth’s changing environment.

In that post, as well as in the Daily Mail piece, Bates made the claim that the use of the more experimental dataset by Karl et al contradicted NOAA policy because the new dataset had not undergone an “operational readiness review” (ORR). He also alleged that the use of this data set, and a computer failure, resulted in no record being created of what the paper’s authors did, putting that paper in conflict with both علم’s editorial standards and NOAA’s internal standards — a point Rose brought up multiple times:

The lack of archival of the GHCN-M V3.X [their experimental version of the land temperature data] and the global merged product is also in violation of Science policy on making data available. This policy states: “Climate data. Data should be archived in the NOAA climate repository or other public databases”. Did Karl et al. disclose to Science Magazine that they would not be following the NOAA archive policy, would not archive the data, and would only provide access to a non-machine readable version only on an FTP server?

Zeke Hausfather, the lead author on a 2017 study that looked into Karl et al’s use of this data, disputed Rose’s characterization:

In his [Daily Mail] article, David Rose relies on reports from a researcher at NOAA who was unhappy about the data archiving associated with the Karl et al paper. While I cannot speak to how well the authors followed internal protocols, they did release their temperature anomalies, spatially gridded data land and ocean data, and the land station data associated with their analysis. They put all of this up on NOAA’s FTP site in early June 2015, at the time that the Karl et al paper was published.

As someone who works on and develops surface temperature records, the data they provided would be sufficient for me to examine their analysis in detail and see how it compared to other groups. In fact, I used the data they provided shortly after the paper was published to do just that. While it would have been nice for them to publish their full analysis code online as well as the data, I’m sure they would have provided it to any researchers who asked.

For what it’s worth, Karl told us that he has no knowledge of a computer failure that wiped out critical information, saying that “This allegedly happened after I retired, but I have been informed that is simply not true.”

Indeed, information about the crash appears to have been secondhand information which Bates passed on to Rose, according to his blog post:

I later learned that the computer used to process the software had suffered a complete failure, leading to a tongue-in-cheek joke by some who had worked on it that the failure was deliberate to ensure the result could never be replicated.

The final class of allegations, that these missteps were accepted specifically to influence the Paris Climate Summit, relied (as did everything else) on the testimony of Bates, who is quoted in the Daily Mail piece as claiming that Karl “rushed so that he could time publication to influence national and international deliberations on climate policy.”

As reported by EENews, this issue is likely moot, as the State Department indicated that the NOAA study had little to no bearing on the outcome of the Paris meeting:

Whether the research was published to influence the Paris climate talks is a moot point, said Andrew Light, a senior member of the State Department’s climate talks negotiating team in 2015. He said the talks had already been underway for about four years when the paper was published and that 188 nations were relying on a tremendous amount of research to support their goal of reducing humans’ carbon emissions to slow the warming of the planet. They had also already crafted proposed reductions by the time the research was published, he said.

“I never heard it discussed once, let alone this one NOAA report, discussed in Paris, the run-up to Paris or anything after Paris, so this is really just an incredibly bizarre claim,” Light said.

All these claims of malfeasance used the testimony of a single scientist, upset with how more senior scientists dealt with data acquisition and archiving, to paint an excruciatingly technical matter as a worldwide conspiracy. Rose made no effort to contact Karl or other members of the team (according to Karl), and outside of Bates’ conversation with him, Rose provided no corroborating evidence or relevant background for his assertions.

Despite these discrepancies, the story gained additional traction when Texas representative Lamar Smith, chair of the U.S. House Committee on Science, Space, and Technology, tweeted the flawed narrative and issued a press release about it:

NOAA sr officials played fast & loose w/data in order 2 meet politically predetermined conclusion on climate change

While Karl et al might reasonably be criticized for having been less than rigorous in their data documentation, their findings have been independently verified, contrary to allegations that the authors manipulated data to reach a desired conclusion:

What David Rose fails to mention is that the new NOAA results have been validated by independent data from satellites, buoys and Argo floats and that many other independent groups, including Berkeley Earth and the UK’s Met Office Hadley Centre, get effectively the same results.

Rose’s claim that NOAA’s results “can never be verified” is patently incorrect, as we just published a paper independently verifying the most important part of NOAA’s results.


WHO CONDUCTS REVIEWS?

Peer reviews are conducted by scientific experts with specialized knowledge on the content of the manuscript, as well as by scientists with a more general knowledge base. Peer reviewers can be anyone who has competence and expertise in the subject areas that the journal covers. Reviewers can range from young and up-and-coming researchers to old masters in the field. Often, the young reviewers are the most responsive and deliver the best quality reviews, though this is not always the case. On average, a reviewer will conduct approximately eight reviews per year, according to a study on peer review by the Publishing Research Consortium (PRC) (7). Journals will often have a pool of reviewers with diverse backgrounds to allow for many different perspectives. They will also keep a rather large reviewer bank, so that reviewers do not get burnt out, overwhelmed or time constrained from reviewing multiple articles simultaneously.


Another Flawed Data Model from Imperial College to Blame for Latest UK Lockdown

The source behind the claim that a new COVID-19 strain in the UK is 70% more transmissible, Dr. Erik Volz of Imperial College, admits that the model that produced that statistic is flawed and that it is “too early to tell” if the strain is more easily spread.

On Saturday, UK Prime Minister Boris Johnson announced extreme new measures just before the holidays due to the emergence of a new COVID-19 variant. Per Johnson, as well as the UK’s Chief Medical Officer Chris Whitty who also spoke at Saturday’s press conference, the new strain – nicknamed VUI-202012/01 – is around 70% more transmissible, but no evidence shows it to be any more severe or deadly than previous strains.

وفقا ل BBC, Johnson’s assertion that the new variant “may be up to 70% more transmissible,” was based on the information discussed the day prior by the UK government’s New and Emerging Respiratory Virus Threats Advisory Group, or NERVTAG. Yet, as the BBC notes, this figure apparently comes from a single source, a 10 minute presentation delivered by Dr. Erik Volz of Imperial College given last Friday, the same day as the NERVTAG meeting.

Volz – a close colleague of the discredited Neil Ferguson – delivered the presentation to COVID-19 Genomics UK (COG-UK), a research consortium largely funded by the UK government and the Wellcome Trust and, in particular, the Wellcome Sanger Institute. The Wellcome Sanger Institute recently came under fire for “misusing” the DNA of Africans to develop a “gene chip without proper legal agreements” and an upcoming Unlimited Hangout report will detail the ties of the Wellcome Trust to the UK eugenics movement, the Bill and Melinda Gates Foundation and the Oxford-AstraZeneca COVID-19 vaccine. Notably, the Wellcome-funded scientist behind that vaccine candidate, Adrian Hill, was recently quoted by the واشنطن بوست as saying that “ We’re in the bizarre position of wanting COVID to stay, at least for a little while…But cases are declining.” The UK government, Google and other powerful stakeholders are positioned to profit from sales of that particular vaccine candidate.

According to Volz’s most recent publication, COG-UK “ has resulted in the generation of >40,000 SARS-CoV-2 sequences from the country in <6 months (approximately half of all genomes sequenced globally as of 7 July)” and “has facilitated the usage of robust and systematic sampling and shared bioinformatic and laboratory approaches and the collection of consistent core metadata, resulting in a large, high-resolution dataset capable of examining changes in virus biology in the United Kingdom.”

However, in his presentation last Friday, Volz repeatedly downplays the quality of COG-UK’s sampling and, by extension, the validity of the model used to justify the 70% figure, raising obvious questions as to why Boris Johnson would cite the figure so prominently and use it to justify draconian lockdown measures during the holiday season as well as the arbitrary creation of a new, more extreme lockdown tier.

In comparing the new strain, which Volz refers to in the presentation as N501Y, to another strain named A222V, Volz states that “We’re still basically in the very early stages, we basically have one month of growth for comparison, whereas we have now observed A222V for 3 months.” After noting the limited nature of the dataset for N501Y, Volz stated that “the growth [in cases for the new strain] does appear to be larger.” He then quickly adds the caveat that “trends you see early on don’t always pan out, you need to let more data accumulate.”

Volz then goes on to compare the transmissibility of A222V and N501Y. Regarding the model used to determine A222V’s transmissibility, Volz states that “model fit is not particularly good” given that “there are lots of outliers early on and there are lots of outliers quite late.” He concludes that “we wouldn’t expect that a logistical growth model is necessarily appropriate in this case.” However, he uses this “not necessarily appropriate” model of a poor fit to compare to the new strain.

Yet, even with the model for the new strain’s transmissibility, Volz states that it’s “too early to tell” what N501Y’s transmissibility even is, stating that the 70% figure estimated by the model is based on “the current state of our knowledge,” which again is based on 1 month of data and its trends, trends that Volz also noted “don’t always pan out.” Volz then adds that the sparse datasets used to develop the transmissibility model for the new strain had some issues, stating that “the sample frequency is very noisy and overdispersed.” Later on in the presentation, Volz states that the data, provided by COG-UK, was both “non-random and very noisy sampling,” bringing into question not only the limited amount of data in terms of time, but also the quality of that data. After noting the glaring flaws in both models he is comparing, and that it is “too early to tell” much of anything about N501Y, Volz states that N501Y is “growing faster than A222V ever grew.”

Volz’s presentation follows his release, alongside Imperial College professor and NERVTAG member Wendy Barclay, of the preliminary genomic characterization of the new strain. Volz’s presentation last Friday and this preliminary characterization, first published on December 19, were the main sources of data considered at the NERVTAG meeting. Notably, the study, written for the UK government and Wellcome Trust-funded COG-UK, has yet to be peer-reviewed and makes no mention of increased transmissibility or the 70% figure.

Ferguson’s Return

Volz’s colleague, Neil Ferguson, also played a key role in promoting the need for more restrictive lockdowns due to this new genetic variant. Ferguson was caught in May breaking the rules of previous lockdowns he had heavily promoted and arguably orchestrated in order to visit his lover. He has also previously attracted heavy criticism for a history of producing flawed models, particularly his wildly inaccurate predictions regarding the anticipated COVID-19 death toll that were largely used to justify earlier lockdowns in the UK. Despite his relatively recent fall from grace, Ferguson remains part of NERVTAG and was also part of last Friday’s meeting to discuss the new strain. That meeting was said to “have played a pivotal role in changing the Prime Minister’s mind – and led to Saturday’s announcement that Christmas was effectively canceled for millions.”

However, much like Volz’s tone within his presentation, the NERVTAG meeting did not authoritatively agree on the 70% transmissibility rate. Instead, a majority of the body’s members opposed any sort of “immediate action over the new mutation” and had wanted “to wait for more evidence.” The minutes of the meeting, as cited by the Daily Mail, noted that NERVTAG had only “moderate confidence” that the new strain was more transmissible and had concluded that there was “currently insufficient data to answer crucial questions on the new strain,” including its alleged increased transmissibility. Compounding the issue was also the fact that, as noted by NERVTAG’s meeting minutes, the new strain “can be challenging to sequence,” meaning that it is not easily identified relative to other strains.

Notably, while most NERVTAG members opposed the sort of “immediate action” that Johnson announced following their meeting, Ferguson appeared on the BBC the day of the NERVTAG meeting and claimed that the UK needed to go into a third lockdown more restrictive than any previous lockdown. Ferguson appears to be a key member of the “vocal minority which believes that… we should be panicking much more frequently” that a senior Whitehall source cited as “bullying” the UK government into taking more extreme actions in recent days in a recent conversation with the Daily Mail.

In the few days since the measures were announced, Ferguson has become the main source for claims that the new variant “has a higher propensity to infect children,” though he has also stated that “we haven’t established any sort of causality on that, but we can see it in the data.” However, he also notes that “we will need to gather more data” to actually determine if children are more easily infected by the new strain. Another NERVTAG member and also a professor from Imperial College, Wendy Barclay, also repeated the unproven claim that the new variant increasingly infects children, stating that “children are, perhaps, equally susceptible to this virus as adults.” Barclay’s laboratory at the Imperial College is funded by the UK government and the Wellcome Trust.

Despite Ferguson’s admission that there is no actual evidence to back up that claim, mainstream media headlines in the UK like “UK coronavirus variant may be more able to infect children – scientists” and others implied the statement was based on more than just speculation from incomplete, biased datasets. The over-hyped concern about children being reportedly more susceptible to the new variant could be used to justify increased vaccination of that demographic, which has been shown to be largely unaffected by previous COVID-19 strains relative to other age groups.

Critics of the questionable narrative already labeled “conspiracy theorists”

The lack of legitimate consensus from NERVTAG and related institutions like Imperial College on the new strain’s transmissibility has weakened Johnson’s claims that crippling Christmas lockdowns are necessary as well as his justifications for the further new restrictive lockdown measures, so much so that it has even drawn criticism from mainstream media sources outside of the UK, such as ABC News.

Despite the dubious justification for the lockdowns being glaring enough to be noted by the mainstream, the UK government is reportedly now “monitoring social media for conspiracy theorists” after government surveillance of social media reactions following Saturday’s press conference revealed that “many are unconcerned by the new variant” with some being “more skeptical” and noting the “concurrence of a new variant with the approval of a vaccine was suspicious timing.”

Media reports on the UK government’s monitoring for “misinformation” regarding the new strain stated that “t he conspiracies come despite the UK government’s New and Emerging Respiratory Virus Threats Advisory Group (NERV TAG) outlining the potential severity of the new variant.” Those reports failed to note that the NERVTAG minutes revealed a lack of consensus for the new lockdown and a lack of confidence the increased transmissibility of the new strain. Per this narrative, outlets like ABC News and even the majority of NERVTAG members who did not feel there was enough evidence to justify the claims of the new strain’s transmissibility, could be deemed “conspiracy theorists.”

The narrative surrounding the new strain and the affiliated lockdowns provides a clear example of how easily “expert opinion” can be manipulated to support a particular policy in the absence of any legitimate justification. The actual consensus of the NERVTAG meeting as well as the experts quoted by mainstream media outlets that dissent from those of the “vocal minority”, represented by Neil Ferguson and Wendy Barclay, have been largely ignored in UK mainstream media reports and the UK government itself, presumably because citing such inconvenient facts would delegitimize the resulting policy. Instead, those who dissent from the clearly questionable narrative are being quickly labeled “conspiracy theorists” by the UK government, a move that will likely result in an expansion of the UK’s already declared war against independent reporting and social media posts that dare to question and/or challenge the government’s favored narrative.


Biases in study design, implementation, and data analysis that distort the appraisal of clinical benefit and ESMO-Magnitude of Clinical Benefit Scale (ESMO-MCBS) scoring

خلفية: The European Society for Medical Oncology-Magnitude of Clinical Benefit Scale (ESMO-MCBS) is a validated, widely used tool developed to score the clinical benefit from cancer medicines reported in clinical trials. ESMO-MCBS scores assume valid research methodologies and quality trial implementation. Studies incorporating flawed design, implementation, or data analysis may generate outcomes that exaggerate true benefit and are not generalisable. Failure to either indicate or penalise studies with bias undermines the intention and diminishes the integrity of ESMO-MCBS scores. This review aimed to evaluate the adequacy of the ESMO-MCBS to address bias generated by flawed design, implementation, or data analysis and identify shortcomings in need of amendment.

Methods: As part of a refinement of the ESMO-MCBS, we reviewed trial design, implementation, and data analysis issues that could bias the results. For each issue of concern, we reviewed the ESMO-MCBS v1.1 approach against standards derived from Helsinki guidelines for ethical human research and guidelines from the International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use, the Food and Drugs Administration, the European Medicines Agency, and European Network for Health Technology Assessment.

نتائج: Six design, two implementation, and two data analysis and interpretation issues were evaluated and in three, the ESMO-MCBS provided adequate protections. Seven shortcomings in the ability of the ESMO-MCBS to identify and address bias were identified. These related to (i) evaluation of the control arm, (ii) crossover issues, (iii) criteria for non-inferiority, (iv) substandard post-progression treatment, (v) post hoc subgroup findings based on biomarkers, (vi) informative censoring, and (vii) publication bias against quality-of-life data.

استنتاج: Interpretation of the ESMO-MCBS scores requires critical appraisal of trials to understand caveats in trial design, implementation, and data analysis that may have biased results and conclusions. These will be addressed in future iterations of the ESMO-MCBS.

الكلمات الدالة: ESMO-MCBS bias clinical trial analysis clinical trial design clinical trial implementation clinical trial reporting.

Copyright © 2021 The Author(s). Published by Elsevier Ltd.. All rights reserved.

Conflict of interest statement

Disclosure TA personal fees and travel grants from Bristol-Myers Squibb (BMS), personal fees, grants and travel grants from Novartis, personal fees from Pierre Fabre, grants from Neracare, Sanofi, and SkylineDx, personal fees from CeCaVa outside the submitted work JBa reports grants, personal fees, and nonfinancial support from Ipsen personal fees and nonfinancial support from Pfizer, Novartis nonfinancial support from AAA, Nanostring, Roche grants and personal fees from Servier and personal fees from Nutricia outside the submitted work JBo is a statistician on the SAG-O (scientific advice committee oncology) for EMA, and scientific director of EORTC Headquarters. EORTC carries out clinical trials with many (most) pharma and some biotechs either with financial or material support, or with the company as the sponsor (intent to register new indication) he is co-responsible for the management of EORTC. AC has received honoraria/consulting fees from AstraZeneca, Boehringer-Ingelheim, Pfizer, Roche/Genentech, Eli Lilly and Company, Takeda, Novartis, Merck Sharp & Dohme (MSD), and BMS GC scientific advisory board for BMS, Roche, Novartis, Lilly, Pfizer, Seagen, AstraZeneca, Daichii Sankyo, and Veracyte UD Tumour Agnostic Evidence Generation Working Group Member, Roche BG reports receiving consulting fees from Vivio Health. CG-R BMS (institutional research and travel grants, speaker’s honoraria), Roche/Genentech (institutional research and travel grants, speaker’s honoraria), Pierre Fabre (travel and educational grants, speaker’s honoraria) MSD (travel grants) Eisai (speaker’s honoraria) Foundation Medicine (research grant, speaker’s honoraria) BK Honoraria for lectures from Ipsen, Novartis and MSD SO research grants from Celldex and Novartis to the institution AP received honoraria for consulting, advisory role or lectures from AstraZeneca, Agilent/Dako, Boehringer Ingelheim, BMS, Eli Lilly, Janssen, MSD, Pfizer and Roche Genentech GP received institutional financial support for advisory board/consultancy from Roche, Amgen, Merck, MSD, BMS, and institutional support for clinical trials or contracted research from Amgen, Roche, AstraZeneca, Pfizer, Merck, BMS, MSD, Novartis, Lilly MP consulting or advisory role: AstraZeneca, Lilly, MSD, Novartis, Pfizer, Roche, Genentech, Crescendo Biologics, Periphagen, Huya Bioscience, Debiopharm Group, Odante Therapeutics Consulting or Advisory Role: G1 Therapeutics, Menarini, Seattle Genetics, Camel-IDS, Immunomedics, Oncolytics, Radius Health Research Funding: AstraZeneca (Inst), Lilly (Inst), MSD (Inst), Novartis (Inst), Pfizer (Inst), Roche (Inst), Genentech (Inst), Radius Health (Inst), Synthon (Inst), Servier (Inst) Other Relationship: Radius Health JT personal financial interest in the form of scientific consultancy role for Array Biopharma, AstraZeneca, Bayer, Boehringer Ingelheim, Chugai, Daiichi Sankyo, F. Hoffmann-La Roche Ltd, Genentech, Inc., HalioDX SAS, Ikena Oncology, IQVIA, Imedex, Lilly, MSD, Menarini, Merck Serono, Mirati, Novartis, Peptomyc, Pfizer, Pierre Fabre, Samsung Bioepis, Sanofi, Seattle Genetics, Servier, Taiho, Tessa Therapeutics and TheraMyc. Institutional financial interest in the form of financial support for clinical trials or contracted research for Amgen Inc., Array Biopharma Inc., AstraZeneca Pharmaceuticals LP, Debiopharm International SA, F. Hoffmann-La Roche Ltd, Genentech Inc., Janssen-Cilag SA, MSD, Novartis Farmacéutica SA, Taiho Pharma USA Inc., Pharma Mar, Spanish Association Against Cancer Scientific Foundation and Cancer Research UK EGEdV declares: institutional financial support for advisory board/consultancy from Sanofi, Daiichi, Sankyo, NSABP, Pfizer and Merck, and institutional support for clinical trials or contracted research from Amgen, Genentech, Roche, AstraZeneca, Synthon, Nordic Nanovector, G1 Therapeutics, Bayer, Chugai Pharma, CytomX Therapeutics, Servier and Radius Health CZ consultancies and speaker’s honoraria: Roche, Novartis, BMS, MSD, Imugene, Ariad, Pfizer, Merrimack, Merck KGaA, Fibrogen, AstraZeneca, Tesaro, Gilead, Servier, Shire, Eli Lilly, Athenex. Institution (Central European Cooperative Oncology Group): BMS, MSD, Pfizer, AstraZeneca, Servier, Eli Lilly GZ received speaker’s honoraria from Amgen and Ipsen. All other authors have declared no conflicts of interest.


Whistle-Blower: ‘Global Warming’ Data Manipulated Before Paris Conference

26,101 FRANCOIS GUILLOT/AFP/Getty

A high-level whistleblower at the National Oceanic and Atmospheric Administration (NOAA) has revealed that the organization published manipulated data in a major 2015 report on climate change in order to maximize impact on world leaders at the UN climate conference in Paris in 2015.

According to a report in The Mail on Sunday, NOAA scientist Dr. John Bates has produced “irrefutable evidence” that the NOAA study denying the “pause” in global warming in the period since 1998 was based on false and misleading data.

The NOAA study was published in June 2015 by the journal علم under the title “Possible artifacts of data biases in the recent global surface warming hiatus.”

Dr. Bates accused the lead author of the paper, Thomas Karl, of “insisting on decisions and scientific choices that maximized warming and minimized documentation.” Bates says that Karl did so “in an effort to discredit the notion of a global warming pause, rushed so that he could time publication to influence national and international deliberations on climate policy.”

Bates said that NOAA bypassed its own protocol, never subjecting the report to NOAA’s strict internal evaluation process. Rather, NOAA superiors rushed the study through in a “blatant attempt to intensify the impact” of the paper on the Paris meeting on climate change, he said.

The “Pausebuster” paper produced by NOAA in 2015 was based on two new sets of temperature data—one measuring land temperatures and the other sea temperatures—both of which turned out to be flawed.

According to reports, NOAA has now decided to replace the sea temperature dataset just 18 months after it was issued, because it used “unreliable methods which overstated the speed of warming.”

A reported increase in sea surface temperatures was due to upwards adjustments of readings from fixed and floating buoys to agree with water temperature measured by ships, according to Bates.

Bates said that NOAA had good data from buoys but then “they threw it out and ‘corrected’ it by using the bad data from ships. You never change good data to agree with bad, but that’s what they did – so as to make it look as if the sea was warmer.”

The land temperature dataset, on the other hand, was the victim of software bugs that rendered its conclusions “unstable,” Bates said.

Climate change skeptics have long insisted that scientists are susceptible to political and social pressures to produce the “right kind” of data to back up specific policy decisions.

Dr. Duane Thresher, a climate scientist with a PhD from Columbia University and NASA GISS, has pointed to a “publication and funding bias” as a key to understanding how scientific consensus can be manipulated.

Although scientists are held up as models of independent thinkers and unbiased seekers of truth, the reality is that they depend on funding even more than other professions, and will study what they are paid to study.

The Obama administration, which persistently denied that a climate debate even existed, channeled billions of federal dollars into programs and studies that supported its claims, while silencing contrary opinions.

Thomas Karl, the lead author on the Pausebuster paper, had a longstanding relationship with President Obama’s chief science adviser, John Holdren, giving him a “hotline to the White House.” Holdren was an ardent advocate of vigorous measures to curb emissions.

“In reality, it’s the government, not the scientists, that asks the questions,” said David Wojick, an expert on climate research spending and a longtime government consultant.

Federal agencies order up studies that focus on their concerns, so politics ends up guiding science according to its particular interests.

“Government actions have corrupted science, which has been flooded by money to produce politically correct results,” said Dr. William Happer, professor emeritus of physics at Princeton University and a member of the National Academy of Sciences.

“It is time for governments to finally admit the truth about global warming. Warming is not the problem. Government action is the problem,” he said.

NOAA, the world’s leading source of climate data, not only produced a severely flawed study for political motives, it also mounted a cover-up when challenged over its data.

Not long after the study’s publication, the US House of Representatives Science Committee initiated an inquiry into its claims that no pause in global warming had existed. NOAA refused to comply with subpoenas demanding internal emails and falsely claimed that no one had raised concerns about the paper internally.

President Donald Trump has pledged he will withdraw from the Paris Agreement that binds signer countries to a series of stringent measures to lessen emissions.


شاهد الفيديو: اذا اردت شيء من احدهم قل له هذه الجملة اسلوب نفسي ماكر لن يخبروك به (أغسطس 2022).