Metacognitive Monitoring and Mathematical Abilities: Cognitive Diagnostic Model and Signal Detection Theory Approach

Abstract

Öğrencilerin matematik becerilerinin belirlenmesinde, diğer birçok sınıf içi değerlendirmenin yanında, PISA (Uluslararası Değerlendirme Programı) ve TIMMS (Uluslararası Matematik ve Fen Eğilimleri Araştırması) gibi çeşitli ülkelerde standart olarak kullanılan ölçme araçları bulunmaktadır. Ülkelerarası uygulanan bu geniş ölçekli testlerdeki soru içerikleri, soru yanıtlama türü, puanlanmalar ve analiz yöntemleri yıllar içinde çeşitlenmiştir. Bu araştırmada, PISA matematik testine ait becerilerin değerlendirmesinde daha önceden kullanılmamış olan Bilişsel Tanı Modeli (BTM) ve Sinyal Tespit Kuramı’na (STK) ait analiz yöntemleri birlikte kullanılarak bu becerilerin tek bir test prosedürü içinde belirlenmesi amaçlanmıştır. Bu amaç doğrultusunda rastgele örnekleme yöntemiyle İzmir ilinden belirlen 6. Sınıf öğrencilerine (N=230), PISA matematik testi eşdeğerliğinde farklı madde formatlarının kullanıldığı (çoktan seçmeli, doğru yanlış, kısa cevaplı) ve doğru/yanlış olarak dikatomik şekilde puanlanan 12 sorudan oluşan bir matematik testi uygulanmıştır. BTM ölçümleri DINA (the Deterministic Input Noisy Output and Gate) model kullanılarak gerçekleştirilmiştir. STK yöntemiyle ise, bireyin doğru ve yanlış yanıtlarını ayırt edebilme becerisi olarak tanımlanan “üstbilişsel izleme” performansının ölçülmesi amacıyla, katılımcılardan her bir soru maddesi için sırasıyla, soruyu çözüp çözemeyeceğini belirtmesi, doğru yanıtlayabileceğini düşünmemiş olsa bile bir tahminde bulunması ve verdiği yanıtların doğruluğundan ne kadar emin olduklarını derecelendirmeleri istenmiştir. Üstbilişsel izleme performansı, özetle, katılımcıların gerçekte doğru olan yanıtlarında soruyu yanıtlayabileceğini seçip yüksek eminlik düzeyleri vermesi, yanlış olan yanıtlarında ise soruyu yanıtlayabileceğini düşünmemesini ve tahminleri için düşük eminlik düzeyleri vermesiyle, yanıtlarının doğru ve yanlış olarak ayrımını ne kadar iyi yapabildiğinin puanlanmasıyla elde edilmiştir. Sonuçlar, PISA testinin BTM yöntemine iyi uyum sağladığını göstermiş ve BTM yöntemiyle belirlenen dört temel beceriden (“ilişkilendirme ve iletişim”, “matematikleştirme”, “akıl yürütme ve strateji geliştirme” ve “sembolik ve teknik dil kullanımı”) özellikle “akıl yürütme ve strateji geliştirme” becerisi yüksek olan öğrencilerin üstbilişsel izleme performanslarının da yüksek olduğu görülmüştür. Araştırma, doğru ve yanlış yanıtları yüksek oranda ayırt edebilme becerisinin gerçekte hangi özelliklerle ilişkili olduğunun bulunması konusundaki çalışmalarına katkı sağlamaktadır. Bulgular temelinde, üstbilişsel izleme becerisinin özgül olarak “akıl yürütme ve strateji geliştirme” olarak gözlenen alt özelliğe sahip olmakla ilişkili olabileceği önerilmiştir. Ek olarak, PISA testinde -veya herhangi bir başka de olabileceği gibi- üstbilişsel izleme performansının STK ölçüm metodu gibi görece kolay ek bir test prosedürüyle ölçülerek, testte ölçülen becerilerin yanında öğrencilerin diğer ilgili üst-düzey becerileri hakkında da bilgiler elde edilebileceği önerilmektedir.

Besides various in-class assessments, there exist some standardized assessment tools that are administered in several countries, such as PISA (Programme for International Student Assessment) and TIMMS (Trends in International Mathematics and Science Study). The questions’ contents, type of responding, grading, and the analyses in these large-scale tests have been diversified in years. In this study, it was aimed to identify the abilities that are measured at PISA mathematics test in a single testing procedure and by utilizing the methods of analyses of Cognitive Diagnostic Model (CDM) as well as Signal Detection Theory (SDT), which have not been used so far in the assessment of these abilities. Therefore, a randomly selected sample of 6th-grade students (N=230) in Izmir was tested with a PISA-equivalent 12-item mathematics test, where the items are graded dichotomously (correct vs. incorrect). CDM estimates were calculated by using the Deterministic Input Noisy Output and Gate (DINA) Model. The participants were asked to report whether they thought they could solve the question correctly, guess even if they thought they could not solve the question, and then, rate their confidence levels on the correctness of their answers in turn so as to allow us to measure their “metacognitive monitoring performance” with the SDT method, which refers to the ability to differentiate correct and incorrect responses. In short, a better metacognitive monitoring performance was obtained by measuring how well once could differentiate their correct and incorrect responses with the observation of they prefer reporting and then giving high confidence levels to the actually correct responses and prefer passing to give an answer yet rate lower confidence levels to the actually incorrect responses given as pure guesses. The results showed that CDM fits well to the assessment of PISA test and those who were better at the ability of “reasoning and developing strategies” in particular among four possible abilities detected with CDM (“representing and communicating”, “mathematization”, “reasoning and developing strategies”, “using symbolic and technical language”) had also better metacognitive monitoring performance. The present study, therefore, contributes to the research that investigates what features the ability of better differentiating correct and incorrect responses are actually linked. Based on the results, it is suggested that a better metacognitive monitoring ability is linked to having a better ability of “reasoning and developing strategies” in particular. Additionally, it is suggested that measuring metacognitive monitoring performance at PISA -or even any other possible tests- with the SDT calculation method, that has a relatively straightforward testing procedure, may yield various estimates for the students’ abilities measured at the test as well as their related higher-order abilities.