KESAISTHTIKI18

2018-04-14 19:46:53
Οι θέσεις της Επιστημονικής Επιτροπής για τη Στατιστική Επεξεργασία των Γραπτών Εξετάσεων 2017

Οι θέσεις της Επιστημονικής Επιτροπής για τη Στατιστική Επεξεργασία των Γραπτών Εξετάσεων 2017


Για Εγγραφή και Κατάταξη στους Πίνακες Διορισίμων

 Το Υπουργείο Παιδείας και Πολιτισμού (ΥΠΠ), ενόψει ανακριβών δημοσιευμάτων που αφορούν στη στατιστική επεξεργασία των Γραπτών Εξετάσεων 2017 για Εγγραφή και Κατάταξη στους Πίνακες Διορισίμων, ενημερώνει για τις θέσεις της Επιστημονικής Επιτροπής για τη Στατιστική Επεξεργασία των εν λόγω εξετάσεων, όπως εκφράζονται δια των εκπροσώπων της Επιτροπής, ακαδημαϊκών του Πανεπιστημίου Κύπρου, Ιάσονα Λαμπριανού και Γιώργου Σπανούδη.

  Το πιο κάτω κείμενο έχει σκοπό να εξηγήσει τα χαρακτηριστικά γνωρίσματα της στατιστικής επεξεργασίας που χρησιμοποίησε η Υπηρεσία Εξετάσεων για τις Εξετάσεις Διορισίμων και να απαντήσει σε μη επιστημονικά τεκμηριωμένα δημοσιεύματα των τελευταίων ημερών.

Του κυρίως κειμένου προηγείται μια σύνοψη, η οποία παρουσίαζει τα κυριότερα σημεία, τα οποία ακολούθως επεξηγούνται πιο αναλυτικά.

1. Σύνοψη

  1. Θα μπορούσε να μη γίνει στατιστική επεξεργασία και να χρησιμοποιηθούν απλά οι αρχικές βαθμολογίες των υποψηφίων σε κάθε αντικείμενο εξέτασης;

Κατηγορηματικά όχι. Επειδή ο σχετικός Νόμος προβλέπει τη δημιουργία καταλόγου κατάταξης των επιτυχόντων και προνοεί ότι οι επιτυχόντες μπορούν να διατηρήσουν μέχρι και για 10 έτη τη μοριοδότηση που πέτυχαν. Ως εκ τούτου, η στατιστική επεξεργασία καθίσταται αναπόφευκτη.
Η Υπηρεσία Εξετάσεων απλά εφάρμοσε τις διεθνείς πρακτικές, όπως αυτές προβλέπονται από όλους τους καταξιωμένους διεθνείς επιστημονικούς φορείς. Η στατιστική επεξεργασία των αρχικών βαθμολογιών υπαγορεύεται στον τόμο Brennan (2006) του Εθνικού Συμβουλίου Εκπαιδευτικής Μέτρησης των Ηνωμένων Πολιτειών (National Council on Measurement in Education) και του Αμερικανικού Συμβουλίου Εκπαίδευσης (American Council on Education). Επίσης υπαγορεύεται στις οδηγίες του Ευρωπαϊκού Συνδέσμου Εκπαιδευτικής Αξιολόγησης (Association for Educational Assessment – Europe), στις οδηγίες της Διεθνούς Επιτροπής Εξετάσεων (International Test Commission), στις αναθεωρημένες οδηγίες του Ολλανδικού συστήματος Ποιότητας Εξετάσεων (Revised Dutch Rating System for Test Quality) κτλ.

  1. Υπάρχουν καταξιωμένοι επιστήμονες/ερευνητές ή οργανωμένοι θεσμοί επιστημονικών ομάδων διεθνώς που να ισχυρίζονται ότι σε ανταγωνιστικές εξετάσεις κατάταξης θα πρέπει να αθροίζονται οι αρχικές – μη επεξεργασμένες – βαθμολογίες των υποψηφίων;

Κατηγορηματικά όχι. Δεν υπάρχουν επιστημονικά συγγράμματα που να προτείνουν την άθροιση αρχικών βαθμολογιών για εξετάσεις κατάταξης.

  1. Μόνο η Υπηρεσία Εξετάσεων του Υπουργείου Παιδείας και Πολιτισμού χρησιμοποιεί στατιστικές επεξεργασίες αρχικών βαθμολογιών;

Παρόμοιες (και συνήθως πολύ πιο πολύπλοκες) στατιστικές επεξεργασίες χρησιμοποιούνται από όλες τις ευρέως γνωστές Υπηρεσίες Εξετάσεων του εξωτερικού π.χ. Educational Testing Service (USA), Cambrdige Assessment (UK), Cito Group (Netherlands) κτλ.

  1. Μόνο στις Εξετάσεις Διορισίμων γίνεται στατιστική επεξεργασία των βαθμολογιών;
     
    Στην Κύπρο εφαρμόζεται η ίδια μέθοδος και για τις Παγκύπριες Εξετάσεις εδώ και δεκαετίες, αλλά και για άλλες εξετάσεις. Η στατιστική επεξεργασία των αρχικών βαθμολογιών δεν είναι απλά μια θεωρία σε ακαδημαϊκά εγχειρίδια, αλλά είναι συμβατή με τις διαδικασίες που ακολουθούνται σε μεγάλες εξετάσεις παγκοσμίως (π.χ. SATs, GRE, ACT).
  2. Μπορεί η κατάταξη των υποψηφίων να συνδυαστεί με βαθμολόγηση (π.χ. μοριοδότηση) από άλλες πηγές πληροφόρησης (π.χ. λόγω χρόνων υπηρεσίας);

Κατηγορηματικά ναι. Γιατί όχι; Δέστε για παράδειγμα τις εξετάσεις New South Wales Higher School Certificate (HSC) όπου οι στατιστικά επεξεργασμένες βαθμολογίες από τις γραπτές εξετάσεις συνδυάζονται με βαθμολογίες από άλλες πηγές (π.χ. σχολικούς βαθμούς).

  1. Είναι η στατιστική επεξεργασία που χρησιμοποίησε η Υπηρεσία Εξετάσεων πολύπλοκη και αδιαφανής;
    Η Υπηρεσία Εξετάσεων χρησιμοποιεί την πιο απλή μέθοδο στατιστικής επεξεργασίας που υπάρχει θεμελιωμένη στη βιβλιογραφία (δέστε σχετικό σχόλιο στο Kolen and Brennan, 2004, σελ. 54).
  2. Η μέθοδος στατιστικής επεξεργασίας που χρησιμοποιήθηκε δεν ήταν υπόψη κανενός και υιοθετήθηκε μετά τις εξετάσεις;

Ουδέν αναληθέστερο. Η διαδικασία αυτή ήταν γνωστή, προβλεπόταν από τον σχετικό Νόμο/Κανονισμό και χρησιμοποιείται από την Υπηρεσία Εξετάσεων εδώ και δεκαετίες για τις Παγκύπριες Εξετάσεις μετά από συμβουλές ειδικών από το Educational Testing Service (USA). Η μέθοδος αυτή έχει επίσης παρουσιαστεί εδώ και πολλά χρόνια σε διάφορα επιστημονικά συγγράμματα ως η μέθοδος στατιστικής επεξεργασίας που χρησιμοποιεί η Υπηρεσία Εξετάσεων (δέστε Lamprianou, 2009, 2012). Η Υπηρεσία Εξετάσεων δεν έκανε κάποια νέα επιλογή μεθόδου, απλά χρησιμοποίησε την ίδια μέθοδο (z scores) που χρησιμοποιεί εδώ και δεκαετίες, άρα δεν είχε κάτι καινούριο να ανακοινώσει σχετικά με αυτό το θέμα.

  1. Είναι αλήθεια ότι με τη στατιστική επεξεργασία που χρησιμοποίησε η Υπηρεσία Εξετάσεων αλλάζει η σειρά των επιτυχόντων ανά μάθημα:  

Αναληθέστατο. Δέστε για παράδειγμα το Chang (2006), που αναφέρει ότι η μέθοδος αυτή δεν επηρεάζει το σχήμα της κατανομής των βαθμολογιών («This transformation process exerts no effect on the original distributional shape of the raw scores», σελ. 907). Οι ανηγμένες βαθμολογίες είναι απλά η απόσταση της αρχικής βαθμολογίας των υποψηφίων από το μέσο όρο. Δείχνουν την σχετική επιτυχία ενός υποψηφίου σε σχέση με τους ανθυποψηφίους του.

  1. Είναι αλήθεια ότι η στατιστική επεξεργασία σε όλα τα γνωστικά αντικείμενα που εξετάστηκαν οι υποψήφιοι δεν ήταν απαραίτητη;

Λάθος, δέστε τον Kolen (2006) που συμβουλεύει ότι για να μπορέσουμε να συνθέσουμε τις αρχικές βαθμολογίες των υποψηφίων στα διάφορα αντικείμενα εξέτασης, θα πρέπει να επεξεργαστούμε με την ίδια μέθοδο τις αρχικές βαθμολογίες των υποψηφίων, όπως εξηγήθηκε πιο πριν: «Using the same scaling procedures for each of the tests in a battery facilitates the formation of … composites» (σελ. 169).

  1. Είναι αλήθεια ότι η στατιστική επεξεργασία και η άθροιση των «ανηγμένων» βαθμολογιών πιθανόν – αλλά όχι απαραιτήτως – να καθορίζει τη συνολική (όχι ανά μάθημα) κατάταξη των υποψηφίων;
     Ναι, αλλά αυτός ακριβώς είναι ο στόχος της στατιστικής επεξεργασίας επειδή πρέπει να αθροιστούν συγκρίσιμες μετρήσεις από κάθε αντικείμενο εξέτασης προκειμένου να καταταχτούν οι υποψήφιοι . Είναι λάθος να χρησιμοποιηθούν οι ανεπεξέργαστες βαθμολογίες. Δέστε, για παράδειγμα, το σχετικό δημοσίευμα των ερευνητών του Educational Testing Service, Tan και Michel, 2011) ή και τις οδηγίες του Ολλανδικού συστήματος Ποιότητας Εξετάσεων (Dutch Rating System for Test Quality) όπως περιγράφονται στο Evers (2001, σελ. 165) «Takenbyitself, therawscorehaslittleornosignificance.», δηλαδή από μόνες τους οι αρχικές (ανεπεξέργαστες) βαθμολογίες δεν σημαίνουν τίποτα!
  2. Υπάρχουν στη διεθνή ακαδημαϊκή κοινότητα αμφιβολίες ως προς την καταλληλότητα αυτής της μεθόδου;
    Κατηγορηματικά όχι. Η Επιστημονική Επιτροπή που επέβλεψε την εφαρμογή της μεθόδου στατιστικής επεξεργασίας για τις Εξετάσεις Διορισίμων έχει μεγάλη εμπειρία και πραγματογνωμοσύνη που έχει κατά καιρούς αξιοποιηθεί από κυβερνήσεις διαφόρων χωρών, Ευρωπαϊκών και μη και από Υπηρεσίες Εξετάσεων σε διάφορες χώρες.
    Με όλη την εμπειρία από διεθνή συνέδρια και με όλη τη γνώση της σχετικής βιβλιογραφίας, διαπιστώνεται κατηγορηματικά ότι η ακαδημαϊκή κοινότητα δεν έχει αμφιβολίες ως προς τη στατιστική επεξεργασία των αρχικών βαθμολογιών των υποψηφίων. Εάν υπάρχει αντίθετη άποψη, θα πρέπει να δηλωθεί και να τεκμηριωθεί με σχετική βιβλιογραφία σε καταξιωμένα επιστημονικά περιοδικά.

Από τα πιο πάνω προκύπτουν τα ακόλουθα:

  1. Ακόμα και αν η στατιστική επεξεργασία δεν προβλεπόταν από το σχετικό Νόμο, η Υπηρεσία Εξετάσεων θα έπρεπε υποχρεωτικά να την υιοθετήσει, προκειμένου η κατάταξη των υποψηφίων να είναι δίκαιη και το κράτος να μπορέσει να καταρτίσει άρτιους καταλόγους διορισίμων, για αξιοποίηση από την Επιτροπή Εκπαιδευτικής Υπηρεσίας.
  2. Όσοι έχουν αντίθετη άποψη και πιστεύουν ότι υπάρχει κάποια καλύτερη μέθοδος, θα πρέπει να την παρουσιάσουν και να την τεκμηριώσουν παραθέτοντας τη σχετική επιστημονική βιβλιογραφία.
  3. Αν οι επικριτές της μεθόδου στατιστικής επεξεργασίας που χρησιμοποιήθηκε δεν  μπορούν να παραθέσουν εξίσου ισχυρά επιχειρήματα, γερά θεμελιωμένα στη διεθνή ακαδημαϊκή γνώση και πρακτική, θα πρέπει άμεσα και δημοσίως να δηλώσουν ότι αποσύρουν τα ανακριβή τους δημοσιεύματα και να απολογηθούν για την αχρείαστη ανησυχία που έχουν προκαλέσει στους ενδιαφερόμενους και στο κοινό. Αν δεν το πράξουν άμεσα, παραμένουν εκτεθειμένοι.

Ολόκληρο το κείμενο στο πιο κάτω έγγραφο:



Αφήστε ένα σχόλιο

  • Υποχρεωτiκά πεδία *


If you have trouble reading the code, click on the code itself to generate a new random code.
 

Κυριάκος Ματθαίου
Sat April 14, 2018, 23:18:54
Σχόλιο 3
Ο «έγκριτος» Στατιστικός του ΥΠΠ στο έγγραφο με τίτλο
«Μέθοδος στατιστικής επεξεργασίας αρχικών βαθμολογιών ανά μάθημα:» που είναι δημοσιευμένο στην Ιστοσελίδα των εξετάσεων αναφέρει τα εξής:

«Με τη χρήση της συγκεκριμένης εξίσωσης αναπροσαρμογής των αρχικών βαθμολογιών:
(α) δεν επηρεάζεται η σύγκριση μεταξύ των υποψηφίων αυτής της εξεταστικής περιόδου επειδή όλοι μετακινούνται αναλογικά δεξιά ή αριστερά στη βαθμολογική κλίμακα,
(β) καθίσταται εφικτή τη συγκρισιμότητα των βαθμολογιών της παρούσας εξεταστικής περιόδου με επόμενες εξεταστικές περιόδους.»

Μετά τις αντιδράσεις και την δημόσια αρθρογραφία, στο έγγραφομε τίτλο: : «Οι θέσεις της Επιστημονικής Επιτροπής για τη Στατιστική Επεξεργασία των Γραπτών Εξετάσεων 2017 για Εγγραφή και Κατάταξη στους Πίνακες Διορισίμων» αναφέρονται τα εξής:

α) «…Το αποτέλεσμα αυτής της διαδικασίας είναι ότι η «σειρά» των υποψηφίων είναι δυνατόν, αλλά όχι απαραίτητο, να αλλάξει (σε σχέση με το άθροισμα των αρχικών τους βαθμολογιών)»

β) «Η μέθοδος στατιστικής επεξεργασίας που εφαρμόστηκε, επιτρέπει την κατάταξη των υποψηφίων για την τρέχουσα εξεταστική περίοδο, δεν διασφαλίζει όμως ότι η μοριοδότησή τους θα είναι συγκρίσιμη με τη μοριοδότηση των επόμενων εξεταστικών περιόδων.»

Τελικά απαντούν στον εαυτό τους εκεί στο Υπουργείο;
Και ζητούν απολογία από ποιους;
Οι ίδιοι πότε θα ΑΠΟΛΟΓΗΘΟΥΝ στο κόσμο που επηρεάζεται για την μη ορθή επεξεργασία που επέλεξαν;
Και επαναλαμβάνω ότι είναι ανακρίβεια να ισχυρίζονται ότι αυτή η διαδικασία εφαρμόζεται για δεκαετίες στις Παγκύπριες εξετάσεις... Διότι στα Μαθηματικά και τη Στατιστική κυριοι η παραμικρή αλλαγή στην διαδικασία ή στη επιλογή των παραμέτρων, μπορεί να προκαλέσει από μικρές μέχρι και τεράστιες μεταβολές στο αποτέλεσμα.

Κυριάκος Ματθαίου
Sat April 14, 2018, 20:46:29
Μελετώντας με πιο προσεκτικά το εκτενές κείμενο στη σελ. 10, αναφέρεται ρητά:
«Η μέθοδος στατιστικής επεξεργασίας που εφαρμόστηκε, επιτρέπει την κατάταξη των υποψηφίων για την τρέχουσα εξεταστική περίοδο, δεν διασφαλίζει όμως ότι η μοριοδότησή τους θα είναι συγκρίσιμη με τη μοριοδότηση των επόμενων εξεταστικών περιόδων.»
Αυτό επιβεβαιώνει πλήρως όσα έγραφα τις προηγούμενες μέρες. Ότι δηλαδή η στατιστική επεξεργασία που έγινε δεν εξυπηρετεί καθόλου τους σκοπούς που προνοεί η Νομοθεσία, ότι δηλ. διενεργείται στατιστική επεξεργασία «για σκοπούς ενιαίας κατάταξης των υποψήφιων που συμμετέχουν στις γραπτές εξετάσεις σε διαφορετικές εξεταστικές περιόδους και που έχουν επιτύχει στις γραπτές εξετάσεις»
Η επιλογή τώρα της συγκεκριμένης επεξεργασίας (που δεν είναι καθόλου η ίδια με αυτή που εφαρμόζει για χρόνια η Υπηρεσία εξετάσεων πχ για τις Παγκύπριες εξετάσεις) που δεν ήταν γνωστή από πριν και επιλέγει μόνο ένα μικρό μέρος του πληθυσμού των συμμετεχόντων για να υπολογίσει παραμέτρους και να εφαρμόσει αναγωγές, και που θα είναι ένα εντελώς διαφορετικό κομμάτι και εντελώς διαφορετικός πληθυσμός σε επόμενη εξέταση, έχει δημηουργήσει τις μεγάλες στρεβλώσεις που επεξήγησα σε προηγούμενο μου άρθρο. Σε όλα αυτά ΔΕΝ ΑΠΑΝΤΗΣΕ η επιτροπή του ΥΠΠ.
Επίσης δεν απάντησε αν με επιλογή άλλης παρόμοιας διαδικασίας που θα εφαρμοζόταν με παραμέτρους από ολόκληρο τον πληθυσμό των συμμετεχόντων στις εξετάσεις η επίδραση στην κατάταξη θα ήταν διαφορετική.
Άρα ποιος ήταν αυτός που νιώθοντας ΘΕΟΣ αποφάσισε ότι αυτό πρέπει να γίνει και δεν δημοσιοποίησε πριν γίνουν οι εξετάσεις την μέθοδο του για να συζητηθεί και να γίνουν βελτιώσεις;

Κυριάκος Ματθαίου
Sat April 14, 2018, 20:11:39
1. Η Στατιστική Επεξεργασία των Παγκυπρίων δεν είναι ΚΑΘΟΛΟΥ η ίδια. Άρα δεν ήταν καθόλου γνωστή από πριν.
2. Το πιο πάνω κείμενο ΔΕΝ ΥΠΟΓΡΑΦΕΤΑΙ.
3. Υπάρχει επιστημονική κοινότητα στην Κύπρο και ολόκληρο τμήμα Μαθηματικών και Στατιστικής που μπορεί να τοποθετηθεί επίσημα για την καταλληλότητα της μεθόδου που χρησιμοποιήθηκε αλλά και γιατί είχε τόση μεγάλη επίδραση στην μεταβολή της κατάταξης.
4. Όπως ανέφερε ο κ. Τάσος Χριστοφίδης, αλλά και όπως εμμέσως γίνεται παραδοχή πιο πάνω, δεν μπορεί να γίνει σύγκριση των βαθμολογιών , με τις βαθμολογίες στις επόμενες εξετάσεις,με την συγκεκριμένη διαδικασία, όπως προνοείται στην Νομοθεσία.
5. Άρα εφαρμόστηκε μια άγνωστη διαδικασία που αλλοίωσε τα αποτελέσματα σε πολύ μεγάλο βαθμό.

FREDERICK-EX
ucaln2prtyxia
 Cyprus School of Molecular Medicine
kaitomia-ereyna ucy
MA/MSc2018
NEAPJUL17
THALIS
microsoft1718
HPJETPRO
CDA2018
PAJULY17
MOECEE
AIGAIA
FORUMMARCH
iky2018
global
LOTTO
Middlesex2016