Άλλος ένας δείκτης που βγάζει τη δεινότητα των ακαδημαϊκών ιδρυμάτων με βάση τη συμμετοχή των μελών τους σε έγκυρα επιστημονικά περιοδικά, τη via aurea προς τον «publish or perish» αγώνα της ερευνητικής υπεροχής… Είναι ενδιαφέρουσα η μεθοδολογία όχι μόνο για τη διαφορετικότητά της, αλλά και για τους λόγους που εξηγούν οι συγγραφείς πως οι υπάρχουσες κατατάξεις είναι ελλιπείς.
Θα βρείτε και κατάταξη [τριών] ελληνικών πανεπιστημίων μέσα…
Journal gatekeeping indicators are based on the fact that for the satisfactory operation of the international system of basic research in the sciences the screening activity of journal editorial boards, which guarantee the professional standard of science journals, is of paramount importance. It is considered the critical mentality and decisions of journal editors have so far protected and will also warrant in the future the social and intellectual integrity of science. The members of the editorial and advisory boards of journals are rightfully considered the gatekeepers of these journals. These gatekeepers in controlling the system of manuscript evaluation and selection occupy powerful strategic positions in the collective activity of science. Our previous results have proven that these indicators, which are based on quantification of gatekeepers correlate well with science indicators built on journal paper productivity and citation.
The use of science journal gatekeepers as indicators present the following advantages:
1. Gatekeepers are professionally ranked higher than authors because the selection of them is made on the base of the quality of their scientific past performance.
2. Their identification as members of the editorial and advisory boards of science journals is simple and un-equivocal.
3. Indicators based on journal gatekeepers are more reliable than those built on papers and citations where multi-authored papers present problems of allocation. The same drawback is present in the allocation of citations to countries, institutions, individuals, which rises the problem of fractional counting. This problem doesn’t exist in the case of gatekeepers.
Greek University Reform Forum 
Αυτοί βγάζουν στην πρώτη θέση την Αθήνα και την Κρήτη και μετά το ΑΠΘ. Το κύριο μειονέκτημα είναι δεν διορθώνουν για το μέγεθος του πανεπιστημίου. Επίσης δεν μπορούν να κατατάξουν πανεπιστήμια που δεν έχουν κανένα καθηγητή σε editorial board. Χρήσιμος δείκτης, αλλά όχι και ο καλύτερος.
Αν κατάλαβα καλά ναι. Αν και ιδιαίτερα μικρά ιδρύματα όπως το Caltech καταφέρνουν να είναι αρκετά ψηλά στις λίστες. Επίσης η ίδια η δικιά σου παρατήρηση ότι το ΑΠΘ ως το μεγαλύτερο ίδρυμα της χώρας δεν καταφέρνει να είναι πρώτο μπροστά στη μικρή Κρήτη, δείχνει πως η σχέση δεν είναι αναλογική.
Σύμφωνα με το συλλογισμό των συγγραφέων, Θέμη, πανεπιστήμια και ινστιτούτα που δεν καταφέρνουν να εισάγουν καθηγητές σε editorial boards, απλά δεν έχουν βαρύτητα στο «παιχνίδι» της ανταλλαγής γνώσης μέσω του μηχανισμού του journal gatekeeping.
Απ’τη στιγμή που στα καλύτερα πανεπιστήμια πάνε οι καλύτεροι επιστήμονες, και οι καλύτεροι επιστήμονες καταφέρνουν να γίνουν editors, μου φαίνεται λογική αυτή η προσέγγιση, αν και λίγο brutal…
«A first identifying of allocation of gatekeepers to universities has been made by a
special algorithm.»
Αναρωτιέμαι ποιος gatekeeper άφησε να περάσει το παραπάνω ασχολίαστο… Λίγο μετά, γράφουν επίσης πως:
«The number of gatekeepers on the basis of which a university has been included in the tables was different for the world list and for the different countries.»
Γιατί βρε παιδιά; Δεν μπορούσατε να χρησιμοποιήσετε τον ίδιο αριθμό;
Λίγα σχόλια για τους gatekeepers και το πόσο ανούσιο κριτήριο είναι. Σε πολλά journals, το κουπί το τραβάει ένα μικρό μόνο μέρος του editorial board (συνήθως editors, area editors) κλπ. Κάποιοι από αυτούς (που τραβάνε το κουπί και μπορεί και να πληρώνονται) είναι σε σχετικά αρχικό στάδιο στην καριέρα τους. Πολλοί από τους υπόλοιπους είναι εκεί για διακοσμητικούς σκοπούς και (ανάλογα την πολιτική του journal) μπορεί να μην κάνουν ούτε reviews. Ο δε τρόπος που έχουν επιλεγεί μπορεί να έχει να κάνει με κριτήρια όπως γεωγραφική αντιπροσώπευση, φιλία με τον editor, πηδούν τη γραμματέα του, και διάφορα άλλα υψίστης σημασίας… Αφήστε δε που κάποια ανυπόληπτα journals παρακαλούν τον κόσμο να μπει στο editorial board… Τώρα, πόσο όλα αυτά μπορούν να αντικαταστήσουν το peer-reviewing και να χρησιμοποιηθούν για κατάταξη πανεπιστημίων… Μήπως πρέπει να καθιερώσουμε papers που θα κάνουμε τηλεφωνική δημοσκόπηση και θα λέμε «ένα δείγμα από 1000 τυχαίες κυρα-Κατίνες ρωτήθηκε να μας πει τη γνώμη τους για τα 10 καλύτερα πανεπιστήμια της Ελλάδας…»;
ΥΓ: Πρόσεξε κανείς πως το Imperial λείπει παντελώς από τις λίστες;
ΥΓ2: Το «Απ’τη στιγμή που στα καλύτερα πανεπιστήμια πάνε οι καλύτεροι επιστήμονες, και οι καλύτεροι επιστήμονες καταφέρνουν να γίνουν editors» είναι εξαιρετικά αφελές. Και τα δύο τμήματα της πρότασης δείχνουν αφέλεια (και άγνοια περί τα ισχύοντα θα έλεγα), και ο ορισμός του καλύτερου επιστήμονα είναι πιο ασαφής και από το «καλύτερος ποδοσφαιριστής στον κόσμο».
Στο άρθρο λένε ότι στηρίχθηκαν στο [14] της βιβλιογραφίας για την επιλογή των περιοδικών. Αν κατάλαβα καλά, επέλεξαν περιοδικά με editors από τουλάχιστον 8 χώρες (για να είναι πράγματι διεθνή) και από αυτά πήραν το top 20 σε impact factor ανά πεδίο. Οπότε σίγουρα δεν είναι ανυπόληπτα περιοδικά. Βέβαια το Annals of Mathematics, το απολύτως κορυφαίο μαθηματικό περιοδικό (αν έχετε πχ αποδείξει το θεώρημα του Fermat, εκεί θα στείλετε) αλλά και το Journal of the American Mathematical Society (ΠΟΛΥ ψηλά, ίσως no2) βγαίνουν έξω λόγω του Α’ κριτηρίου.
θα κάνουμε τηλεφωνική δημοσκόπηση και θα λέμε «ένα δείγμα από 1000 τυχαίες κυρα-Κατίνες ρωτήθηκε να μας πει τη γνώμη τους για τα 10 καλύτερα πανεπιστήμια της Ελλάδας…»
Από τη στιγμή που το έγραψα, σκέφτομαι το παραπάνω… Πόσοι πραγματικά πιστεύετε πως μια τέτοια κατάταξη θα δώσει τελείως εξωπραγματικά αποτελέσματα; Προσωπικά, δε νομίζω πως τα αποτελέσματα θα έχουν στατιστικώς σημαντική διαφορά από πολλές άλλες κατατάξεις που είδαμε… Ή, να το πω και διαφορετικά: αν κάποιος μας έδινε 9 κατατάξεις που έχουν προκύψει με διάφορους indicators και μία που έχει προκύψει από τυχαίο δείγμα ερωτωμένων, δε νομίζω θα ήμασταν σε θέση να πούμε τι είναι τι…
Γενικά τα πράγματα θα ήταν ίσως έτσι, αλλά θα αποδείκνυε απλά ότι εν γένει τα Πανεπιστήμια έχουν τη φήμη που αξίζουν να έχουν.
Στην Ελλάδα όμως πόσοι από το γενικό πληθυσμό θα έβαζαν το Πανεπιστήμιο Κρήτης πρώτο στη σειρά;
Γενικά τα πράγματα θα ήταν ίσως έτσι, αλλά θα αποδείκνυε απλά ότι εν γένει τα Πανεπιστήμια έχουν τη φήμη που αξίζουν να έχουν.
Η ερμηνεία μου είναι διαφορετική. Υπάρχει τέτοια διακύμανση σε όλες αυτές τις λίστες που για ένα μικρό δείγμα (όπως των ελληνικών πανεπιστημίων) πολλές κατατάξεις θα ήταν αποδεκτές. Στην περίπτωση της τυχαίας δημοσκόπησης, νομίζω πως το μέγεθος του Πανεπιστημίου θα έπαιζε τον κύριο ρόλο, άρα δε νομίζω πως το αποτέλεσμα θα έδειχνε ιδιαίτερα αφύσικο αν είχαμε κάτι σαν ΕΚΠΑ, ΕΜΠ, ΑΠΘ στις πρώτες θέσεις…
Σαν παράδειγμα αυτών των διακυμάνσεων, ας δούμε τα 18 πρώτα πανεπιστήμια της Ευρώπης, με βάση την εργασία περί θεματοφυλάκων, φυλάκων πύλης, Θερμοπυλών, Κέρβερων, κλπ. (gatekeepers):
1. University of Cambridge UK 100.00
2. University College London UK 94.64
3. University of Oxford UK 78.57
4. Swiss Federal Institute of Technology, Zürich Switzerland 50.89
5. University of Edinburgh UK 40.18
6. Karolinska Institute Sweden 39.29
7–8. University of Vienna Austria 38.39
7–8. Pierre & Marie Curie University France 36.61
9. King’s College London UK 36.61
10. University of Bristol UK 34.82
11. University of Utrecht The Netherlands 33.04
12–13. University of Heidelberg Germany 29.46
12–13. University of Zürich Switzerland 29.46
14–16. Catholic University Leuven Belgium 28.57
14–16. University of Amsterdam The Netherlands 28.57
14–16. University of Manchester UK 28.57
17. University of Helsinki Finland 27.68
18. Leiden University The Netherlands 26.89
Πάμε τώρα στη λίστα της Σαγκάης (για τα ευρωπαϊκά πανεπιστήμια): Το πανεπιστήμιο της Βιέννης έχει πέσει στις θέσεις 57-78 (σαν να λέμε από την Α’ στη Γ’Εθνική και πιό κάτω). Το King’s College στη θέση 26. Το Leuven και το Amsterdam στις θέσεις 35-56. Αντίστοιχα, η Ουψάλα, από 17 στη λίστα της Σαγκάης είναι 51-53 στη λίστα των θεματοφυλάκων, κ.ο.κ.
Το ίδιο συμβαίνει και με τις λίστες του Leiden, το ίδιο θα συμβεί και με πολλές άλλες λίστες. Ο λόγος είναι απλός: από τη στιγμή που προσπαθούμε να βγάλουμε έναν αριθμό ως συνάρτηση πολλών κριτηρίων (που δεν ξέρουμε πως να τα σταθμίσουμε) είναι αναμενόμενο να υπάρχουν έντονες διαφοροποιήσεις. Πολύ απλά, δεν υπάρχει μία universal αλήθεια.
Οι λίστες αυτές μπορεί να δείχνουν τάσεις. Ναι, το Cambridge, ως σύνολο, μάλλον έχει πιο αξιόλογη ερευνητική παρουσία από το Πανεπιστήμιο του Nijmegen: αυτό δεν σημαίνει πως σε κάποιους τομείς το δεύτερο αποκλείεται να υπερισχύει. Όμως, είναι πραγματικά το ζητούμενο η κατάταξη σε συγκεκριμένη σειρά των πανεπιστημίων, ή η επί μέρους αξιολόγηση των χαρακτηριστικών τους – με βάση τις ιδιομορφίες του καθενός – και ο εντοπισμός δυνατών σημείων και αδυναμιών για βελτίωση; Πόσο νόημα έχει η συγκριτική κατάταξη των πανεπιστημίων δύο διαφορετικών χωρών και εκπαιδευτικών συστημάτων, του Λίβερπουλ και της Βαρκελώνης (δείτε τις σχετικές θέσεις τους: ποικίλουν ανάλογα με τη λίστα :-) ), για παράδειγμα; Και το σημαντικότερο: ποιό σκοπό τελικά εξυπηρετεί αυτή η κατάταξη; (ακόμη και οι Ευρωκράτες φίλοι των δεικτών, indicators, και λοιπών μηχανισμών προώθησης της απαράμιλλης τέχνης του ‘bean counting’ φαίνεται πως το απέφυγαν στην περίπτωση των πανεπιστημίων, όπως αναφέρεται εδώ και φαίνεται εδώ)
Εξαιρετικά αφελές, ufo, είναι που υπονοείς εξαιρετικά αφελές πως οι καλύτεροι επιστήμονες ΔΕ γίνονται editors ή ΔΕΝ πάνε στα καλύτερα ιδρύματα. Ακόμα και για «διακοσμητικούς λόγους» να προσκαλούνται ορισμένοι επιστήμονες στα περιοδικά, δεν παύουν να είναι αυτοί που έχουν διακριθεί.
Προσωπικά- στον κλάδο μου- ελάχιστοι είναι αυτοί που είναι «στο σχετικά αρχικό στάδιο της καριέρας τους» όπως λες εσύ. Editors δε γίνεσαι εύκολα αν είσαι αγνωστίδης.
Κωνσταντίνε: μιας και φαίνεται πως το πήρες προσωπικά και θίχτηκες, να διευκρινίσω το σχόλιό μου.
Το αφελές έγκειται: (i) εν πρώτοις στους επιθετικούς προσδιορισμούς (κάτι που θα περίμενα να γίνει σαφές με τη δεύτερη πρότασή μου): «καλύτερα πανεπιστήμια», «καλύτεροι επιστήμονες». Πώς ορίζονται αυτά; Ποιό είναι το μέτρο σύγκρισης; Πώς αντιδιαστέλλονται οι «καλύτεροι επιστήμονες» με τους «χειρότερους επιστήμονες»; Υπάρχει ολόκληρη συζήτηση πιο πάνω για τις διακυμάνσεις στην αξιολόγηση των πανεπιστημίων στη βάση διάφορων δεικτών. Έχουν γίνει κι άλλες συζητήσεις σε αυτό το φόρουμ. Κι εμείς είμαστε ερασιτέχνες του αθλήματος: υπάρχουν παραπομπές σε μελέτες ειδικών που αποφεύγεται η συλλήβδην κατάταξη των πανεπιστημίων (ακόμη και με τις ποδοσφαιρικές ομάδες – στο ερώτημα ποιά είναι η καλύτερη ομάδα – μπορεί είναι απείρως ευκολότερη η κατάταξη. Ξέρεις γιατί; διότι όπου υπάρχει πρωτάθλημα, παίρνουμε τη βαθμολογία, κι έχουμε το σύνολο βαθμών: ένα σαφές αντικειμενικό κριτήριο το οποίο είναι αυτό για το οποίο μάχονται οι ομάδες. Εδώ δεν υπάρχει κάτι αντίστοιχο). Τα ίδια (και περισσότερα προβλήματα ίσως) εμφανίζονται στην προσπάθεια ορισμού της έννοιας «καλύτερος επιστήμονας». Στο μυαλό μου ήρθε, σαν παράδειγμα, η περίπτωση του Grigori Perelman, ενός από τους σημαντικότερους, εν ζωή, μαθηματικούς. Διάβασε γι αυτόν και δες και τα στατιστικά του στο ISI: 11 δημοσιεύσεις, 134 αναφορές, h:5. Αν και η επίδοση δεν είναι ιδιαίτερα άσχημη για μαθηματικά (θα ήταν για Φυσική και Ιατρική), ούτε καν εμφανίζεται στους highly-cited επιστήμονες των Μαθηματικών. Από την άλλη, η πλέον highly-cited εργασία του είναι 58 σελίδων. Σύγκρινέ το αυτό με την εργασία των 2 σελίδων που είναι top στα highly-cited papers σε Computer Science που ανέφερα τις άλλες (Posada D, Crandall KA. MODELTEST: testing the model of DNA substitution. BIOINFORMATICS, 14(9):817-818, 1998. 4730 αναφορές, ας αφήσουμε το πόσο influential ή όχι είναι για Computer Science). Και αυτή είναι η κορυφή του παγόβουνου…
Με όλα αυτά τα προβλήματα, ακόμη κι αν ορίσουμε τις ασαφείς έννοιες «καλύτερους επιστήμονες» και «καλύτερα πανεπιστήμια», αναρωτιέμαι με ποιά λογική οι πρώτοι «πάνε» στα δεύτερα. Προφανώς και αυταπόδεικτα, σε κάθε κατάταξη πανεπιστημίων που βασίζεται στο προσωπικό της θα ισχύει πως το πρώτο είναι συνάρτηση του δεύτερου (αφού το δεύτερο έχει χρησιμοποιηθεί για να καταταχτούν τα πρώτα). Άρα; Τί σημαίνει αυτό;
Τα ίδια προβλήματα ισχύουν και με το «καταφέρνουν» να γίνουν editors. Δεν είναι κάποιο κατόρθωμα αυτό, ούτε προκύπτει από peer-review. Αναφέρθηκαν ήδη κάποια κριτήρια επιλογής – έχεις όμως αναρωτηθεί πώς γίνονται οι προσκλήσεις αυτές;
Σε σχέση με το επόμενο:
Ακόμα και για «διακοσμητικούς λόγους» να προσκαλούνται ορισμένοι επιστήμονες στα περιοδικά, δεν παύουν να είναι αυτοί που έχουν διακριθεί.
Ο λόγος που ανέφερα τους «διακοσμητικούς λόγους» είναι διότι αντιβαίνει στη λογική που προβάλλουν οι συγγραφείς της εργασίας:
It is considered the critical mentality and decisions of journal editors have so far protected and will also warrant in the future the social and intellectual integrity of science.
Αν, για παράδειγμα, το review το κάνει το ufo και όχι ο editor κύριος Διασημίδης, πώς εξασφαλίζεται το «journal editors have so far protected»;
Σε σχέση με το επόμενο:
Προσωπικά- στον κλάδο μου- ελάχιστοι είναι αυτοί που είναι «στο σχετικά αρχικό στάδιο της καριέρας τους» όπως λες εσύ.
Χοντρικά, το «σχετικά αρχικό στάδιο της καριέρας» ενός ερευνητή αφορά τα πρώτα 10 χρόνια μετά το διδακτορικό. Κάποιος μπορεί να είναι κάλλιστα associate (ή και full) professor μέσα σε αυτό το διάστημα. Προφανώς σε κάποιους κλάδους το ποσοστό αυτό θα είναι μικρότερο σε άλλους μεγαλύτερο. Δεν έχουμε στατιστικά και αν προσέξεις καλύτερα την αρχική μου πρόταση, μιλάει για «κάποιους από αυτούς (που τραβάνε το κουπί και μπορεί και να πληρώνονται)». Ο συνειρμός που ήθελα να κάνω είναι σαφής: ένας καθιερωμένος στο χώρο του ερευνητής, δεν δέχεται κατ’ανάγκη μιά αντίστοιχη θέση αν απαιτεί χρόνο και προσπάθεια. Υπάρχουν διάφορα «ηθικής» θα έλεγα φύσεως θέματα εδώ, αλλά ας μην επεκταθώ.
Όσο για το τελευταίο:
Editors δε γίνεσαι εύκολα αν είσαι αγνωστίδης.
Δεν αναφέρθηκε πουθενά κάτι τέτοιο.
Να κάνω μια τελική παρατήρηση, γενικότερης φύσεως:
* Ναι, χρειάζεται αξιολόγηση της έρευνας στην Ελλάδα.
* Ναι, χρειάζεται αξιολόγηση των ΑΕΙ και ΤΕΙ.
Όμως:
* Η προσπάθεια πρέπει να γίνει ολοκληρωμένα και σε βάθος, αξιοποιώντας κατάλληλα τη διεθνή εμπειρία, και όχι με απλοϊκούς, ολιστικούς, γενικευμένους δείκτες, αγνοώντας τα επιμέρους προβλήματά τους.
Σε άλλο σχόλιο θα αναφέρω ένα ακόμη βασικό πρόβλημα των ποσοτικών δεικτών για ολιστικές κατατάξεις που νομίζω δεν έχει αναφερθεί μέχρι τώρα. Προς το παρόν προετοιμάζομαι για Σ/Κ στη θάλασσα. Έρρωσθε!
@ufo και λοιποί: To incites που αναφέρετε δεν είναι αξιόπιστο για πληροφορική. Πολύ καλύτερα αποτελέσματα δίνουν το google scholar και το citeseer.
ufo,
ο δείκτης JGI έχει τις αδυναμίες του και πολύ πιθανόν να έχει και ορισμένες ανακρίβειες (πχ βγάζει ένα La Sapienza και ένα University of Rome ξεχωριστά, ενώ είναι το ίδιο).
Αλλά αν εξαιρέσεις ορισμένα απρόοπτα αποτελέσματα (πχ το Imperial που λες ότι λείπει!) γενικώς ακολουθεί τις προηγούμενες κατατάξεις που έγιναν με διαφορετικές μεθοδολογίες.
Η όλη σύγκρισή σου με ποδοσφαιριστές, κατίνες, κλπ είναι ατυχής. Σίγουρα θα υπάρχουν δεινοί επιστήμονες που δεν ενδιαφέρονται να γίνουν editors ή δεν είναι αρκετά διπλωματικοί ώστε να επιλεγούν. Αλλά αυτό θα μπορούσε να θεωρηθεί ένα αρνητικό του επιστήμονα που εν τέλει προκαλεί ζημιά (ή μάλλον… δεν προσφέρει κάτι έξτρα) στο πανεπιστήμιό του.
Harvard, Stanford, Cambridge βγαίνουν στις περισσότερες κατατάξεις πρώτα, ανεξάρτητα μεθοδολογίας. Αυτό σε συνδυασμό πως γενικότερα η μεθοδολογία βγάζει αποτελέσματα που ακολουθούν σχετικά πιστά τα αναμένομενα (δηλαδή δε βγήκε το Kentucky πάνω απ’το Yale ή η Αθήνα πάνω απ’τη Heidelberg να πεις ότι κάτι δεν πάει καλά) δείχνει πως δεν πρόκειται για κάτι απαράδεκτο.
Καλώς ή κακώς, ακόμα και στον τέλειο αντικειμενικό κόσμο του peer-reviewing υπάρχουν φιλικοί και λιγότεροι φιλικοί editors. Το να έχεις «φίλους» σε υψηλές θέσεις (περιοδικά) είναι ένας τρόπος έμμεσου gatekeeping…
Αν τώρα ορισμένα πανεπιστήμια είναι πιο ικανά να μαζεύουν τους επιστήμονες που γίνονται editors, τόσο το καλύτερο γι’αυτά… αυτό δείχνει η αυτή η μελέτη.