Επειδή ακούω συχνά παρόμοια επιχειρήματα/ανησυχίες για τον h index, αποφάσισα να τα συγκεντρώσω όλα και να τα απαντήσω σε αυτό το ποστ. Σημειώνω ότι το θέμα αυτό απασχολεί πολλούς «επαγγελματίες βιβλιομέτρες» που γράφουν και άρθρα περί αυτού. Εγώ είμαι ερασιτέχνης. Το ποστ αυτό θα είναι υπό συνεχή αναθεώρηση.

1. Οι αναφορές (citations) δεν είναι αναγκαστικά ένδειξη ποιότητας.

Αυτό δεν ακούγεται συχνά αλλά ακούγεται. Έχει ειπωθεί π.χ. σε κρίσεις μελών ΔΕΠ ότι μιά δημοσίευση μπορεί να πάρει αναφορές επειδή είναι «εύληπτη», ή επειδή αυτά που λέει είναι λανθασμένα. Αντίθετα, μιά «δύσκολη» εργασία που είναι πολύ μπροστά από την εποχή της ας πούμε, δεν θα πάρει αναφορές. Η απάντησή μου είναι ότι κάτι τέτοιο είναι εξαιρετικά σπάνιο. Αναφορά σε μιά εργασία δε σημαίνει απαραίτητα και έγκρισή της, αλλά σημαίνει ότι ήταν αρκετά ενδιαφέρουσα για να παραπέμψει κανείς σε αυτήν. Είναι πιό τιμητικό για μιά εργασία να την επικρίνεις παρά να την αγνοήσεις τελείως. Στο κάτω κάτω, ας εξετάσει όποιος θέλει τους 400 χημικούς με τον υψηλότερο h index και ας μου πει ποιός από αυτούς είναι εκεί ενώ δεν το αξίζει. Βεβαίως, δεν υπάρχει αμφιμονοσήμαντη σχέση μεταξύ αναφορών και ποιότητας. Είναι δυνατόν μιά εργασία με περισσότερες αναφορές να μην είναι τόσο σημαντική όσο μιά άλλη με λιγότερες. Αυτό που λέμε είναι ότι υπάρχει συσχέτιση.

2. Θα έπρεπε να χρησιμοποιηθούν Impact Factors

O Impact Factor ενός περιοδικού είναι ένα μέτρο του πόσες αναφορές παίρνει το μέσο άρθρο του και συσχετίζεται με την ποιότητά του και τη δυσκολία δημοσίευσης σε αυτό. Όμως δεν είναι όλα τα άρθρα ενός high impact factor περιοδικού επιτυχημένα. Αν είναι να κρίνουμε την απήχηση ενός άρθρου που είναι 10 ετών, γιατί να χρησιμοποιήσουμε το IF και όχι τις αναφορές στο συγκεκριμένο άρθρο; Δηλαδή, πάρτε δύο άρθρα του 1995, ένα στο Nature με 20 αναφορές και ένα στο J. Phys. Chem. με 100 αναφορές. Ποιό είναι πιό σημαντικό; Φυσικά το δεύτερο. Επομένως, το IF είναι χρήσιμο μόνο για πρόσφατες δημοσιεύσεις, που δεν έχουν προλάβει να πάρουν αναφορές. Αν θέλουμε π.χ. να αξιολογήσουμε τη δουλειά ενός τμήματος τα τελευταία 3 χρόνια, ή να συγκρίνουμε υποψήφιους για θέση Επίκουρου Καθηγητή, καλύτερα να χρησιμοποιήσουμε τους IFs. Αλλά για το συνολικό έργο ενός ώριμου επιστήμονα, δεν υπάρχει κανένας λόγος να χρησιμοποιηθεί o IF.

3. Ο h index αγνοεί τον αριθμό των συγγραφέων ενός άρθρου και τη συμβολή του καθενός σε αυτό.

Αυτό είναι σοβαρό πρόβλημα, και γίνεται ιδιαίτερα οξύ στη Φυσική Υψηλών Ενεργειών, όπου υπάρχουν δημοσιεύσεις με εκατοντάδες συγγραφείς και ο καθένας από αυτούς παρουσιάζει h > 30 ή 40. Δεν ξέρω να υπάρχει κάποια γενικά αποδεκτή φόρμουλα για να διορθώσει κανείς για τον αριθμό των συγγραφέων. Απλή διαίρεση δε φαίνεται καλή ιδέα. Ιδανικά, θα έπρεπε να διαφοροποιείται η πίστωση μιάς δημοσίευσης στον πρώτο συγγραφέα, στον corresponding author, και στους υπόλοιπους, για τις περιοχές εκείνες όπου η σειρά των συγγραφέων έχει κάποια σημασία. Όλα αυτά θέλουν πολλή «χειρωνακτική» εργασία. Για την ώρα αρκεί να καταγράφεται ο h index με «αστερίσκο» για περιπτώσεις όπου ο αριθμός των συγγραφέων είναι συστηματικά μεγάλος ή όταν ο εν λόγω επιστήμονας είναι σπάνια πρώτος ή corresponding author.

4. Ο h index ενός επιστήμονα επηρεάζεται πολύ από συνεργασίες

Αυτό είναι σχετικό με το παραπάνω και είναι επίσης ένα πρόβλημα. Χαρακτηριστικό παράδειγμα στο τμήμα Χημείας των Αθηνών. Οι δύο επίκουροι καθηγητές με τον υψηλότερο h είναι ο Ιατρού και ο Πιτσικάλης. Όμως σχεδόν όλες οι δημοσιεύσεις τους έχουν συν-συγγραφέα τον Χατζηχρηστίδη. Σε ποιό βαθμό οφείλεται η καλή τους επίδοση στη συνεργασία με τον Χατζηχρηστίδη; Πόσο ανεξάρτητα δούλεψαν; Μιά ιδέα μπορεί να πάρει κανείς αν δει σε πόσα άρθρα ήταν corresponding author. Από κει και πέρα ο βιβλιομέτρης σηκώνει τα χέρια και παίρνει τηλέφωνο τον Χατζηχρηστίδη :=)

5. Abstracts και Review papers δεν θα έπρεπε να συμπεριλαμβάνονται

Τα abstracts περιλαμβάνονται στα hits αλλά δεν παίρνουν αναφορές κι έτσι δεν επηρεάζουν τον h, που είναι ο πιό σημαντικός δείκτης. Δεν ξέρω κάποιον να γράφει αποκλειστικά review papers. Κάποιος που δεν δημοσιεύει πρωτότυπα άρθρα δεν θα κληθεί να γράψει Review και αν γράψει δεν θα προσελκύσει πολλές αναφορές. Οπότε δε νομίζω ότι RPs πρέπει να παραλείπονται.

6. Όπως είναι γνωστό τα citation patterns διαφέρουν από περιοχή σε περιοχή (δηλαδή δεν μπορείς να συγκρίνεις Ιατρική (πολλές δημοσιεύσεις και αναφορές) και καθαρά Μαθηματικά (λίγες δημοσιεύσεις και αναφορές). Αλλά και μέσα σε ένα πεδίο όπως η Χημεία μπορεί να υπάρχουν διαφοροποιήσεις ανάλογα με το αντικείμενο. Π.χ. η Βιοχημεία έχει περισσότερες αναφορές από ότι η Περιβαλλοντική Χημεία. Οπότε είναι άδικο να κατατάσσονται συλλήβδην όλοι οι Χημικοί με βάση το δείκτη h αγνοώντας την περιοχή της Χημείας στην οποία εργάζονται γιατί h=25 μπορεί να είναι εξαιρετικό για μιά περιοχή και καθόλου ικανοποιητικό για μιάν άλλη.

Δέχομαι την κριτική όσον αφορά τη σύγκριση ατόμων. Δε νομίζω ότι επηρεάζει τη σύγκριση τμημάτων, εκτός κι αν υπάρχουν μεγάλες διαφορές στη σύνθεση των τμημάτων ανά περιοχή. Η κατάταξη των επιστημόνων με βάση τον h πρέπει να λαμβάνεται «with a grain of salt». Εξάλλου, ούτε και στην παραπάνω λίστα των κορυφαίων 400 χημικών γίνεται διαχωρισμός μεταξύ περιοχών χημείας.

7. Δεν θα έπρεπε να λαμβάνονται υπ’ όψη οι αυτοαναφορές.

Κατά τη δική μου εμπειρία οι αυτοαναφορές αυξάνουν το δείκτη h κατά 2-3 μονάδες το πολύ. Κι αυτό είναι κοινό λίγο-πολύ σε όλους. Υπάρχει κανείς που δεν παραπέμπει στα προηγούμενά του άρθρα; Το WoS δίνει τον αριθμό των αναφορών με ή χωρίς αυτοαναφορές. Από αυτό μπορεί κανείς να υπολογίσει το ποσοστό των αυτοαναφορών. Είναι συνήθως 2 με 10%. Μόνο στην περίπτωση πολύ λίγων αναφορών μπορεί να είναι μεγαλύτερο (μέχρι και 100%). Δείτε και σχόλιο #10 παρακάτω.

8. Είναι καλύτερα να χρησιμοποιείται το σύνολο των αναφορών

Το σύνολο των αναφορών συσχετίζεται στενά με το δείκτη h και θα μπορούσε να χρησιμοποιηθεί. Το μειονέκτημα είναι ότι υπάρχουν περιπτώσεις όπου αυτό το νούμερο είναι παραπλανητικό. Π.χ., κάποιος γράφει ένα προγραμματάκι το οποίο διανέμεται δωρεάν και συνεπώς συγκεντρώνει τεράστιο αριθμό αναφορών. Π.χ. το molscript είναι ένα πρόγραμμα για την απεικόνιση πρωτεϊνών γραμμένο από τον Kraulis PJ. Το άρθρο που το περιγράφει έχει 12430 αναφορές, ενώ ο h index του Kraulis είναι μόλις 13. Αν χρησιμοποιήσει κανείς το σύνολο των αναφορών θα υπερτιμήσει την προσφορά του συγγραφέα αυτού. Σε άλλες περιπτώσεις ο συνολικός αριθμός των αναφορών μπορεί όντως να είναι καλύτερο κριτήριο. Ο KB Mullis πήρε το βραβείο Νόμπελ Χημείας για το Polymerase Chain Reaction. Ο άνθρωπος αυτός σχεδόν δεν έχει κάνει τίποτε άλλο. Ένα πράγμα, αλλά έκανε πάταγο. Τα νούμερά του είναι 18-12, αλλά ο συνολικός αριθμός των αναφορών είναι 25,700. Ένα paper του 1988 μόνο έχει 14106 αναφορές. Το h-index μετράει περισσότερο την ευρύτητα της επιστημονικής προσφοράς. Αναδεικνύει ανθρώπους που συνεισέφεραν συστηματικά και επί μεγάλο χρονικό διάστημα, αντί για κάποιους που μπορεί και να ευνοήθηκαν από την τύχη. Παρ’ όλα αυτά, το σύνολο των αναφορών θα μπορούσε να χρησιμοποιηθεί για να διαφοροποιήσει επιστήμονες με παρόμοιο h. Όπως και να χει, όλα αυτά τα νούμερα είναι ενδεικτικά και δεν θα μπορέσουν ποτέ να υποκαταστήσουν ολοκληρωτικά την ανθρώπινη κρίση. Όμως είναι πολύτιμα στην Ελλάδα όπου η ανθρώπινη κρίση πολλές φορές διαστρεβλώνεται από σκοπιμότητες, φιλίες, εύνοιες, ιδιοτέλειες, κτλ.

9. Θα έπρεπε να λαμβάνονται υπ’ όψη και τα grants

Αυτό είναι λίγο tricky. Ας πούμε ότι υπάρχουν δύο επιστήμονες με τις ίδιες ερευνητικές επιδόσεις. Ο Α έχει λάβει πολλά grants και ο Β κανένα. Ποιόν θα αξιολογήσεις ως καλύτερο; Από τη μιά μεριά, αυτός που πήρε grants έδειξε πρωτοβουλία, κρίθηκε θετικά, και επιβραβεύθηκε. Από αυτήν την άποψη είναι καλύτερος. Από την άλλη, ο Β κατάφερε το ίδιο αποτέλεσμα με λιγότερους πόρους. Οπότε αυτός είναι καλύτερος. Για αυτό θα προτιμούσα να μην λαμβάνονται υπ’ όψη τα grants, ακόμα κι αν υπήρχαν στοιχεία, αλλά μόνο το επιστημονικό αποτέλεσμα. Επίσης, για την Ελλάδα, έχω κάποιες αμφιβολίες ότι οι χορηγίες δίνονται απόλυτα αξιοκρατικά, ακόμα κι αυτές της ΕΕ. Αν ενδιαφέρεται κανείς θα μπορούσα να αναφέρω τις ενδείξεις που με οδηγούν στο να αμφιβάλλω.

10. Μήπως για την αποτίμηση ενός τμήματος δεν πρέπει να λαμβάνεται ο μέσος όρος του h των μελών ΔΕΠ αλλά ο h ολόκληρου του τμήματος;

Διαφωνώ σε αυτό για δύο λόγους: α) όταν ένας ερευνητής ξεχωρίζει από τους υπόλοιπους (όπως π.χ. στο τμήμα Χημείας των Αθηνών) ο h του τμήματος θα καθοριστεί από τον h του ερευνητή αυτού και μόνο. Δε νομίζω ότι αυτό δίνει τη σωστή εικόνα του τμήματος β) δεν υπάρχει εύκολος τρόπος να διορθώσει κανείς για το μέγεθος του τμήματος (όσο μεγαλύτερο το τμήμα, τόσο μεγαλύτερο και το h του τμήματος).

11. Δεν είναι όλα τα περιοδικά στο Web of Science (π.χ. Χημικά Χρονικά)

Για τις θετικές επιστήμες θα έλεγα ότι περιοδικό που δεν είναι στο WoS δεν αξίζει. Εκτός κι αν είναι εντελώς καινούριο και δεν έχει μπει ακόμα, κάτι που είναι πολύ ειδική περίπτωση. Για τις ανθρωπιστικές και κοινωνικές επιστήμες το συζητάω. Είναι δυνατόν να βρει κανείς αναφορές σε άρθρα δημοσιευμένα σε περιοδικά που δεν καταγράφονται στο WoS (με Cited Reference Search) αλλά απαιτεί πολύ χρόνο που δεν δικαιολογείται για μιά προσεγγιστική μέτρηση όπως η παρούσα.

12. Κάποιοι επιστήμονες στην Ελλάδα έχουν υψηλό δείκτη h για δουλειά που έκαναν στο εξωτερικό, ενώ η παραγωγικότητά τους στην Ελλάδα είναι χαμηλή. Ένα τμήμα μπορεί να πετύχει υψηλή διάκριση με «μεταγραφή» καταξιωμένων επιστημόνων από το εξωτερικό.

Σωστά. Ο δείκτης h είναι ένα μέτρο των συνολικών επιτευγμάτων ενός επιστήμονα. Η αξιολόγηση με βάση το μέσο h παρέχει κίνητρο στα τμήματα να προσελκύσουν καταξιωμένους επιστήμονες από το εξωτερικό. Αυτό δεν είναι καθόλου κακό: δε λένε όλοι ότι θέλουν επαναπατρισμό των επιστημόνων του εξωτερικού; Ταυτόχρονα όμως θα ήταν εξαιρετικά χρήσιμο να υπάρχει και ένας δεύτερος δείκτης που να μετράει την πρόσφατη παραγωγικότητα των τμημάτων, π.χ. τα τελευταία 3 χρόνια. Εκεί θα πρέπει να ακολουθήσουμε διαφορετική μεθοδολογία, πιθανότατα με Impact Factors παρά αναφορές. Αυτό δεν θα επέτρεπε σε κανέναν να επαναπαυθεί στις δάφνες του. Εδώ θα μπορούσαμε νε μελετήσουμε τη μεθοδολογία του RAE στη Βρετανία.

Advertisements