Επειδή ακούω συχνά παρόμοια επιχειρήματα/ανησυχίες για τον h index, αποφάσισα να τα συγκεντρώσω όλα και να τα απαντήσω σε αυτό το ποστ. Σημειώνω ότι το θέμα αυτό απασχολεί πολλούς «επαγγελματίες βιβλιομέτρες» που γράφουν και άρθρα περί αυτού. Εγώ είμαι ερασιτέχνης. Το ποστ αυτό θα είναι υπό συνεχή αναθεώρηση.
1. Οι αναφορές (citations) δεν είναι αναγκαστικά ένδειξη ποιότητας.
Αυτό δεν ακούγεται συχνά αλλά ακούγεται. Έχει ειπωθεί π.χ. σε κρίσεις μελών ΔΕΠ ότι μιά δημοσίευση μπορεί να πάρει αναφορές επειδή είναι «εύληπτη», ή επειδή αυτά που λέει είναι λανθασμένα. Αντίθετα, μιά «δύσκολη» εργασία που είναι πολύ μπροστά από την εποχή της ας πούμε, δεν θα πάρει αναφορές. Η απάντησή μου είναι ότι κάτι τέτοιο είναι εξαιρετικά σπάνιο. Αναφορά σε μιά εργασία δε σημαίνει απαραίτητα και έγκρισή της, αλλά σημαίνει ότι ήταν αρκετά ενδιαφέρουσα για να παραπέμψει κανείς σε αυτήν. Είναι πιό τιμητικό για μιά εργασία να την επικρίνεις παρά να την αγνοήσεις τελείως. Στο κάτω κάτω, ας εξετάσει όποιος θέλει τους 400 χημικούς με τον υψηλότερο h index και ας μου πει ποιός από αυτούς είναι εκεί ενώ δεν το αξίζει. Βεβαίως, δεν υπάρχει αμφιμονοσήμαντη σχέση μεταξύ αναφορών και ποιότητας. Είναι δυνατόν μιά εργασία με περισσότερες αναφορές να μην είναι τόσο σημαντική όσο μιά άλλη με λιγότερες. Αυτό που λέμε είναι ότι υπάρχει συσχέτιση.
2. Θα έπρεπε να χρησιμοποιηθούν Impact Factors
O Impact Factor ενός περιοδικού είναι ένα μέτρο του πόσες αναφορές παίρνει το μέσο άρθρο του και συσχετίζεται με την ποιότητά του και τη δυσκολία δημοσίευσης σε αυτό. Όμως δεν είναι όλα τα άρθρα ενός high impact factor περιοδικού επιτυχημένα. Αν είναι να κρίνουμε την απήχηση ενός άρθρου που είναι 10 ετών, γιατί να χρησιμοποιήσουμε το IF και όχι τις αναφορές στο συγκεκριμένο άρθρο; Δηλαδή, πάρτε δύο άρθρα του 1995, ένα στο Nature με 20 αναφορές και ένα στο J. Phys. Chem. με 100 αναφορές. Ποιό είναι πιό σημαντικό; Φυσικά το δεύτερο. Επομένως, το IF είναι χρήσιμο μόνο για πρόσφατες δημοσιεύσεις, που δεν έχουν προλάβει να πάρουν αναφορές. Αν θέλουμε π.χ. να αξιολογήσουμε τη δουλειά ενός τμήματος τα τελευταία 3 χρόνια, ή να συγκρίνουμε υποψήφιους για θέση Επίκουρου Καθηγητή, καλύτερα να χρησιμοποιήσουμε τους IFs. Αλλά για το συνολικό έργο ενός ώριμου επιστήμονα, δεν υπάρχει κανένας λόγος να χρησιμοποιηθεί o IF.
3. Ο h index αγνοεί τον αριθμό των συγγραφέων ενός άρθρου και τη συμβολή του καθενός σε αυτό.
Αυτό είναι σοβαρό πρόβλημα, και γίνεται ιδιαίτερα οξύ στη Φυσική Υψηλών Ενεργειών, όπου υπάρχουν δημοσιεύσεις με εκατοντάδες συγγραφείς και ο καθένας από αυτούς παρουσιάζει h > 30 ή 40. Δεν ξέρω να υπάρχει κάποια γενικά αποδεκτή φόρμουλα για να διορθώσει κανείς για τον αριθμό των συγγραφέων. Απλή διαίρεση δε φαίνεται καλή ιδέα. Ιδανικά, θα έπρεπε να διαφοροποιείται η πίστωση μιάς δημοσίευσης στον πρώτο συγγραφέα, στον corresponding author, και στους υπόλοιπους, για τις περιοχές εκείνες όπου η σειρά των συγγραφέων έχει κάποια σημασία. Όλα αυτά θέλουν πολλή «χειρωνακτική» εργασία. Για την ώρα αρκεί να καταγράφεται ο h index με «αστερίσκο» για περιπτώσεις όπου ο αριθμός των συγγραφέων είναι συστηματικά μεγάλος ή όταν ο εν λόγω επιστήμονας είναι σπάνια πρώτος ή corresponding author.
4. Ο h index ενός επιστήμονα επηρεάζεται πολύ από συνεργασίες
Αυτό είναι σχετικό με το παραπάνω και είναι επίσης ένα πρόβλημα. Χαρακτηριστικό παράδειγμα στο τμήμα Χημείας των Αθηνών. Οι δύο επίκουροι καθηγητές με τον υψηλότερο h είναι ο Ιατρού και ο Πιτσικάλης. Όμως σχεδόν όλες οι δημοσιεύσεις τους έχουν συν-συγγραφέα τον Χατζηχρηστίδη. Σε ποιό βαθμό οφείλεται η καλή τους επίδοση στη συνεργασία με τον Χατζηχρηστίδη; Πόσο ανεξάρτητα δούλεψαν; Μιά ιδέα μπορεί να πάρει κανείς αν δει σε πόσα άρθρα ήταν corresponding author. Από κει και πέρα ο βιβλιομέτρης σηκώνει τα χέρια και παίρνει τηλέφωνο τον Χατζηχρηστίδη :=)
5. Abstracts και Review papers δεν θα έπρεπε να συμπεριλαμβάνονται
Τα abstracts περιλαμβάνονται στα hits αλλά δεν παίρνουν αναφορές κι έτσι δεν επηρεάζουν τον h, που είναι ο πιό σημαντικός δείκτης. Δεν ξέρω κάποιον να γράφει αποκλειστικά review papers. Κάποιος που δεν δημοσιεύει πρωτότυπα άρθρα δεν θα κληθεί να γράψει Review και αν γράψει δεν θα προσελκύσει πολλές αναφορές. Οπότε δε νομίζω ότι RPs πρέπει να παραλείπονται.
6. Όπως είναι γνωστό τα citation patterns διαφέρουν από περιοχή σε περιοχή (δηλαδή δεν μπορείς να συγκρίνεις Ιατρική (πολλές δημοσιεύσεις και αναφορές) και καθαρά Μαθηματικά (λίγες δημοσιεύσεις και αναφορές). Αλλά και μέσα σε ένα πεδίο όπως η Χημεία μπορεί να υπάρχουν διαφοροποιήσεις ανάλογα με το αντικείμενο. Π.χ. η Βιοχημεία έχει περισσότερες αναφορές από ότι η Περιβαλλοντική Χημεία. Οπότε είναι άδικο να κατατάσσονται συλλήβδην όλοι οι Χημικοί με βάση το δείκτη h αγνοώντας την περιοχή της Χημείας στην οποία εργάζονται γιατί h=25 μπορεί να είναι εξαιρετικό για μιά περιοχή και καθόλου ικανοποιητικό για μιάν άλλη.
Δέχομαι την κριτική όσον αφορά τη σύγκριση ατόμων. Δε νομίζω ότι επηρεάζει τη σύγκριση τμημάτων, εκτός κι αν υπάρχουν μεγάλες διαφορές στη σύνθεση των τμημάτων ανά περιοχή. Η κατάταξη των επιστημόνων με βάση τον h πρέπει να λαμβάνεται «with a grain of salt». Εξάλλου, ούτε και στην παραπάνω λίστα των κορυφαίων 400 χημικών γίνεται διαχωρισμός μεταξύ περιοχών χημείας.
7. Δεν θα έπρεπε να λαμβάνονται υπ’ όψη οι αυτοαναφορές.
Κατά τη δική μου εμπειρία οι αυτοαναφορές αυξάνουν το δείκτη h κατά 2-3 μονάδες το πολύ. Κι αυτό είναι κοινό λίγο-πολύ σε όλους. Υπάρχει κανείς που δεν παραπέμπει στα προηγούμενά του άρθρα; Το WoS δίνει τον αριθμό των αναφορών με ή χωρίς αυτοαναφορές. Από αυτό μπορεί κανείς να υπολογίσει το ποσοστό των αυτοαναφορών. Είναι συνήθως 2 με 10%. Μόνο στην περίπτωση πολύ λίγων αναφορών μπορεί να είναι μεγαλύτερο (μέχρι και 100%). Δείτε και σχόλιο #10 παρακάτω.
8. Είναι καλύτερα να χρησιμοποιείται το σύνολο των αναφορών
Το σύνολο των αναφορών συσχετίζεται στενά με το δείκτη h και θα μπορούσε να χρησιμοποιηθεί. Το μειονέκτημα είναι ότι υπάρχουν περιπτώσεις όπου αυτό το νούμερο είναι παραπλανητικό. Π.χ., κάποιος γράφει ένα προγραμματάκι το οποίο διανέμεται δωρεάν και συνεπώς συγκεντρώνει τεράστιο αριθμό αναφορών. Π.χ. το molscript είναι ένα πρόγραμμα για την απεικόνιση πρωτεϊνών γραμμένο από τον Kraulis PJ. Το άρθρο που το περιγράφει έχει 12430 αναφορές, ενώ ο h index του Kraulis είναι μόλις 13. Αν χρησιμοποιήσει κανείς το σύνολο των αναφορών θα υπερτιμήσει την προσφορά του συγγραφέα αυτού. Σε άλλες περιπτώσεις ο συνολικός αριθμός των αναφορών μπορεί όντως να είναι καλύτερο κριτήριο. Ο KB Mullis πήρε το βραβείο Νόμπελ Χημείας για το Polymerase Chain Reaction. Ο άνθρωπος αυτός σχεδόν δεν έχει κάνει τίποτε άλλο. Ένα πράγμα, αλλά έκανε πάταγο. Τα νούμερά του είναι 18-12, αλλά ο συνολικός αριθμός των αναφορών είναι 25,700. Ένα paper του 1988 μόνο έχει 14106 αναφορές. Το h-index μετράει περισσότερο την ευρύτητα της επιστημονικής προσφοράς. Αναδεικνύει ανθρώπους που συνεισέφεραν συστηματικά και επί μεγάλο χρονικό διάστημα, αντί για κάποιους που μπορεί και να ευνοήθηκαν από την τύχη. Παρ’ όλα αυτά, το σύνολο των αναφορών θα μπορούσε να χρησιμοποιηθεί για να διαφοροποιήσει επιστήμονες με παρόμοιο h. Όπως και να χει, όλα αυτά τα νούμερα είναι ενδεικτικά και δεν θα μπορέσουν ποτέ να υποκαταστήσουν ολοκληρωτικά την ανθρώπινη κρίση. Όμως είναι πολύτιμα στην Ελλάδα όπου η ανθρώπινη κρίση πολλές φορές διαστρεβλώνεται από σκοπιμότητες, φιλίες, εύνοιες, ιδιοτέλειες, κτλ.
9. Θα έπρεπε να λαμβάνονται υπ’ όψη και τα grants
Αυτό είναι λίγο tricky. Ας πούμε ότι υπάρχουν δύο επιστήμονες με τις ίδιες ερευνητικές επιδόσεις. Ο Α έχει λάβει πολλά grants και ο Β κανένα. Ποιόν θα αξιολογήσεις ως καλύτερο; Από τη μιά μεριά, αυτός που πήρε grants έδειξε πρωτοβουλία, κρίθηκε θετικά, και επιβραβεύθηκε. Από αυτήν την άποψη είναι καλύτερος. Από την άλλη, ο Β κατάφερε το ίδιο αποτέλεσμα με λιγότερους πόρους. Οπότε αυτός είναι καλύτερος. Για αυτό θα προτιμούσα να μην λαμβάνονται υπ’ όψη τα grants, ακόμα κι αν υπήρχαν στοιχεία, αλλά μόνο το επιστημονικό αποτέλεσμα. Επίσης, για την Ελλάδα, έχω κάποιες αμφιβολίες ότι οι χορηγίες δίνονται απόλυτα αξιοκρατικά, ακόμα κι αυτές της ΕΕ. Αν ενδιαφέρεται κανείς θα μπορούσα να αναφέρω τις ενδείξεις που με οδηγούν στο να αμφιβάλλω.
10. Μήπως για την αποτίμηση ενός τμήματος δεν πρέπει να λαμβάνεται ο μέσος όρος του h των μελών ΔΕΠ αλλά ο h ολόκληρου του τμήματος;
Διαφωνώ σε αυτό για δύο λόγους: α) όταν ένας ερευνητής ξεχωρίζει από τους υπόλοιπους (όπως π.χ. στο τμήμα Χημείας των Αθηνών) ο h του τμήματος θα καθοριστεί από τον h του ερευνητή αυτού και μόνο. Δε νομίζω ότι αυτό δίνει τη σωστή εικόνα του τμήματος β) δεν υπάρχει εύκολος τρόπος να διορθώσει κανείς για το μέγεθος του τμήματος (όσο μεγαλύτερο το τμήμα, τόσο μεγαλύτερο και το h του τμήματος).
11. Δεν είναι όλα τα περιοδικά στο Web of Science (π.χ. Χημικά Χρονικά)
Για τις θετικές επιστήμες θα έλεγα ότι περιοδικό που δεν είναι στο WoS δεν αξίζει. Εκτός κι αν είναι εντελώς καινούριο και δεν έχει μπει ακόμα, κάτι που είναι πολύ ειδική περίπτωση. Για τις ανθρωπιστικές και κοινωνικές επιστήμες το συζητάω. Είναι δυνατόν να βρει κανείς αναφορές σε άρθρα δημοσιευμένα σε περιοδικά που δεν καταγράφονται στο WoS (με Cited Reference Search) αλλά απαιτεί πολύ χρόνο που δεν δικαιολογείται για μιά προσεγγιστική μέτρηση όπως η παρούσα.
12. Κάποιοι επιστήμονες στην Ελλάδα έχουν υψηλό δείκτη h για δουλειά που έκαναν στο εξωτερικό, ενώ η παραγωγικότητά τους στην Ελλάδα είναι χαμηλή. Ένα τμήμα μπορεί να πετύχει υψηλή διάκριση με «μεταγραφή» καταξιωμένων επιστημόνων από το εξωτερικό.
Σωστά. Ο δείκτης h είναι ένα μέτρο των συνολικών επιτευγμάτων ενός επιστήμονα. Η αξιολόγηση με βάση το μέσο h παρέχει κίνητρο στα τμήματα να προσελκύσουν καταξιωμένους επιστήμονες από το εξωτερικό. Αυτό δεν είναι καθόλου κακό: δε λένε όλοι ότι θέλουν επαναπατρισμό των επιστημόνων του εξωτερικού; Ταυτόχρονα όμως θα ήταν εξαιρετικά χρήσιμο να υπάρχει και ένας δεύτερος δείκτης που να μετράει την πρόσφατη παραγωγικότητα των τμημάτων, π.χ. τα τελευταία 3 χρόνια. Εκεί θα πρέπει να ακολουθήσουμε διαφορετική μεθοδολογία, πιθανότατα με Impact Factors παρά αναφορές. Αυτό δεν θα επέτρεπε σε κανέναν να επαναπαυθεί στις δάφνες του. Εδώ θα μπορούσαμε νε μελετήσουμε τη μεθοδολογία του RAE στη Βρετανία.
Greek University Reform Forum 
Να υπενθυμίσω πως ο δείκτης h είναι ένας απ’τους πολλούς που κυκλοφορούν στην επιστήμη των Scientometrics. Ιδιαίτερα ενδιαφέρουσες είναι οι παραλλαγές του ανάλογα με την αξία στην οποία θέλουμε να δώσουμε βαρύτητα (πχ προαγωγή σε κάποιο Τμήμα, επιβράβευση με βραβείο, κλπ).
Σημαντική είναι η δουλειά επιστημόνων απ’το Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης επί του θέματος. Θα τη βρείτε εδώ.
Το πέϊπερ του Hirsch είναι εδώ:
http://arxiv.org/abs/physics/0508025
καθώς και στο PNAS, 102:16569 (2005)
Ένα άλλο από τα πολλά που ακολούθησαν είναι εδώ:
http://arxiv.org/abs/physics/0511206
συνεχιζω την συζητηση απο το προηγουμενο κειμενο πρωτα
«Αν θέλουμε π.χ. να αξιολογήσουμε τη δουλειά ενός τμήματος τα τελευταία 3 χρόνια, ή να συγκρίνουμε υποψήφιους για θέση Επίκουρου Καθηγητή, καλύτερα να χρησιμοποιήσουμε τον IF. Αλλά για το συνολικό έργο ενός ώριμου επιστήμονα, δεν υπάρχει κανένας λόγος να χρησιμοποιηθούν IFs.»
ναι, αν καποιος εχει τελειωσει την καρριερα του οι αναφορες των αλλων επιστημονων ειναι μαλλον το ακριβεστερο κριτηριο. Παλι ομως δεν θα ειναι ο δεικτης h το βελτιστο κριτηριο αλλα απλα οι αναφορες. Στα οικονομικα υπαρχουν ατομα που με 2-3 πεηπερ πηραν Νομπελ γιατι ανοιξαν εντελως νεους δρομους, δεν βλεπω γιατι καποιος με πιο ισορροπημενο εργο (πχ 15 πεηπερ με 15 αναφορες) θα ειναι καλυτερος απο αυτους.
Ενα γενικοτερο θεμα ειναι η ιση μεταχειριση παθρθων σε διαφορετικα περιοδικα. Ενας δεικτης χωρις βαρη οπως ο Η ευνοει ατομα που αντι να δημοσιευσουν ενα καλο πεηπερ σε καλο περιοδικο, το σπανε σε 10 κομματια και το μοιραζουν σε 10 μετρια περιοδικα. Η μαζικη δημοσιευση σαβουρας ειναι πολυ συχνο φαινομενο, ειδικα στα ελληνικα ΑΕΙ που εχουν τετοια κινητρα οι καθηγητες αποτι φαινεται (στις κρισεις αποτι ειδα μετραει ο αριθμος δημοσιευσεων, κατι μαλλον απαραδεκτο). Θα μου πεις οτι ο δεικτης Η το ελεγχει αυτο ζητωντας αναφορες για καθε πεηπερ. τι γινεται αν οι αναφορες ειναι και αυτες σε σαβουροπεριοδικα (παλι συχνο φαινομενο)?
Τωρα, θεωρω οτι σκοπος της αξιολογησης ειναι η βελτιωση των ΑΕΙ σημερα, κυριως δινοντας κινητρα για την προσληψη των καταλληλων καθηγητων. Ισχυριζομαι οτι ο δεικτη Η θα στρεβλωνε τα κινητρα υπερ των γηραιοτερων καθηγητων, οταν ειναι γεγονος στις περισσοτερες επιστημες οτι η σημαντικη και πρωτοποριακη δουλεια ενος καθηγητη γινετα στην πρωτη-δευτερη δεκαετια της καρριερας του. Νομιζω ο σκοπος δεν ειναι να κανουμε γνωστα πανεπιστημια (με μεγαλα ονοματα) αλλα δημιουργικα και παραγωγικα (με νεους και αγνωστους αλλα δυναμει μεγαλους). Ουτως ή αλλως δεν εχουμε τα χρηματα για μεγαλα ονοματα (ειναι σαν να λεμε ο Παναθηναϊκος αντι να φτιαξει φυτωριο ταλεντων θα αγορασει τον Ροναλντινιο και τον Κακα).
«Δεν ξέρω να υπάρχει κάποια γενικά αποδεκτή φόρμουλα για να διορθώσει κανείς για τον αριθμό των συγγραφέων.»
σε μας χρησιμοποιειται μια υπογραμμικη εξισωση, ας πουμε αν υπαρχουν δυο συγγραφεις παιρνει ο καθενας 2/3 των βαθμων που θα επαιρνε αν ηταν μονος του αν ειναι 3 παιρνει ο καθενας 1/2 κτλ Μαλιστα στα καλα ρανκινγκ μετραει και ο αριθμος σελιδων (μπορει να φαινεται αστειο αλλα ενα καλο περιοδικο δεν ανεχεται πολλες σελιδες αν το πεηπερ δεν ειναι εξαιρετικα καλο. παλι αυτος ο τροπος βαθμολογησης διορθωνει τα κινητρα να σπας πεηπερ σε 5 κομματια.). Σχετικη δουλεια μπορεις να βρεις απο την δουλεια των «δικων» μας Μαμουνεα ετ αλ.
καταληγω οτι για τον σκοπο μας (βελτιωση των ελληνικων ΑΕΙ) αν εχουμε impact factors καλο ειναι να χρησιμοποιουνται.
αυτα απο μενα, ελπιζω να συνεχιστει η συζητηση γιατι εχει ενδιαφερον.
Υπάρχουν ένα σωρό τέτοια παραδείγματα.
Απ’την Ιατρική μου έρχεται στο μυαλό η «spreading depression» για την οπτική αύρα στις ημικρανίες του Aristides Leao, που αν εξαιρέσεις αυτήν του την εργασία που ο άνθρωπος έκανε όταν ήταν διδακτορικός φοιτητής, ο ίδιος είχε ελάχιστη ερευνητική συνεισφορά μετέπειτα.
Αυτό βέβαια δείχνει και τη δύναμη του δείκτη h. Δεν επιβραβεύει έναν επιστήμονα που κάνει εκατοντάδες δημοσιεύσεις που δε λαμβάνονται υπόψην από πολλούς (πολλές εργασίες / λίγες αναφορές), αλλά ούτε κι έναν που δημοσιεύει σπανιότατα αξιοσημείωτες μελέτες (λίγες εργασίες / πολλές αναφορές).
Επιβραβεύει τις ισορροπημένες καριέρες και δείχνει την ωρίμανση ενός επιστήμονα στον χρόνο.
[…] Ο Θέμης είναι ένα παιδί της δικής μου γενιάς, αναπληρωτής καθηγητής χημείας στο City College της Νέας Υόρκης. Τα έχουμε πει από το τηλέφωνο, τα έχουμε πει από κοντά και τον θεωρώ φίλο. Το κείμενο αυτό όμως δεν έρχεται να στηρίξει τον φίλο α…. […]
Ήμουν σίγουρος ότι αργά ή γρήγορα κάποιος θα έφερνε μια αντίστοιχη ένσταση. Μα εδώ ακριβώς είναι το ζητούμενο. Οι καθηγητές-ταλέντα (πολυβραβευμένοι, νομπελίστες, κλπ) έτσι κι αλλιώς κατά κανόνα δεν έρχονται σ’ένα ίδρυμα με την κλασική οδό της συμμετοχής σε προκήρυξη μιας θέσης, αλλά με τη διαδικασία της Μετάκλησης* καθότι κορυφαίοι.
Το πλεονέκτημα του δείκτη h υπό αυτή τη σκοπιά είναι ότι προσφέρει ένα ικανοποιητικό μέσο (όχι τέλειο: αλλά ποιό είναι…) που καταδεικνύει τη σταδιακή ωρίμανση των καθηγητών λαμβάνοντας υπόψην όχι μόνο το σύνολο των δημοσιεύσεών τους αλλά και τη συμβολή που έχουν αυτές στην προαγωγή ενός γνωστικού αντικειμένου.
Με άλλα λόγια δείχνουν τους ισορροπημένους ερευνητές που ούτε είναι ατμομηχανές άχρηστων μελετών για χαρτοπόλεμο, ούτε αργόσχολοι θεωρητικοί που ψάχνουν ν’εφυήρουν το «αεικίνητο» δημοσιεύοντας ελάχιστα αλλά ρηξικέλευθα.
Να σημειώσω δε πως με τον υπάρχον νόμο για την θέση του [Τακτικού] Καθηγητή απαιτείται μεταξύ άλλων: Για την εκλογή θα συνεκτιμάται κατά πόσο το συνολικό ερευνητικό έργο του υποψηφίου έχει αναγνωρισθεί διεθνώς για τη συμβολή του στην πρόοδο της επιστήμης και έχει χρησιμοποιηθεί και αναγνωρισθεί από άλλους ερευνητές.
O δείκτης h καλύπτει τέλεια τις δύο παραπάνω προϋποθέσεις.
*φυσικά πάντα μπορεί νάνοι να κλείσουν την πόρτα σε Νανόπουλους αλλά αυτό είναι άλλο ζήτημα…
Αυτό που λες είναι λίγο άκυρο. Υπάρχει «φυσική επιλογή» εδώ. Τα σαβουροπεριοδικά διαβάζονται σαφώς λιγότερο από τα καλά περιοδικά οπότε είναι σαφώς μικρότερες οι πιθανότητες να χρησιμοποιήσει-αναφέρει κάποιος τη μελέτη που δημιοσιεύθηκε σ’αυτό σε σχέση πχ αν έβγαινε στο PNAS.
Ψάξε να μου βρεις έναν με υψηλό δείκτη h που να έκανε καριέρα δημοσιεύοντας ΜΟΝΟ σε σαβουροπεριοδικά. Δεν παίζει…
Σίγουρα κανένας δείκτης για την αξιολόγηση επιστημονικού έργου δεν είναι τέλειος, και η χρήση ενός και μοναδικού κριτηρίου είναι δυνατόν να οδηγήσει σε λανθασμένα συμπεράσματα. Με τον δείκτη h όμως, αυτό γίνεται σε σπάνιες περιπτώσεις. Όπως ανέφερε ο Θέμης, η προσφορά του Mullis που ανακάλυψε την PCR δεν μπορεί να αποτιμηθεί με τον δείκτη h. Τέτοια παραδείγματα όμως δεν είναι ο κανόνας. Κατά τη γνώμη μου το κυριώτερο πρόβλημα του δείκτη h είναι ο «πληθωρισμός» από σημαντικά co-authorships όταν ο επιστήμονας δεν έχει αντίστοιχο αυτόνομο έργο. Το δεύτερο πρόβλημα είναι ότι δεν αναγνωρίζονται πρόσφατες σημαντικές εργασίες.
Παρ’ ολα αυτά, επιμένω ότι τουλάχιστον στις φυσικές και τεχνολογικές επιστήμες, η σύγκριση τμημάτων με βάση το δείκτη h των μελών τους είναι έγκυρη και αξιόπιστη. Το δεύτερο πρόβλημα που προανέφερα θα μπορούσε να λυθεί σχετικά απλά. Θα μπορούσε για παράδειγμα το score με βάση το άθροισμα του δείκτη h να ανάγεται σε 90% (ή 80%) ενός «τελικού βαθμού» του τμήματος. Σε περίπτωση που το τμήμα έχει εκλέξει δυναμικούς νέους επιστήμονες με χαμηλό h αλλά με δημοσιεύσεις σε περιοδικά υψηλού impact factor, μπορεί να υπάρχει επιβράβευση με bonus 10% (ή 20%).
θες ενα ακραιο παραδειγμα? καποιος που εχει δημοσιευσει μονο στα ελληνικα, εχει γινει εντιτορ σε ελληνικο περιοδικο το εχει γεμισει με αρθρα του και ατομα που αναφερονται σε αυτα. καθολου σπανιο, γενικα οι περισοτεροι καθηγητες δημοσιευουν σε μια χουφτα περιοδικα στα οποια επικεντρωνονται ως συγγραφεις αλλα και εντιτορς.
τωρα, οπως ειπα, το θεμα δεν ειναι στους νομπελιστες ή τα ατομα με υψηλοτατο δεικτη Η, αυτοι συνηθως ειναι ΟΚ, το θεμα ειναι οταν συγκρινουμε καποιον με μονο τρεις δημοσιευσεις (σε τοπ περιοδικα) με καποιον με 50… σε ελληνικα περιοδικα. γιατι αυτα τα ατομα ειναι που πανε για μια θεση καθηγητη σε ενα μεσο ελληνικο ΑΕΙ νομιζω…
Ακόμα ένα άρθρο:
M. Schreiber, Self-citation corrections for the Hirsch index, Europhysics Letters 78 (2007) 30002
Το άρθρο υποστηρίζει ότι πρέπει να γίνεται διόρθωση για αυτοαναφορές αλλά δεν με έπεισε. Δείχνει (Πίνακας 1) ότι ο h μειώνεται από 2 μέχρι 6 μονάδες. Όμως ο χρόνος που απαιτείται για να γίνει αυτή η διόρθωση είναι σημαντικός. Μπορεί να πάρει και 15 λεπτά για κάθε όνομα. Κατά τη γνώμη μου δεν αξίζει τον κόπο, αφού έτσι κι αλλιώς το νούμερο είναι ενδεικτικό. Αν το WoS βρει τρόπο να γίνεται αυτόματα η διόρθωση, τότε γιατί όχι.
Οι αυτοαναφορές είναι σίγουρα ένας διαστρεβλωτικός παράγοντας αλλά νομίζω δεν υπάρχει λόγος να γίνεται ο έλεγχός του δουλειά ρουτίνας, παραμόνο κατά περίπτωση μετά από παρατήρηση από τρίτους ότι ένας συγκεκριμένος επιστήμονας έχει ιδιαίτερα πολλές αυτοαναφορές.
SG έγραψες:
Ποιό είναι αυτό το ΕΛΛΗΝΙΚΟ περιοδικό που είναι είναι τόσο άθλιο (οι editor αλωνίζουν μέσα κάνοντας χαρτοπόλεμο άθλιων εργασιών) και είναι ακόμα indexed στoν WoS?
Όπως είπα, υπάρχει «φυσική επιλογή» στα indexed journals όταν ανταγωνίζονται για την επιφάνεια και τον IF. Ένα τέτοιο compromised περιοδικό θα έχει υπερβολικά μικρή αναγνωσιμότητα και λίγες αναφορές.
Αλλά γενικότερα οι προβληματισμοί που θέτεις είναι θεωρητικοί καθότι ελάχιστα είναι τα καλά ελληνικά περιοδικά που γίνονται indexed.
μα καλα λες να μιλαω θεωρητικα ρε Κωνσταντινε? ειναι λεω συχνο φαινομενο!
Στην Γερμανια υπαρχουν ολοκληρα πανεπιστημια που δημοσιευουν μονο σε περιοδικα στυλ Zeitschrift fuer Nationaloekonomie ή Kyklos και αναφερουν ο ενας τον αλλο. αυτα τα περιοδικα ειναι ισως indexed αλλα εντελως αχρηστα. Γιατι ας πουμε στο social sciences citation index υπαρχουν χιλιαδες περιοδικα απο τα οποια ξερω μονο 20-30!
Παρομοιως στην ελλαδα υπαρχουν τετοια περιοδικα τα οποια δεν ξερω καλα καλα να ονομασω. Ενα παραδειγμα ειναι πχ το Greek Economic Review.
Αλήθεια, πώς καθορίζεις ένα περιοδικό «άχρηστο» ή «σαβούρα»; Απ’τη στιγμή που γίνεται indexed- ιδιαίτερα αν είναι σε μεγάλη database όπως το WoS- για μένα πληροί κάποια standard ποιότητας.
Επαναλαμβάνω: Όσες μαμουνιές κι αν κάνεις ο δείκτης h σου δε θ’ανεβεί πάνω από ένα νούμερο διότι τα «σαβουροπεριοδικά» θα έχουν πάντα ένα περιορισμένο πλαφόν αναφορών εξαιτίας της μικρότερης αναγνωσιμότητας και απήχησής τους.
Αν δεν δημοσιεύεις σε σούπερ-καλά περιοδικά (πχ Nature, Science, PNAS, κλπ για τις θετικές επιστήμες) ώστε να έχεις πιθανότητες να πάρεις υψηλούς αριθμούς αναφορών ανά εργασία δεν πρόκειται ποτέ ν’ανεβάσεις τον δείκτη h σου ακόμα κι αν είσαι publishing powerhouse.
Αν έχεις όμως και 20 φίλους του ιδίου φυράματος, πάει το h στο 20 στο πιτς φυτίλι… Αυτό νομίζω λέει ο SG.
Νομίζω ότι το θέμα των αυτοαναφορών δεν είναι καθόλου δευτερεύον. Ως αυτοαναφορές θεωρώ τις αναφορές όλων των συν-συγγραφέων σε ένα άρθρο. Αν για παράδειγμα ένας έχει πχ 200 δημοσιεύσεις, ακόμα και στη θεωρητική περίπτωση που έχει μηδέν ετεροαναφορές, μου φαίνεται σχεδόν αυτονόητο ότι θα έχει h>15 από τις αυτοαναφορές και μόνο. To h που περιλαμβάνει αυτοαναφορές έχει 2 σημαντικά μειονεκτήματα: (1) εξαρτάται άμεσα από τον αριθμό εργασιών του επιστήμονα (πιο πολλές εργασίες σημαίνει πιο πολλές αυτοαναφορές) και (2) μπορεί να το επηρεάσει ο επιστήμονας από μόνος του, αυξάνοντας τον αριθμό των αυτοαναφορών του σε κάθε εργασία. Ειδικά το δεύτερο είναι απαράδεκτο.
Προφανώς συμφωνώ στην ουσία: ο h είναι καλός δείκτης, αρκεί να λαμβάνουμε υπ’όψιν τις διάφορες παραμέτρους που τον επηρεάζουν.
Τις αδυναμίες των αυτοαναφορών τις είχε αναγνωρίσει κι ο ίδιος ο Hirsch στο αρχικό του paper, γι’αυτό και σε περιπτώσεις υποψίας (ή προκηρύξεων!) θα πρέπει να γίνεται και διορθωτικός έλεγχος κατά Schreiber.
Άσχετε, φυσικά και μπορεί να γίνει το παραπάνω αλλά και στα καλά περιοδικά γίνεται αυτό. Απλά τα καλά περιοδικά τα διαβάζουν (υψηλό IF) και τρίτοι, τα σαβουροπεριοδικά του Σωτήρη (χαμηλό IF) δεν τα χρησιμοποιεί πολύς κόσμος πέρα απ’την ίδια την «παρέα».
Συμπέρασμα; Αν ένας επιστήμονας είναι αξιόλογος έχει συμφέρον να προσπαθεί να δημοσιεύει πάντα στο καλύτερο περιοδικό που τον παίρνει κάθε φορά.
Όπως και να’χει το πράγμα ας μη δίνουμε φανταστρουμφικές δυνάμεις στο δείκτη h. Δεν είναι παρά ένας «δείκτης» (no pun intended!) που για την ώρα τυχαίνει να είναι καλύτερος από πολλούς άλλους για μια αντικειμενική σύγκριση σε επιστήμονες στη μέση της καριέρας τους. Φυσικά και μια εισηγητική επιτροπή θα πρέπει να λάβει υπόψην της και άλλα στοιχεία κατά τη σύγκριση.
Ίσως το ιδανικό στο μέλλον να είναι η χρησιμοποιήση του IF για τη σύγκριση σε προκηρύξεις Λεκτόρων και Επίκουρων Καθηγητών επί θητεία, και το h index για τη μονιμοποίηση (tenureship) του Επίκουρου ή την προαγωγή-διορισμό σε Αναπληρωτή και Α’ βαθμίδας.
Κύριε Λαζαρίδη, διάβασα τα σχόλια σας («εν τάχει») για τον δείκτη h. Όμως με υποκειμενικά επιχειρήματα, όπως τα: «Αναφορά σε μιά εργασία δε σημαίνει απαραίτητα και έγκρισή της, αλλά σημαίνει ότι ήταν αρκετά ενδιαφέρουσα για να παραπέμψει κανείς σε αυτήν. Είναι πιό τιμητικό για μιά εργασία να την επικρίνεις παρά να την αγνοήσεις τελείως», δεν είναι δυνατόν να γίνει αντικειμενικός διάλογος. (Προφανώς δεν υπάρχει τίποτε τιμητικό σε παραλείψεις, υπερβολές, εσφαλμένα συμπεράσματα, κτλ, ούτε αυτά κάνουν μια εργασία ενδιαφέρουσα…). Άλλωστε, πρέπει να είναι σαφές ότι σε πεδία έρευνας με πολλές συλλογικές εργασίες μειωμένης πρωτοτυπίας (π.χ., για χημικές αναλύσεις, ακόμη και με εκατοντάδων εκατομ. δραχμών όργανα, εν αδυναμία να επιτευχθεί ερευνητικά τίποτε καλύτερο…) αυτοαναφερομένων ερευνητών (π.χ., στα ελληνικά ΑΕΙ, κτλ.), δημιουργούνται τιμές h πολύ μεγαλύτερες από εκείνες ερευνητών με πολύ λιγότερες εργασίες, αλλά με πολύ περισσότερη -αναγνωρισμένη- πρωτοτυπία, παρά την ελλιπή πειραματική υποδομή των. Προφανώς δεν υπάρχει συσχέτιση με την ποιότητα στις εν λόγω πραγματικές περιπτώσεις. Φυσικά, η συμβολή στην επιστήμη είναι το κριτήριο, αλλά η σημαντική δυσκολία έγκειται στην εφαρμογή του… Πάντως χαίρομαι να διαβάζω τα σχόλια στην ιστοσελίδα σας για την βελτίωση των ελλην. ΑΕΙ, με μείωση του παραλογισμού κτλ., ασχέτως αν έχουμε και κάποιες διαφορετικές απόψεις.
Καλό άρθρο στο CEN, The import of impact
http://pubs.acs.org/cen/science/86/8621sci1.html
http://anamorfosis.net/blog/?p=737
The International Mathematical Union today released the Citation Statistics report
Συζητάει κάποια caveats των διαφόρων δεικτών. Πολλά από αυτά συζητούνται παραπάνω. Οι δείκτες δίνουν μια ιδέα, είναι μια προσέγγιση. Δεν είναι πανάκεια.
Σχετικό με τα προβλήματα που παρουσιάζει το impact factor είναι και το παρακάτω πρόσφατο άρθρο του R.A. Brumback «Worshiping False Idols: The Impact Factor Dilemma»
http://jcn.sagepub.com/cgi/reprint/23/4/365?rss=1
Σχετικο και το παρακάτω:
Σχετικα με το:
`9. Θα έπρεπε να λαμβάνονται υπ’ όψη και τα grants’
Δεν βλεπω πως μπορει να ενσωματωθουν τα grants στο h-index, ουτε νομιζω οτι εχει νοημα αναγκαστικα (καποια μεγεθη ειναι διανυσματικα, παιδια, δεν ειναι ολα βαθμωτα), αλλα θα ηθελα να παρατηρησω οτι ενας απο τους λογους που επιζητουνται grants απο πανεπιστημιακα τμηματα ειναι & το οτι ελευθερωνουν ή & δημιουργουν πορους. Με αλλα λογια, ενα grant ειναι ενας μισθος λιγοτερος για το πανεπιστημιο, ή ενας/μια υποψηφιος/α διδακτωρ παραπανω, ή ή ή… Δεν ειναι μονο θεμα πρωτοβουλιας :).
http://www.pnas.org/content/106/17/6883.full
Ένας κορυφαίος Βιοχημικός, ο Alan Fersht, για τον Impact Factor, τον h index, κ.ά.
«The least evil of the metrics for individual scientists is the h-index (3), which ranks the influence of a scientist by the number of citations to a significant number of his or her papers»