Should we introduce a dislike button for academic articles?

Agnieszka Geras , Grzegorz Siudem , Marek Gągolewski

Abstract

On the grounds of the revealed, mutual resemblance between the behaviour of users of the Stack Exchange and the dynamics of the citations accumulation process in the scientific community, we tackled an outwardly intractable problem of assessing the impact of introducing “negative′” citations. Although the most frequent reason to cite a paper is to highlight the connection between the two publications, researchers sometimes mention an earlier work to cast a negative light. While computing citation-based scores, for instance the h-index, information about the reason why a paper was mentioned is neglected. Therefore it can be questioned whether these indices describe scientific achievements accurately. In this contribution we shed insight into the problem of “negative” citations, analysing data from Stack Exchange and, to draw more universal conclusions, we derive an approximation of citations scores. Here we show that the quantified influence of introducing negative citations is of lesser importance and that they could be used as an indicator of where attention of scientific community is allocated.
Author Agnieszka Geras (FMIS)
Agnieszka Geras,,
- Faculty of Mathematics and Information Science
, Grzegorz Siudem (FP / PCSD)
Grzegorz Siudem,,
- Physics of Complex Systems Divison
, Marek Gągolewski (FMIS / DIE) - [Systems Research Institute (IBS PAN) [Polish Academy of Sciences (PAN)]]
Marek Gągolewski,,
- Department of Integral Equations
- Instytucie Badań Systemowych
Journal seriesJournal of the Association for Information Science and Technology, ISSN 2330-1635, e-ISSN 2330-1643
Issue year2020
Vol71
No2
Pages221-229
Publication size in sheets0.5
Keywords in Polishanaliza cytowań, indeks Hirscha, negatywne cytowanie, ocena dorobku naukowego
Keywords in Englishcitation analysis, the Hirsch index, negative citations, research evaluation, science of science
ASJC Classification1802 Information Systems and Management; 3309 Library and Information Sciences; 1705 Computer Networks and Communications; 1710 Information Systems
Abstract in PolishW niniejszej pracy zauważyliśmy, że dokonując oceny dorobku twórczego, nie bierze się pod uwagę, z jakiego powodu dane dzieło zostało zacytowane: czy stało się tak w celu podkreślenia jego związku z inną pracą, czy też aby wskazać jego błędy lub niedociągnięcia. Rozważyliśmy więc problem wpływu negatywnych cytowań na ocenę użytkowników portali z rodziny StackExchange – StackOverlow, CrossValidated, Maths i inne serwisy typu Q&A mają bowiem charakterystyki zbliżone do tych, które obserwujemy w przypadku publikacji naukowych. Wyprowadziliśmy nowy model agentowy opisujący badane zjawisko (równania master znane z fizyki sieci złożonych) oraz zaproponowaliśmy metody estymacji parametrów tegoż modelu na podstawie danych rzeczywistych. Z przeprowadzonych badań symulacyjnych oraz empirycznych wywnioskowaliśmy, że model bardzo dobrze przewiduje wybrane charakterystyki próbkowe wektorów cytowań, np. indeks h i g. Opisaliśmy korelacje między cytowaniami pozytywnymi i negatywnymi oraz zmierzyliśmy siłę wpływu negatywnych cytowań na wartość ww. statystyk - okazała się ona niewielka. Jednakże okazało się jednocześnie, że obecność negatywnych cytowań może wspomagać wzrost popularności zamieszczonych treści – prace nie przyciągające krytyki cechują się mniejszą dozą prawdopodobieństwa sukcesu w postaci cytowań pozytywnych.
DOIDOI:10.1002/asi.24231
URL https://asistdl.onlinelibrary.wiley.com/doi/full/10.1002/asi.24231
Languageen angielski
Score (nominal)140
Score sourcejournalList
ScoreMinisterial score = 140.0, 31-03-2020, ArticleFromJournal
Publication indicators Scopus Citations = 0; WoS Citations = 0; Scopus SNIP (Source Normalised Impact per Paper): 2018 = 1.97; WoS Impact Factor: 2018 = 2.738 (2) - 2018=3.101 (5)
Citation count*
Cite
Share Share

Get link to the record


* presented citation count is obtained through Internet information analysis and it is close to the number calculated by the Publish or Perish system.
Back
Confirmation
Are you sure?