Skip to Main content Skip to Navigation
Journal articles

Large expert-curated database for benchmarking document similarity detection in biomedical literature search

Peter Brown Aik-Choon Tan Mohamed El-Esawi Thomas Liehr Oliver Blanck Douglas Gladue Gabriel Almeida Tomislav Cernava Carlos Sorzano Andy Yeung Michael Engel Arun Richard Chandrasekaran Thilo Muth Martin Staege Swapna Daulatabad Darius Widera Junpeng Zhang Adrian Meule Ken Honjo Olivier Pourret Cong-Cong Yin Zhongheng Zhang Marco Cascella Willy Flegel Carl Goodyear Mark van Raaij Zuzanna Bukowy-Bieryllo Luca Campana Nicholas Kurniawan David Lalaouna Felix Hüttner Brooke Ammerman Felix Ehret Paul Cobine Ene-Choo Tan Hyemin Han Wenfeng Xia Christopher Mccrum Ruud Dings Francesco Marinello Henrik Nilsson Brett Nixon Konstantinos Voskarides Long Yang Vincent Costa Johan Bengtsson-Palme William Bradshaw Dominik Grimm Nitin Kumar Elvis Martis Daniel Prieto Sandeep Sabnis Said Amer Alan Liew Paul Perco Farid Rahimi Giuseppe Riva Chongxing Zhang Hari Devkota Koichi Ogami Zarrin Basharat Walter Fierz Robert Siebers Kok-Hian Tan Karen Boehme Peter Brenneisen James Brown Brian Dalrymple David Harvey Grace Ng Sebastiaan Werten Mark Bleackley Zhanwu Dai Raman Dhariwal Yael Gelfer Marcus Hartmann Pawel Miotla Radu Tamaian Pragashnie Govender Oliver Gurney-Champion Joonas Kauppila Xiaolei Zhang Natalia Echeverría Santhilal Subhash Hannes Sallmon Marco Tofani Taeok Bae Oliver Bosch Páraic Cuív Antoine Danchin Barthelemy Diouf Tuomas Eerola Evangelos Evangelou Fabian Filipp Hannes Klump Lukasz Kurgan Simon Smith Olivier Terrier Neil Tuttle David Ascher Sarath Janga Leon Schulte Daniel Becker Christopher Browngardt Stephen Bush Guillaume Gaullier Kazuki Ide Clement Meseko Gijsbert Werner Jan Zaucha Abd Al-Farha Noah Greenwald Segun Popoola Md Shaifur Rahman Jialin Xu Sunny Yang Noboru Hiroi Ozgul Alper Chris Baker Michael Bitzer George Chacko Birgit Debrabant Ray Dixon Evelyne Forano Matthew Gilliham Sarah Kelly Karl-Heinz Klempnauer Brett Lidbury Michael Lin Iseult Lynch Wujun Ma Edward Maibach Diane Mather Kutty Nandakumar Robert Ohgami Piero Parchi Patrizio Tressoldi Yu Xue Charles Armitage Pierre Barraud Stella Chatzitheochari Luis Coelho Jiajie Diao Andrew Doxey Angélique Gobet Pingzhao Hu Stefan Kaiser Kate Mitchell Mohamed Salama Ivan Shabalin Haijun Song Dejan Stevanovic Ali Yadollahpour Erliang Zeng Katharina Zinke C Alimba Tariku Beyene Zehong Cao Sherwin Chan Michael Gatchell Andreas Kleppe Marcin Piotrowski Gonzalo Torga Adugna Woldesemayat Mehmet Cosacak Scott Haston Stephanie Ross Richard Williams Alvin Wong Matthew Abramowitz Andem Effiong Senhong Lee Muhammad Bilal Abid Cyrus Agarabi Cedric Alaux 1 Dirk Albrecht Gerald Atkins Charles Beck A Bonvin Emer Bourke Thomas Brand Ralf Braun James Bull Pedro Cardoso Dee Carter Robin Delahay Bernard Ducommun Pascal Duijf Trevor Epp Eeva-Liisa Eskelinen Mazyar Fallah Debora Farber Jose Fernandez-Triana Frank Feyerabend Tullio Florio Michael Friebe Saori Furuta Mads Gabrielsen Jens Gruber Malgorzata Grybos Qian Han Michael Heinrich Heikki Helanterä Michael Huber Albert Jeltsch Fan Jiang Claire Josse Giuseppe Jurman Haruyuki Kamiya Kim de Keersmaecker Erik Kristiansson Frank-Erik de Leeuw Jiuyong Li Shide Liang Jose Lopez-Escamez Francisco Lopez-Ruiz Kevin Marchbank Rolf Marschalek Carmen Martín Adriana Miele Xavier Montagutelli Esteban Morcillo Rosario Nicoletti Monika Niehof Ronan O’toole Toshihiko Ohtomo Henrik Oster Jose-Alberto Palma Russell Paterson Mark Peifer Maribel Portilla M Portillo Antonia Pritchard Stefan Pusch Gajendra Raghava Nicola Roberts Kehinde Ross Birgitt Schuele Kjell Sergeant Jun Shen Alessandro Stella Olga Sukocheva Vladimir Uversky Sven Vanneste Martin Villet Miguel Viveiros Julia Vorholt Christof Weinstock Masayuki Yamato Ioannis Zabetakis Xin Zhao Andreas Ziegler Wan Aizat Lauren Atlas Kristina Bridges Sayan Chakraborty Mieke Deschodt Helena Domingues Shabnam Esfahlani Sebastian Falk J Guisado Nolan Kane Gray Kueberuwa Colleen Lau Dai Liang Enwu Liu Andreas Luu Chuang Ma Lisong Ma Robert Moyer Adam Norris Suresh Panthee Jerod Parsons Yousong Peng Inês Mendes Pinto Cristina Reschke Elina Sillanpää Christopher Stewart Florian Uhle Hui Yang Kai Zhou Shu Zhu Mohamed Ashry Niels Bergsland Maximilian Berthold Chang-Er Chen Vito Colella Maarten Cuypers Evan Eskew Xiao Fan Maksymilian Gajda Rayner Gonzálezlez-Prendes Amie Goodin Emily Graham Ewout Groen Alba Gutiérrez-Sacristán Mohamad Habes Enrico Heffler Daniel Higginbottom Thijs Janzen Jayakumar Jayaraman Lindsay Jibb Stefan Jongen Timothy Kinyanjui Rositsa Koleva-Kolarova Zhixiu Li Yu-Peng Liu Bjarte Lund Alexandre Lussier Liping Ma Pablo Mier Matthew Moore Katja Nagler Mark Orme James Pearson Anilkumar Prajapati Yu Saito Simon Tröder Florence Uchendu Niklas Verloh Denitza Voutchkova Ahmed Abu-Zaid Joaira Bakkach Philipp Baumert Marcos Dono Jack Hanson Sandrine Herbelet Emma Hobbs Ameya Kulkarni Narendra Kumar Siqi Liu Nikolai Loft Tristan Reddan Thomas Senghore Howard Vindin Haotian Xu Ross Bannon Branson Chen Johnny Cheung Jeffrey Cooper Ashwini Esnakula Karine Feghali Emilia Ghelardi Agostino Gnasso Jeffrey Horbar Hei Lai Jian Li Lan Ma Ruiyan Ma Zihang Pan Marco Peres Raymond Pranata Esmond Seow Matthew Sydes Ines Testoni Anna Westermair Yongliang Yang Masoud Afnan Joan Albiol Lucia Albuquerque Eisuke Amiya Rogerio Amorim Qianli An Stig Andersen John Aplin Christos Argyropoulos Yan Asmann Abdulaziz Assaeed Atanas Atanasov David Atchison Simon Avery Paul Avillach Peter Baade Lars Backman Christophe Badie Alfonso Baldi Elizabeth Ball Olivier Bardot Adrian Barnett Mathias Basner Jyotsna Batra O Bazanova Andrew Beale Travis Beddoe Melanie Bell Eugene Berezikov Sue Berners-Price Peter Bernhardt Edward Berry Theolis Bessa Craig Billington John Birch Randy Blakely Mark Blaskovich Robert Blum Marleen Boelaert Dimitrios Bogdanos Carles Bosch Thierry Bourgoin Daniel Bouvard Laura Boykin Graeme Bradley Daniel Braun Jeremy Brownlie Albert Brühl Austin Burt Lisa Butler Siddappa Byrareddy Hugh Byrne Stephanie Cabantous Sara Calatayud Eva Candal Kimberly Carlson Sònia Casillas Valter Castelvetro Patrick Caswell Giacomo Cavalli Vaclav Cerovsky Monica Chagoyen Chang-Shi Chen Dong Chen Hao Chen Hui Chen Jui-Tung Chen Yinglong Chen Changxiu Cheng Jianlin Cheng Mai Chinapaw Christos Chinopoulos William Cho Lillian Chong Debashish Chowdhury Andre Chwalibog A Ciresi Shamshad Cockcroft Ana Conesa Penny Cook David Cooper Olivier Coqueret Enoka Corea Elisio Costa Carol Coupland Stephanie Crawford Aparecido Cruz Huijuan Cui Qiang Cui David Culver Amedeo D’angiulli Tanya Dahms France Daigle Raymond Dalgleish Håvard Danielsen Sébastien Darras Sean Davidson David Day Volkan Degirmenci Luc Demaison Koenraad Devriendt Jiandong Ding Yunus Dogan X Dong Claudio Donner Walter Dressick Christian Drevon Huiling Duan Christian Ducho Nicolas Dumaz Bilikere Dwarakanath Mark Ebell Steffen Eisenhardt Naser Elkum Nadja Engel Timothy Erickson Michael Fairhead Marty Faville Marlena Fejzo Fernanda Festa Antonio Feteira Patrick Flood-Page John Forsayeth Simon Fox Steven Franks Francesca Frentiu Mikko Frilander Xinmiao Fu Satoshi Fujita Ian Galea Luca Galluzzi Federica Gani Arvind Ganpule Antonio García-Alix Kristene Gedye Maurizio Giordano Cecilia Giunta Paul Gleeson Cyrille Goarant Haipeng Gong Diop Gora Michael Gough Ravinder Goyal Kathryn Graham Ana Grande-Pérez Patricia Graves Harm Greidanus Darren Grice Christoph Grunau Yosephine Gumulya Yabin Guo Vsevolod Gurevich Oleg Gusev Elke Hacker Steffen Hage Guy Hagen Steven Hahn Dagmar Haller Sven Hammerschmidt Jianwei Han Renzhi Han Martin Handfield Hapuarachchige Hapuarachchi Timm Harder Jennifer Hardingham Michelle Heck Marcel Heers Khe Hew Yohei Higuchi Cynthia St Hilaire Rachel Hilton Enisa Hodzic Andrew Hone Yuichi Hongoh Guoku Hu Heinz Huber Luis Hueso Judith Huirne Lisa Hurt Helena Idborg Kazuho Ikeo Evan Ingley Philip Jakeman Arne Jensen Hong Jia Husen Jia Shuqin Jia Jianping Jiang Xingyu Jiang Yi Jin Daehyun Jo Andrew Johnson Marie Johnston Karen Jonscher Philippe Jorens Jens Jorgensen Johan Joubert Sin-Ho Jung Antonio Junior Thomas Kahan Sunjeev Kamboj Yong-Kook Kang Yannis Karamanos Natasha Karp Ryan Kelly Ralph Kenna Jonathan Kennedy Birgit Kersten Roy Khalaf Javaria Khalid T Khatlani Tarig Khider Gregor Kijanka Sarah King Tomasz Kluz Paul Knox Tatsuya Kobayashi Karl-Wilhelm Koch Maija Kohonen-Corish Xiangpeng Kong Deborah Konkle-Parker Kalevi Korpela Leondios Kostrikis Peter Kraiczy Harald Kratz Günter Krause Paul Krebsbach Søren Kristensen Prerna Kumari Akira Kunimatsu Hatice Kurdak Young Kwon Carl Lachat Malgorzata Lagisz Brenda Laky Jan Lammerding Matthias Lange Mar Larrosa Andrew Laslett Elizabeth Leclair Kyung-Woo Lee Ming-Yih Lee Moon-Soo Lee Genyuan Li Jiansheng Li Klaus Lieb Yau Lim Merry Lindsey Paul-Dag Line Dengcai Liu Fengbin Liu Haiyan Liu Hongde Liu Vett Lloyd Te-Wen Lo Emanuela Locci Josef Loidl Johan Lorenzen Stefan Lorkowski Nigel Lovell Hua Lu Wei Lu Zhiyong Lu Gustavo Luengo Lars-Gunnar Lundh Philippe Lysy Angela Mabb Heather Mack David Mackey S Mahdavi Pamela Maher Toby Maher Sankar Maity Brigitte Malgrange Charalampos Mamoulakis Arduino Mangoni Thomas Manke Antony Manstead Athanasios Mantalaris Jan Marsal Hanns-Ulrich Marschall Francis Martin Jose Martinez-Raga Encarnacion Martinez-Salas Daniel Mathieu Yoichi Matsui Elie Maza James Mccutcheon Gareth Mckay Brian Mcmillan Nigel Mcmillan Catherine Meads Loreta Medina B Alex Merrick Dennis Metzger Frederic Meunier Martin Michaelis Olivier Micheau Hisaaki Mihara Eric Mintz Takuo Mizukami Yann Moalic D Mohapatra Antonia Monteiro Matthieu Montes John Moran Sergey Morozov Matthew Mort Noriyuki Murai Denis Murphy Susan Murphy Shauna Murray Shinji Naganawa Srinivas Nammi Grigorios Nasios Roman Natoli Frederique Nguyen Christine Nicol Filip van Nieuwerburgh Erlend Nilsen Clarissa Nobile Margaret O’mahony Sophie Ohlsson Oluremi Olatunbosun Per Olofsson Alberto Ortiz Kostya Ostrikov Siegmar Otto Tiago Outeiro Songying Ouyang Sabrina Paganoni Andrew Page Christoph Palm Yin Paradies Michael Parsons Nick Parsons Pigny Pascal Elisabeth Paul Michelle Peckham Nicoletta Pedemonte Michael Pellizzon M Petrelli Alexander Pichugin Carlos Pinto John Plevris Piero Pollesello Martin Polz Giovanna Ponti Piero Porcelli Martin Prince Gwendolyn Quinn Terence Quinn Satu Ramula Juri Rappsilber Florian Rehfeldt Jan Reiling Claire Remacle Mohsen Rezaei Eric Riddick Uwe Ritter Neil Roach David Roberts Guillermo Robles Tiago Rodrigues Cesar Rodriguez Jo Roislien Monique Roobol J Alexandra Rowe Andreas Ruepp Jan van Ruitenbeek Petra Rust Sonia Saad George Sack Manuela Santos Aurore Saudemont Gianni Sava Simone Schrading Alexander Schramm Martin Schreiber Sidney Schuler Joost Schymkowitz Alexander Sczyrba Kate Seib Han-Ping Shi Tomohiro Shimada Jeon-Soo Shin Colette Shortt Patricia Silveyra Debra Skinner Ian Small Paul Smeets Po-Wah So Francisco Solano Daniel Sonenshine Jiangning Song Tony Southall John Speakman Mandyam Srinivasan Laura Stabile Andrzej Stasiak Kathryn Steadman Nils Stein Andrew Stephens Douglas Stewart Keith Stine Curt Storlazzi Nataliya Stoynova Wojciech Strzalka Oscar Suarez Taranum Sultana Anirudha Sumant Mathew Summers Gang Sun Paul Tacon Kozo Tanaka Haixu Tang Yoshinori Tanino Paul Targett-Adams Mourad Tayebi Reema Tayyem Christoph Tebbe Evelyn Telfer Wolfram Tempel Julita Teodorczyk-Injeyan Gert Thijs Sally Thorne Amanda Thrift Celine Tiffon Philip Tinnefeld Daryono Tjahjono Fabrice Tolle Ervin Toth Andria del Tredici Apostolos Tsapas Konstantinos Tsirigotis Ayse Turak George Tzotzos Edet Udo Toshiaki Utsumi Subramanian Vaidyanathan Michel Vaillant Armand Valsesia Roosmarijn Vandenbroucke Feliciano Veiga Marc Vendrell Peter Vesk Paul Vickers Victor Victor Richard Villemur Marie-Claude Vohl Christian Voolstra Anne Vuillemin Steven Wakelin Levi Waldron Laurence Walsh Amanda Wang Fuan Wang Yun Wang Yoichi Watanabe Andreas Weigert Jet-Chau Wen Carol Wham Ethan White Jan Wiener Gottfried Wilharm Simon Wilkinson Raffaella Willmann Coralie Wilson Brunhilde Wirth Timothy Wojan Mathieu Wolff Bryan Wong Tzu-Wei Wu Hanno Wuerbel Xiangshu Xiao Dong Xu Jianping Xu Bin Xue Suayib Yalcin Hong Yan En-Cheng Yang Shiqi Yang Wei Yang Yuzhen Ye Zhi-Qiang Ye Jari Yli-Kauhaluoma Hiroshi Yoneyama Ying Yu Guo-Cheng Yuan Chiou-Hwa Yuh Manuela Zaccolo Chen Zeng Branko Zevnik Chi Zhang Li Zhang Yingkai Zhang Yusen Zhang Zhiyong Zhang Zhong-Yin Zhang Yuan Zhao Min Zhou Torsten Zuberbier Carmen Aanei Rafi Ahmad Manar Al-Lawama Alexandre Alanio Judith Allardyce David Alonso-Caneiro John Atack Dirk Baier Abhisheka Bansal Yannick Benezeth Colette Berbesque Frederik Berrevoet Peter Biedermann Erik Bijleveld Florian Bittner Fabian Blombach Wouter van den Bos Shellie Boudreau Adam Bramoweth Oliver Braubach Yufeng Cai Matthew Campbell Zanxia Cao Thibault Catry Xin Chen Shuiqin Cheng Hee-Jung Chung Miguel Chávez-Fumagalli Aaron Conway Bruno Costa Normand Cyr Lorraine Dean Martin Denzel S Dlamini Kevin Dudley Maeva Dufies Thorsten Ecke Denitsa Eckweiler Elisenda Eixarch Hosny El-Adawy Julius Emmrich Alex Eustace Christine Falter-Wagner Johannes Fuss Jianzhao Gao Martin Gill Liz Gloyn Robert Goggs Usha Govinden Garrett Greene Victor Greiff D Grundle Patrick Grüneberg Nicksy Gumede Gbaguidi Haore Pille Harrison Xavier Hoenner Diego Hojsgaard Hikaru Hori Maria Ikonomopoulou Patrick Jeurissen Daniel Johnson Dhiraj Kabra Koji Kamagata Chandan Karmakar Olga Kasian Linda Kaye Murad Khan Yong-Min Kim J Kish Sebastian Kobold Gary Kohanbash Gregor Kohls Jan-Michael Kugler Gyanendra Kumar Jon Lacy-Colson Asam Latif Volker Lauschke Bingling Li Chinten Lim Fang Liu Xiaodong Liu Jin-Jian Lu Qiang Lu Poornima Mahavadi Ugo Marzocchi Christine Mcgarrigle Tom van Meerten Rogier Min Iain Moal Massimiliano Molari Lucas Molleman Saiful Mondal Thea van de Mortel W Moss Othonas Moultos Maheswari Mukherjee Kazuhiko Nakayama Edward Narayan Philipp-Alexander Neumann Jiyun Nie Yingjiu Nie Frank Niemeyer Fiona Nolan Ogueri Nwaiwu Wendy Oldenmenger Emmanuel Olumayede Jianhong Ou Menuka Pallebage-Gamarallage Simon Pearce Tuula Pelkonen Maria Pelleri Joana Pereira Mpho Pheko Karina Pinto Allison Piovesan Michael Pluess Illya Podolsky Julie Prescott Dongchen Qi Xingshun Qi Vaia Raikou Andreas Ranft Johanna Rhodes Jean-Yves Rotge Anna Rowe Manish Saggar Robert Schuon Shaouli Shahid Vahid Shalchyan Prasad Shirvalkar Oleg Shiryayev Jugpreet Singh Michael Smout António Soares Chunjiao Song Kshitij Srivastava Rupesh Srivastava Jim Sun Attila Szabo Wiktor Szymanski Chan Tai Hisashi Takeuchi S Tanadini-Lang Fei Tang Wanyin Tao G Theron Chang Tian Yu-Shi Tian Lisa Tuttle Anna Valenti Pierre Verlot Mirella Walker Jun Wang Danielle Welter Matthew Winslade Dalei Wu Yi-Rui Wu Han Xiao Beisi Xu Juan Xu Ziyue Xu Dongdong Yang Mingjun Yang Patricio Yankilevich Yuyi You Chenglong Yu Jian Zhan Gong Zhang Kai Zhang Tuo Zhang Yi Zhang Guoyan Zhao Jing Zhao Xiaofan Zhou Zhenxing Zhu Penelope Ajani Udunna Anazodo Saeed Bagloee Kasia Bail Ido Bar Joe Bathelt David Benkeser Meghan Bernier Adam Blanchard Dominic Boakye Vasileios Bonatsos Michele Boon George Bouboulis Elizabeth Bromfield Joshua Brown Kim Bul Kathryn Burton Eugene Butkowski Grace Carroll Fengqing Chao Elisabeth Charrier Xiaoyin Chen Yu-Chih Chen Jane Choi Tore Christoffersen João Comel Cyril Cosse Yanru Cui Pieter van Dessel Daria Diodato Maelle Duffey Avik Dutt Luis Egea Mohammed El-Said Martin Faye Beatriz Fernandez-Fernandez Kieran Foley Luria Founou Fan Fu Rabea Gadelkareem Evgeny Galimov Gulcan Garip Alison Gemmill Quentin Gouil James Grey Zoya Gridneva Michel Grothe Théophile Grébert Fabricio Guerrero Léo Guignard Marco Haenssgen David Hasler Joan Holgate Ancheng Huang Amanda Hulse-Kemp Claire Jean-Quartier Sang-Min Jeon Yangyang Jia Catherine Jutzeler Panagiotis Kalatzis Masud Karim Kathrin Karsay Anne Keitel Andreas Kempe Jeremy Keown Chin Khoo Nyil Khwaja Rogier Kievit Aleksandra Kosanic Dimitrios Koutoukidis Paul Kramer Dilip Kumar Nükhet Kirağ Giuseppe Lanza Thuc Le Jung Leem Daniel Leightley Andreia Leite Lukas Lercher Ying Li Renly Lim Luiz Lima Li Lin Tong Ling Yuchen Liu Zhonghua Liu Yao Lu Fok Lum Hang Luo Jatin Machhi Angus Macleod Isaac Macwan Hanumantha Madala Nima Madani Nicola de Maio Kalina Makowiecki Daniel Mallinson Ruta Margelyte Caracausi Maria Y Markonis Luca Marsili Suzanne Mavoa Lorna Mcwilliams Moa Megersa Caetano Mendes Julia Menichetti Rebecca Mercieca-Bebber Jack Miller David-Paul Minde Alexander Minges Eleanor Mishra Virendra Mishra Carly Moores Nicola Morrice Alexander Moskalensky Nicolò Navarin Edessa Negera Philippe Nolet Ana Nordberg Rickard Nordén Jessica Nowicki Nelly Olova Paweł Olszewski Robert Onzima Chih-Long Pan Charny Park Dong Ik Park Seyoung Park Chandrashekhar Patil Sansoa Pedro Samuel Perry Jessica Peter Brent Peterson Andrea Pezzuolo Ilya Pozdnyakov Siyu Qian Lei Qin Ali Rafe Ishier Raote Ali Raza Henrike Rebl Osama Refai Tim Regan Tambi Richa Mark Richardson K Robinson Luca Rossoni Romain Rouet Soroush Safaei Pierre Schneeberger Daniela Schwotzer Agata Sebastian Jennifer Selinski Stefanie Seltmann Feng Sha Nir Shalev Jin-Long Shang Josef Singer Mandeep Singh Taylor Smith Emma Solomon-Moore Lijuan Song Samuele Soraggi Ryan Stanley Nico Steckhan Frederic Strobl Lorenzo Subissi Irwan Supriyanto Chinmay Surve Tomo Suzuki Caitlin Syme Karl Sörelius Young Tang Marwa Tantawy Sumudu Tennakoon Serafino Teseo Christine Toelzer Nikola Tomov Miguel Tovar Linh Tran Sushil Tripathi Anil Tuladhar Azubuike Ukubuiwe Carolina Ung Kaspar Valgepea Hamid Vatanparast Arnau Vidal Fang Wang Qing Wang Ricky Watari Rebecca Webster Ruth Webster Junnian Wei David Wibowo Tanja Wingenbach Rose Xavier Shumin Xiao Peng Xiong Shicai Xu Shilin Xu Ruifeng Yao Wen Yao Qinan Yin Yongbo Yu Masayoshi Zaitsu Zian Zeineb Xiao-Yong Zhan Jilei Zhang Rongqiang Zhang Wei Zhang Xianglilan Zhang Shan Zheng Bailing Zhou Xiaoyan Zhou Haroon Ahmad Sayo Akinwumi Gregory Albery Ahmed Alhowimel Junaid Ali Mansour Alshehri Mohammed Alsuhaibani Andrey Anikin Samuel Azubuike Anders Bach-Mortensen Lior Baltiansky Martin Bartas Kiflemariam Belachew Vivek Bhardwaj Karin Binder Nicholas Bland Michael Boah Benjamin Bullen Giovanna Calabrò Tiffany Callahan Bing Cao Kelsey Chalmers Wei Chang Zhengping Che Andrew Chen Haimin Chen Huaming Chen Youning Chen Zhao Chen Youngrok Choi Mohiuddin Chowdhury Martin Christensen Robert Cooke Marzia Cottini Natalie Covington Catriona Cunningham Julien Delarocque Lucie Devos Aurup Dhar Ke-Feng Ding Kexian Dong Zheng Dong Niklas Dreyer Chelsea Ekstrand Tanguy Fardet Berhanu Feleke Thomas Feurer Angela Freitas Tian Gao N Asefa Francesco Giganti Piotr Grabowski José Guerra-Mora Chengying Guo Xinyi Guo Himanshu Gupta Shuonan He Marloes Heijne Stephanie Heinemann Alexander Hogrebe Zhengping Huang Sophinese Iskander-Rizk Lavanya Iyer Yasmin Jahan Ameh James Emmanuel Joel Bastian Joffroy Clara Jégousse George Kambondo Priyanka Karnati Cihan Kaya An Ke Daniel Kelly Rob Kickert Peter Kidibule Jennifer Kieselmann Hyeon Kim Takeshi Kitazawa Aniek Lamberts You Li Huakang Liang Sabrina Linn Thomas Litfin Wang Liusuo Vasiliki Lygirou Ajay Mahato Zhi-Ming Mai Rupert Major Samira Mali Panagiotis Mallis Wenzhi Mao Katie Marvin-Dowle Leanda Mason Ben Merideth Maria Merino-Plaza Britt Merlaen Rossella Messina Anand Mishra Junaid Muhammad Conrad Musinguzi Afroditi Nanou Amreen Naqash Joe Nguyen Thi Nguyen Duan Ni Shirli Notcovich Barnabas Ohst Quinn Ollivier Daniël Osses Xiangda Peng Arnoud Plantinga Michael Pulia Muhammad Rafiq Ayush Raman Delphine Raucher-Chéné Rafał Rawski Asit Ray Lubna Razak Kevin Rudolf Peter Rusch Margaux Sadoine Axel Schmidt Roey Schurr Stephen Searles Saurab Sharma Barry Sheehan Chunhu Shi Belal Shohayeb Andrew Sommerlad Jan Strehlow Xianbao Sun Raghav Sundar Ghazaleh Taherzadeh Nur Tahir Jun Tang Jean Testa Zhiqi Tian Qian Tingting Geert Verheijen Casey Vickstrom Teng Wang Xiaomin Wang Zhenxing Wang Pan Wei Alex Wilson Abdul-Amir Yassine Abbas Yousefzadeh Asma Zare Zhen Zeng Chengrong Zhang Haowen Zhang Linxing Zhang Tongchuan Zhang Weijia Zhang Zhe Zhang Jianyu Zhou Dongjie Zhu Vincenzo Adamo Adebolajo Adeyemo Maria Aggelidou Adi Al-Owaifeer Arwa Al-Riyami Saeed Alzghari Vibeke Andersen Kathryn Angus Muhammad Asaduzzaman Hadi Asady Dai Ato Xiaoyong Bai Rebecca Baines Maghan Ballantyne Bo Ban Jill Beck Walid Ben-Nafa Emma Black Antoine Blancher Ron Blankstein Neil Bodagh Paulo Borges Anastasia Brooks Josue Brox-Ponce Arturo Brunetti Colin Canham Piero Carninci Richard Carvajal Shun Chang Jie Chao Pranab Chatterjee He Chen Yi-Chun Chen Adnan Chhatriwalla Ibrahim Chikowe Trees-Juen Chuang Rosane Collevatti Diego Valera-Cornejo Ana Cuenda Myriam Dao Delphine Dauga Zaian Deng Kiran Devkota Lisa Doan Yaser Elewa Dongsheng Fan Mohammed Faruk Shi Feifei Trevor Ferguson Francesco Fleres Emma Foster C Stephen Foster Tzvi Furer Yibo Gao Enid Garcia-Rivera Adi Gazdar Ronald George Sayantan Ghosh Elena Gianchecchi Joshua Gleason Allan Hackshaw Adam Hall Richard Hall Paul Harper William Hogg Guangqun Huang Kylie Hunter Adriaan Ijzerman Carlos Jesus Gao Jian James Jr Souha Kanj Harsheen Kaur Shona Kelly Fayez Kheir V Kichatova Musa Kiyani Reinhild Klein Tom Kovesi Jennifer Kraschnewski Addanki Kumar Dmitry Labutin Alejandro Lazo-Langner Guy Leclercq Maoteng Li Qingchun Li Tangliang Li Yongzhe Li Wei-Ting Liao Zheng-Yin Liao Jessica Lin J Lizer Giambattista Lobreglio Cher Lowies Cheng Lu Haroon Majeed Adam Martin Luis Martinez-Sobrido Edwin Meresh Marianne Middelveen Alireza Mohebbi Jorge Mota Zahra Mozaheb Ley Muyaya Amar Nandhakumar Sheryl Ng Monther Obeidat Deog-Hwan Oh Mohammed Owais Pia Pace-Asciak Ajay Panwar Caroline Park Chris Patterson Felipe Penagos-Tabaree Paolo Pianosi Valentina Pinzi Clare Pridans Anna Psaroulaki Ravi Kumar Pujala Leonardo Pulido-Arjona Peng-Fei Qi Proton Rahman Nayanjot Rai Tienush Rassaf Julie Refardt Walter Ricciardi Olaf Riess Alexandros Rovas Frank Sacks Sherif Saleh Christopher Sampson Axel Schmutz Robert Sepanski Neeraj Sharma Manisha Singh Paul Spearman Mehala Subramaniapillai Ritu Swali Cher Tan Juan Tellechea Lisa-Marie Thomas Xin Tong Demetrios Vavvas Ralf Veys Veronica Vitriol Horng-Dar Wang Jinhui Wang Jiucun Wang Jason Waugh S Webb Brendan Williams Alan Workman Tingxiu Xiang Li-Xin Xie Jun Xu Taosheng Xu Chongjun Yang Jihoon Yoon Christina Yuan Arno Zaritsky Yao Zhang Haochen Zhao Hannah Zuckerman Ran Lyu Wayne Pullan Yaoqi Zhou 
Abstract : Document recommendation systems for locating relevant literature have mostly relied on methods developed a decade ago. This is largely due to the lack of a large offline gold-standard benchmark of relevant documents that cover a variety of research fields such that newly developed literature search techniques can be compared, improved and translated into practice. To overcome this bottleneck, we have established the RElevant LIterature SearcH consortium consisting of more than 1500 scientists from 84 countries, who have collectively annotated the relevance of over 180 000 PubMed-listed articles with regard to their respective seed (input) article/s. The majority of annotations were contributed by highly experienced, original authors of the seed articles. The collected data cover 76% of all unique PubMed Medical Subject Headings descriptors. No systematic biases were observed across different experience levels, research fields or time spent on annotations. More importantly, annotations of the same document pairs contributed by different scientists were highly concordant. We further show that the three representative baseline methods used to generate recommended articles for evaluation (Okapi Best Matching 25, Term Frequency–Inverse Document Frequency and PubMed Related Articles) had similar overall performances. Additionally, we found that these methods each tend to produce distinct collections of recommended articles, suggesting that a hybrid method may be required to completely capture all relevant articles. The established database server located at https://relishdb.ict.griffith.edu.au is freely available for the downloading of annotation data and the blind testing of new methods. We expect that this benchmark will be useful for stimulating the development of new powerful techniques for title and title/abstract-based search engines for relevant articles in biomedical research.
Document type :
Journal articles
Complete list of metadata

https://hal.inrae.fr/hal-03600728
Contributor : Cédric Alaux Connect in order to contact the contributor
Submitted on : Monday, March 7, 2022 - 5:38:49 PM
Last modification on : Wednesday, May 11, 2022 - 1:00:13 PM

Links full text

Identifiers

Collections

INRA | INRAE | AE

Citation

Peter Brown, Aik-Choon Tan, Mohamed El-Esawi, Thomas Liehr, Oliver Blanck, et al.. Large expert-curated database for benchmarking document similarity detection in biomedical literature search. Database - The journal of Biological Databases and Curation, Oxford University Press, 2019, 2019, ⟨10.1093/database/baz085⟩. ⟨hal-03600728⟩

Share

Metrics

Record views

22