ivan zlax

2024-03-26 12:53:50

ivan zlax

zlax@ussr.win

Andrew wrote the following post Tue, 26 Mar 2024 12:18:58 +0300

Graph of the frequency of various terms, showing steady values for "innovative" and "versatile" but big spikes for "commendable", "meticulous", "intricate"

I have a preprint out estimating how many scholarly papers are written using chatGPT etc? I estimate upwards of 60k articles (>1% of global output) published in 2023. https://arxiv.org/abs/2403.16887

How can we identify this? Simple: there are certain words that LLMs love, and they suddenly start showing up *a lot* last year. Twice as many papers call something "intricate", big rises for "commendable" and "meticulous".

#bibliometrics #scholcomm #chatgpt

ChatGPT "заражение": оценка распространенности LLM в научной литературе

Использование ChatGPT и аналогичных инструментов Large Language Model (LLM) в научной коммуникации и академических публикациях широко обсуждается с тех пор, как они стали доступны широкой аудитории в конце 2022 года. В данном исследовании используются ключевые слова, которые, как известно, непропорционально часто встречаются в текстах, созданных с помощью LLM, чтобы дать общую оценку распространенности использования LLM в научной литературе. Выяснилось, что в 2023 году некоторые из этих ключевых слов по отдельности и в сочетании друг с другом демонстрируют заметное и непропорциональное увеличение своей распространенности. По оценкам, по меньшей мере 60 000 статей (чуть более 1 % всех статей) были написаны с использованием LLM, хотя это число может быть расширено и уточнено путем анализа других характеристик статей или выявления других показательных ключевых слов.

#academic #hoax #llm #research #revision #science #scientism

english russian