2017年03月03日

論文原稿や研究発表の最近の傾向の話

論文は基本的にpeer reviewというシステムがとられていて、誰かに審査されてその判断をもとにエディターが修正指示や掲載の可否を判断します。なので出した論文がそのまま通ることは事実上ありません。

この論文審査はエディターが大勢の研究者の中から利益相反のない、且つその分野に詳しそうな人を査読者として選定します。指名された側も自分が出した時に査読をしてもらっているわけだからそうそう無下に断ることもなく引き受けることが多いわけですが、この査読、文献読んでその言ってることが正しいのか独自にバックグラウンドをチェック、またデータ自体もあってるのかと精査したりなどなど結構な時間を取られます。それも年に1回とかならともかく、月に数回ではきかないレベルでこの査読依頼がやってくることも多く、自分の研究に関係ないことで消費される時間が半端ではなくなります。2015年に査読に費やされた時間は延べ6300万時間とまで言われており、大量の査読が押し寄せて卓越査読者化している人も多かったりしますが、そんな査読は、完全なるボランティアです、タダ働きです。そんなこんなで本人時間取れないから海外ラボでも学生に査読丸投げしてるとこ多いような気がしますがアレだめなんちゃうの?

The Global Burden of Journal Peer Review in the Biomedical Literature: Strong Imbalance in the Collective Enterprise
M. Kovanis et al.
PLOS ONE DOI: 10.1371/journal.pone.0166387



近年ではOpen Access論文誌(OA誌)の激増などもあり、発行される論文の数は加速度的に増加しています。その割合は年6%以上とも言われ、科学誌だけで2014年にpeer reviewを受けて発行された論文は34000以上、2003年には130万だった論文総数が、わずか10年後の2013年には倍近い240万報にまで膨れ上がっているという調査もあります。当たり前ですが、発行される論文数が増えればその分査読を受ける(合否判定前段階の)論文も増えるわけです、例えば一律で受理率を20%とした場合、34000報の5倍の数の論文が審査に回されているわけです。こうなるともうやってられないし低レベル論文誌ほど原稿読んで得るものがなくなる(時間の無駄)となると査読者もそもそも現れなくなるわけで、エディターとしても大変のようです。

という、完全に研究者の善意だけで回っていた査読システムが崩壊しつつある近年です。これに関して色々解決するにはどうしたらいいかとかいう議論も上がっており、『報酬を出せ』という意見が一番多いしまあ当然そうなるわけです。ただそれやると報酬を渡すためにまた口座管理登録とか論文誌側がそういうのしなきゃいけなくなるし、何より常日頃からくるスパムメールポスドク志願メールよろしく報奨金目当てで『アイアム卓越査読者、プリース査読回して』というメールが某国やら某国やらと膨大な量エディターに寄せられてきそうでなかなか難しそうです。最近のNatureのコメントには『査読したらポイントがたまって、論文をOA化できるようにしたらどうか』という意見が出されています。

Peer review: Award bonus points to motivate reviewers (correspondence)
D. Gurwitz
Nature 542, 414


なお、「査読をしたら自分がOA論文出すときに使える値引きクーポンをだす」というパターンはもうすでにやられていて、Moleculesなどを擁するOA誌会社の一つであるMDPIは、査読をすると今度投稿するときに使えるOA化料金値引きクーポンコードがもらえます。有効期間と値引き料はまちまちなので(なんでなんだろ、よこしてくる原稿の厚さとか?)、たまたま出そうと思ってたらラッキーってなるでしょうけどそうでなければ使えないよなあと。

さて、そんな査読システムの話は置いといて、これだけ論文が激増する一方で紙面やこっちが読める数も限られるわけですから採択される報数自体はそんな大幅には増えません。ということは論文採択のための競争が激化しているわけです。科学論文であればもちろん研究成果というか研究結果ベースで採否は決まるはずですが、判断する方も所詮人間ですし、採択の理由にも「読者が興味を示すか」というのもあるわけですから、そのためにエディターへのカバーレターでのアピールに加えて、Abstractや論文本体での『俺すごいんやで』アピールとそう見せるためのストーリーも重要になってきます。ところで私自身前面に出たがらないコミュ障だし、ウルトラ俺様論文読んでるとこっちが恥ずかしくなるくらいなので結果ベースのアピールとか文章構成にしかする気がないんですけど、それもそれでだめな書き方なんだろうなあと(そんなんだからうだつが上がらないのか?それ以前の問題か?)

無論、おんなじ結果でも伝え方(原稿の書き方)次第で印象が180度違うのは当たり前なのでわかっちゃいるんですが、かなりの小手先感もしてしまうのも事実。そういった最近の論文原稿自体の傾向についての論説がACS Catalysis誌で出されました。

Superlative Scientific Writing (editorial)
S. L. Scott, C. W. Jones
ACS Catal. 2017, 7, 2218−2219


年々論文掲載のハードルが上がるだけでなく研究費の獲得や、「IF高いとこ出せよこの野郎」的なプレッシャーもあり、論文一報書くにしてもその新規性や「ワイの成果はすごいんや」的なアピールを強いられている感があります、この論説では、近年の論文における掲載までの過当競争に起因する"Positive word"の過剰使用や、『フツーのルーチンワークをさも現在のホットトピックであるかのようにする』といったことなど、成果の過剰なポジティブアピールについて論じられています。

特に論説で深刻に見ているのが、"excellent", "remarkable", "extraordinary"といった、研究の価値や意味とは関係のない"nonscientific"な言葉を使って飾る傾向です。
たとえば論文のabstract中における"novel(新規な)"の数は医学系論文で1975年から25倍になり、2014年ではその年の論文8.5%に登場するほどにまで。こうしたPositive wordはPubMedのabstractだけでも1974年から約9倍に、"robust", "novel", "innovative", "unprecedented"といった単語に至っては40年でその登場頻度が150倍にまでなっているといい、果ては『2123年までにはすべての科学論文に"novel"という単語が見られるようになる』とまで言われるレベル。論文なんて"novel"だから出せるんであってあんまり書いてもなあとは思うもののつい使っちゃうんですよねえ・・・。ちなみにnegative wordも増加はしていますがその割合は2.5倍程度とのこと。

一方で面白い話もあります。それは『非英語圏の国の論文ほどpositive wordを使いたがる』というもの。日本人に言う資格があるかどうかは怪しいですが、この辺は論文読んでたり、または大量のその手の国の原稿査読でも思い当たる人はいるのではないでしょうか。この社説の中では「彼らは最近の『acceptされている英語圏著者の論文』から(Positive wordと使うと通りやすいと)学んでいるのでは」(←めっちゃ負の連鎖よねこれだったら)とか「彼らの国の所属する研究所や金の出所機関から『成果のインパクトをアピールしろ』とより強烈な圧力を受けているのでは」とか推察していますが、まあ後者の割合が高いような気が。

また最近日本でも話題になっているプレスリリースについてもその方向性とやり口が述べられています。2011年に英国の大学から出されたプレスリリースのうち、3〜4割が元論文と比較して誇張が見られるという調査からもわかる通り、プレスリリースはそもそも化学者ではなく興味ある一般人向けでもなく、「全然知らない一般大衆に向けて書く『マスコミ』」であり、そのマスコミがその誇張したストーリーをもとにしてさらに新しい(聞こえのいいさらに誇張した)ストーリーを広めるという図式になっています。この間書いた「高校生が高価な薬分子を格安で作った、という話」もキャッチーなプレスリリース(がさらにマスメディアによってラディカルにブースト)でだいぶバズりましたが、書いたとおり、よくよく中身を見れば『もはや本来の企画の目的とははるかにかけなれた過剰な触れ込み・ただし結果に関しては嘘は言っていない』というものでした。このプレスリリースについては特に最近日本でもアウトリーチ活動と合わせてやれと圧力をかけられるやつでもありますが、度を越した過剰っぷりで定期的に炎上してる印象です個人的に(あと話を一通り読んだ後に元論文のjournal見てずっこけるやつとか)。まあ研究者界隈で「あんなこと言いおって、あいつマジないわー」とかなっても、そもそもの対象が一般人と新聞とかテレビ相手のものなのでよっぽどでなければ平気なんでしょうけどね。プレスリリースした中の人も「あんなのできるわけないだろ」って言ってたことあるしやってるほうも割り切ってるんだろうなあと。

論説の最後には、論文誌はこうしたpositive wordについても原稿を厳しくチェックし、そういったものを排除すべき(特にタイトルとabstractから)、そして"for the first time"という言葉は安易に使うべきではない(使うならcover letterだけにするか"to the best of our knowledge")、と締めくくっています。まあ"to the best of our knowledge"ってつけりゃ許される感もあるのでなんだかあれですが。個人的にはこういった直接的なpositive wordで優位性をうたう原稿は低レベル論文誌ほど多い印象があります。あと直接的に文献あげつらってdisることで自分の優位性出そうとしてるやつとか。個人的には総説なのに他人の先行総説挙げてdisるパターンがいまのところ一番"novel"です、まる。高レベルのjournalほどそうした直接的なやつはないので、編集部としてちゃんとチェックして修正かけてるのか、そもそも書いてる人の頭の回りがいいからなのかはわかりませんが、まあこうダイレクトなひねりのない表現だと読んでて残念感がすごいしちゃうんですよね。

とまあ査読システムだけでなくというかそもそも論として、投稿する側・研究者側の誠実さ自体が過当競争や研究費がらみの影響でそもそも崩壊しているという何とも言えない話でしたが、さて、皆さんの論文準備原稿に
excellent
remarkable
extraordinary
novel
first (for the first time)
robust
innovative
unprecedented

といった"Positive word"はありませんか?あるとして過剰な使い方してませんか?今一度チェックしてみましょう。なお僕のヤツには2つくらいあったのでもう一回見直しときますわ(´・ω・`)


さてそんな論文原稿に関連してですが、こうしたpositive wordの氾濫、過剰な(不当な)新規性アピールの最近の過剰さと合わせて、個人的に『論文採否における原稿のストーリーのインパクトがどれくらい現れるのか』、もっと直接いうと『スター研究者っていうけどそもそも研究結果に依存しなくてもそういう「すごーい」な論文かけるんじゃね?』というのがずっと昔から気になっています。そこでいろんな研究者、というか一流スーパースターからポンコツ普通の研究者までに『全く同じ実験データを配布し、それぞれの書く原稿・ストーリーの影響だけでどれだけ論文がいいとこに通るのか、はねられるのか、どこまでしか行けないのか』という実験をやってみたらいったいどうなるのか、すごく興味があります。

「論文は事実で構成されたズルいフィクション」と言った研究者がいるとかいないとからしいですが(仮説とフィクションを同列にするのはどうかと思うけど)、最初に言った通り人間である判定者がそうした話に騙されてしまうのも事実。同じもの渡してどういうストーリー毎で、言い換えればデコレーション次第でどう結果が変わってしまうのか、(もちろんそのためにどうデータを"隠す"のかや、「先行研究を過小評価・引用するけど触れない・最悪意図的に引用しない」といった、よく見られる手口による影響も含め)という影響は皆さんが気にするところではないかと思います。

無論これらはニセ実験データに基づく論文をみんなに投稿してもらうことになる=論文誌をだますことになるので難しいんでしょうけど、誰かやってくれないかなあ。こういうのどういう分野の人がやるの?社会学者?統計?言語とかの文学系?
もっともこういう結果が明らかにされたらまともに本来あるべき「きれいな」論文の書き方をする人なんて激減するでしょうけどね、あまりに馬鹿らしくなるから。そういう意味ではこんな調査はやらない方がまだ幸せなんでしょうかねえ。


posted by 樹 at 08:00 | Comment(0) | TrackBack(0) | 有機化学雑記 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのトラックバックURL
http://blog.seesaa.jp/tb/447385273

この記事へのトラックバック