ChatGPT製の論文、99%検知可能という記事を読んできた

海外ソース確認中 (DeepLを援用)

ChatGPT-generated scientific papers could be picked up by new AI-detection tool, say researchers

カンザス大学の化学教授であるHeather Desaire氏は、
「(ChatGPTやそのツールであるチャットボットを援用した)論文投稿が増加し、学会誌や論文誌の査読が以前より大変になった」
教授はChatGPTの敵ではありませんが、意図しない影響に目を光らせることは重要だと考えているそうな。

やり方:ヒトが書いた論文64本を分析。
同じテーマでChatGPTが書いた論文128本を分析。

比較する

科学的な文章の著者(人間)を決定するのに役立つ20の特徴を特定。
あと、
・科学者ならではの書き方(一般人がTwitterに書くのとは大違い)
・文章が長めになりがち とかも特定。

見つけた特徴を使って、化学研究でも使ってる、XGBoostと呼ばれる市販の機械学習アルゴリズムを訓練する。

99%くらいは、『科学論文の作者がヒトか、ChatGPTか』を当てることができるようになった。

ただこれをこのまま、一般人の文章には使うの無理だよ。

今回の検知AIが訓練できたのは……
・『科学の論文』というジャンル特徴のある文章だった
・学習させたデータは、『100%ヒトが書いた文章』と『100%ChatGPTが書いた文章』できっちり分かれてた から
だもの。

記事でも指摘されたように、
「ChatGPTに特定の書き方を指示しておけば、100パーセントAIが書いたテキストでも、この検知AIをパスできる」
って話だから。

で、記事の後半だけど。
「AIが書いたり作ったりした作品を検知するのに血道をあげるより、AIをより生産的に援用する方法をさぐるべきじゃ?」
という意見が述べられてる。
そして、今回の論文を発表した『サイエンス』誌の広報で締めてる。

同誌は最近、編集方針を更新し、あらゆるAIツールで生成されたテキストを科学論文に使用できないことを明記した。
科学論文におけるAI生成ツールの “許容される使い方 “がいずれはあるかもしれないが、科学界がどのような使い方を “許容される “と見ているか、ジャーナルはより明確になるのを待っている。
“ChatGPTが作成した投稿論文かどうかを正確に区別できるツールは、正確な検出の実績があれば、我々の厳格な査読プロセスへの有用な追加となる可能性がある “
と彼らは付け加えた。

ですって。そりゃそうですよ。

嘘ついたり、存在しない論文を文献に挙げたりするAIを、100%使おうが50%使おうが、関係ない。 『そんな論文』を乱発されたら、査読するほうは疲弊してしまう。 科学の論文誌が、そのシステム疲労を起こしてしまう危険性が、今のところは高いってこと。

『AI100%使用でも50%援用論文でもなんでもいいから、論文投稿して実績あげたい研究者』

『AI使用の痕跡を検知して、査読コストを低く抑えたい論文誌』
の軍拡競争は、もうしばらく続くと思います。

『論文誌には、きちんと検証された内容の論文が載ってほしい』 という多くのひとの願いが、ここでは一番大事。
ChatGPTが捏造した部分のまぎれこんだ『論文』を多数投稿するのって、それって学術に対するスパム行為じゃないかしら?

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください