UMIN-CTR 臨床試験登録情報の閲覧

一般向け試験名/Public title

日本語
大規模言語モデルを用いたシステマティックレビューにおけるデータ抽出の精度と信頼性の検証

英語
Accuracy and reliability of data extraction for systematic reviews using large language models: A protocol for a prospective study

一般向け試験名略称/Acronym

日本語
大規模言語モデルを用いたシステマティックレビューにおけるデータ抽出の精度と信頼性の検証

英語
Accuracy and reliability of data extraction for systematic reviews using large language models: A protocol for a prospective study

科学的試験名/Scientific Title

日本語
大規模言語モデルを用いたシステマティックレビューにおけるデータ抽出の精度と信頼性の検証

英語
Accuracy and reliability of data extraction for systematic reviews using large language models: A protocol for a prospective study

科学的試験名略称/Scientific Title:Acronym

日本語
大規模言語モデルを用いたシステマティックレビューにおけるデータ抽出の精度と信頼性の検証

英語
Accuracy and reliability of data extraction for systematic reviews using large language models: A protocol for a prospective study

試験実施地域/Region

日本/Japan

対象疾患名/Condition

日本語
敗血症

英語
Sepsis

疾患区分1/Classification by specialty

救急医学/Emergency medicine	集中治療医学/Intensive care medicine

疾患区分2/Classification by malignancy

悪性腫瘍以外/Others

ゲノム情報の取扱い/Genomic information

いいえ/NO

目的1/Narrative objectives1

日本語
3つのLLM（GPT-4 Turbo、Claude 3、Gemini 1.5 Pro）を用いて、J-SSCG 2024のシステマティックレビュープロセスにおいて、選択された文献から抽出されたデータの精度と信頼性を評価すること。

英語
To evaluate the accuracy and reliability of the extracted data from selected literature in the systematic review process in J-SSCG 2024 using three LLMs (GPT-4 Turbo, Claude 3, and Gemini 1.5 Pro).

目的2/Basic objectives2

その他/Others

目的2 -その他詳細/Basic objectives -Others

日本語
精度と信頼性

英語
accuracy and reliability

試験の性質1/Trial characteristics_1

試験の性質2/Trial characteristics_2

試験のフェーズ/Developmental phase

主要アウトカム評価項目/Primary outcomes

日本語
システマティックレビュープロセスにおいて、選択された文献から抽出されたデータの精度と信頼性。

英語
To evaluate the accuracy and reliability of three large language models and optimize their command prompts to enhance accuracy.

副次アウトカム評価項目/Key secondary outcomes

日本語
エラーの詳細な評価と作業時間の計測
二次解析では迅速なエンジニアリング技術を統合してオリジナル・コマンドを最適化する。

英語
Detailed characteristics of errors
Time to complete each task
Following the primary analysis, we will optimize the original command with integration of prompt engineering techniques in the secondary analysis.

試験の種類/Study type

その他・メタアナリシス等/Others,meta-analysis etc

基本デザイン/Basic design

ランダム化/Randomization

ランダム化の単位/Randomization unit

ブラインド化/Blinding

コントロール/Control

層別化/Stratification

動的割付/Dynamic allocation

試験実施施設の考慮/Institution consideration

ブロック化/Blocking

割付コードを知る方法/Concealment

群数/No. of arms

介入の目的/Purpose of intervention

介入の種類/Type of intervention

介入1/Interventions/Control_1

日本語

英語

介入2/Interventions/Control_2

日本語

英語

介入3/Interventions/Control_3

日本語

英語

介入4/Interventions/Control_4

日本語

英語

介入5/Interventions/Control_5

日本語

英語

介入6/Interventions/Control_6

日本語

英語

介入7/Interventions/Control_7

日本語

英語

介入8/Interventions/Control_8

日本語

英語

介入9/Interventions/Control_9

日本語

英語

介入10/Interventions/Control_10

日本語

英語

年齢（下限）/Age-lower limit

適用なし/Not applicable

年齢（上限）/Age-upper limit

適用なし/Not applicable

性別/Gender

男女両方/Male and Female

選択基準/Key inclusion criteria

日本語
適用なし

英語
Not applicable

除外基準/Key exclusion criteria

日本語
適用なし

英語
Not applicable

目標参加者数/Target sample size

責任研究者/Name of lead principal investigator

日本語

名	毅彦
ミドルネーム
姓	大網

英語

名	Takehiko
ミドルネーム
姓	Oami

所属組織/Organization

日本語
千葉大学大学院医学研究院

英語
Chiba University Graduate School of Medicine

所属部署/Division name

日本語
救急集中治療医学

英語
Department of Emergency and Critical Care Medicine

郵便番号/Zip code

260-8677

住所/Address

日本語
千葉県千葉市中央区亥鼻１丁目８ー１

英語
1-8-1 Inohana, Chuo, Chiba

電話/TEL

0432227171

Email/Email

seveneleven711thanks39@msn.com

試験問い合わせ窓口担当者/Name of contact person

日本語

名	毅彦
ミドルネーム
姓	大網

英語

名	Takehiko
ミドルネーム
姓	Oami

組織名/Organization

日本語
千葉大学大学院医学研究院

英語
Chiba University Graduate School of Medicine

部署名/Division name

日本語
救急集中治療医学

英語
Department of Emergency and Critical Care Medicine

郵便番号/Zip code

260-8677

住所/Address

日本語
千葉県千葉市中央区亥鼻１丁目８ー１

英語
1-8-1 Inohana, Chuo, Chiba

電話/TEL

0432227171

試験のホームページURL/Homepage URL

Email/Email

seveneleven711thanks39@msn.com

機関名/Institute

日本語
その他

英語
Chiba University Graduate School of Medicine

機関名/Institute
（機関選択不可の場合）

日本語
千葉大学大学院医学研究院

部署名/Department

日本語

個人名/Personal name

日本語
大網　毅彦

英語
Takehiko Oami

機関名/Organization

日本語
無し

英語
Chiba University Graduate School of Medicine

機関名/Organization
（機関選択不可の場合）

日本語
千葉大学大学院医学研究院 救急集中治療医学

組織名/Division

日本語

組織の区分/Category of Funding Organization

その他/Other

研究費拠出国/Nationality of Funding Organization

日本語

英語

共同実施組織/Co-sponsor

日本語

英語

その他の研究費提供組織/Name of secondary funder(s)

日本語

英語

組織名/Organization

日本語
千葉大学医学部附属病院倫理委員会

英語
Chiba University Hospital

住所/Address

日本語
千葉県千葉市中央区亥鼻1-8-1

英語
1-8-1 Inohana, Chuo, Chiba 260-8677, Japan

電話/Tel

0432227171

Email/Email

seveneleven711thanks39@msn.com

他機関から発行された試験ID/Secondary IDs

いいえ/NO

試験ID1/Study ID_1

ID発行機関1/Org. issuing International ID_1

日本語

英語

試験ID2/Study ID_2

ID発行機関2/Org. issuing International ID_2

日本語

英語

治験届/IND to MHLW

試験実施施設名称/Institutions

千葉大学大学院医学研究院 救急集中治療医学

一般公開日（本登録希望日）/Date of disclosure of the study information

2024

年

05

月

23

日

プロトコル掲載URL/URL releasing protocol

https://www.medrxiv.org/content/10.1101/2024.05.22.24307740v1

試験結果の公開状況/Publication of results

最終結果が公表されている/Published

結果掲載URL/URL related to results and publications

https://www.frontiersin.org/journals/digital-health/articles/10.3389/fdgth.2026.1799623/full

組み入れ参加者数/Number of participants that the trial has enrolled

0

主な結果/Results

日本語
背景データの抽出において、エラーのない割合の平均値は、モデルごとに81.6%（ChatGPT-4o）から92.4%（Claude 3 Sonnet）の範囲であった。結果データの抽出においては、エラーのない割合の平均値は27.8%（Gemini 1.5 Pro）から80.7%（Claude 3 Sonnet）の範囲であった。

英語
For background data extraction, mean no-error proportions ranged from 81.6% (ChatGPT-4o) to 92.4% (Claude 3 Sonnet) across models. For outcome data extraction, mean no-error proportions ranged from 27.8% (Gemini 1.5 Pro) to 80.7% (Claude 3 Sonnet).

主な結果入力日/Results date posted

2026

年

05

月

24

日

結果掲載遅延/Results Delayed

結果遅延理由/Results Delay Reason

日本語

英語

最初の試験結果の出版日/Date of the first journal publication of results

2026

年

04

月

29

日

参加者背景/Baseline Characteristics

日本語
記載なし

英語
None

参加者の流れ/Participant flow

日本語
記載なし

英語
None

有害事象/Adverse events

日本語
なし

英語
None

評価項目/Outcome measures

日本語
本研究では、ChatGPT-4o、Claude 3 Sonnet、Gemini 1.5 Proの3つのLLMについて、「敗血症および敗血症性ショックの管理に関する日本臨床実践ガイドライン2024（J-SSCG 2024）」に記載された5つの臨床的疑問（CQ）を対象とした臨床試験からのデータ抽出性能を評価した。対象となる研究のPDFファイルを用いて、LLMは事前に定義された背景特性および臨床転帰を抽出した。独自に作成したプロンプトを用いて生成された出力は、思考の連鎖（chain-of-thought）および自己反省（SR）プロンプト戦略を用いて生成された出力と比較された。2名の独立した査読者が、ガイドライン作成メンバーによる手動抽出から導き出された参照基準に対して精度を評価した。また、3回のセッションにわたるセッション間の一貫性および処理時間も評価された。

英語
This study evaluated the performance of three LLMs, including ChatGPT-4o, Claude 3 Sonnet, and Gemini 1.5 Pro, for data extraction from trials addressing five clinical questions (CQs) in the Japanese Clinical Practice Guidelines for the Management of Sepsis and Septic Shock 2024 (J-SSCG 2024). Using portable document format files of eligible studies, LLMs extracted predefined background characteristics and clinical outcomes. Outputs generated using an original prompt were compared with those produced using chain-of-thought and self-reflection (SR) prompt strategies. Two independent reviewers assessed accuracy against a reference standard derived from manual extraction by the guideline members. Inter-session consistency across three sessions and processing time were also evaluated.

個別症例データ共有計画/Plan to share IPD

日本語

英語

個別症例データ共有計画の詳細/IPD sharing Plan description

日本語

英語

試験進捗状況/Recruitment status

試験終了/Completed

プロトコル確定日/Date of protocol fixation

2024

年

05

月

22

日

倫理委員会による承認日/Date of IRB

2024

年

05

月

22

日

登録・組入れ開始（予定）日/Anticipated trial start date

2024

年

05

月

23

日

フォロー終了(予定)日/Last follow-up date

2024

年

12

月

31

日

入力終了(予定)日/Date of closure to data entry

データ固定（予定）日/Date trial data considered complete

解析終了(予定)日/Date analysis concluded

その他関連情報/Other related information

日本語
https://medrxiv.org/cgi/content/short/2024.05.22.24307740v1

英語
https://medrxiv.org/cgi/content/short/2024.05.22.24307740v1

登録日時/Registered date

2024

年

05

月

22

日

最終更新日/Last modified on

2026

年

05

月

24

日

閲覧ページへのリンク/Link to view the page

日本語
https://center6.umin.ac.jp/cgi-open-bin/ctr/ctr_view.cgi?recptno=R000062206

英語
https://center6.umin.ac.jp/cgi-open-bin/ctr_e/ctr_view.cgi?recptno=R000062206