UMIN-CTR 臨床試験登録情報の閲覧

UMIN試験ID	UMIN000053582
受付番号	R000061116
科学的試験名	メンタルヘルス・マネジメント(R)検定試験に対するChatGPT (Generative Pretrained Transformer-4, GPT-4) のパフォーマンス：要因計画による検討
一般公開日（本登録希望日）	2024/02/09
最終更新日	2024/09/25 10:06:22

※ 本ページ収載の情報は、臨床試験に関する情報公開を目的として、UMINが開設しているUMIN臨床試験登録システムに提供された臨床試験情報です。
※ 特定の医薬品や治療法等については、医療関係者や一般の方に向けて広告することは目的としていません。

基本情報/Basic information

一般向け試験名/Public title

日本語
メンタルヘルス・マネジメント(R)検定試験に対するChatGPTのパフォーマンス：要因計画による検討

英語
Performance of the ChatGPT on the Certification Test for Mental Health Management: Factorial design

一般向け試験名略称/Acronym

日本語
メンタルヘルス・マネジメント(R)検定試験に対するChatGPTのパフォーマンス

英語
Performance of the ChatGPT on the Certification Test for Mental Health Management

科学的試験名/Scientific Title

日本語
メンタルヘルス・マネジメント(R)検定試験に対するChatGPT (Generative Pretrained Transformer-4, GPT-4) のパフォーマンス：要因計画による検討

英語
Performance of the ChatGPT (Generative Pretrained Transformer-4) on the Certification Test for Mental Health Management: Factorial design

科学的試験名略称/Scientific Title:Acronym

日本語
メンタルヘルス・マネジメント(R)検定試験に対するChatGPT (Generative Pretrained Transformer-4, GPT-4) のパフォーマンス

英語
Performance of the ChatGPT (Generative Pretrained Transformer-4) on the Certification Test for Mental Health Management

試験実施地域/Region

日本/Japan

対象疾患/Condition

対象疾患名/Condition

日本語
該当なし

英語
NA

疾患区分1/Classification by specialty

該当せず/Not applicable

疾患区分2/Classification by malignancy

悪性腫瘍以外/Others

ゲノム情報の取扱い/Genomic information

いいえ/NO

目的/Objectives

目的1/Narrative objectives1

日本語
本研究では、近年目覚ましい発展を遂げる大規模言語モデル (LLM) が、職場のメンタルヘルスに関する知識を問われる試験課題においてどの程度のパフォーマンスを発揮するか検討することを目的とする。また、LLMに入力するプロンプトに工夫を加えることによって、LLMのパフォーマンスが向上するかどうかも検討する。研究では、代表的なLLMであるChatGPT (Generative Pretrained Transformer-4, GPT-4) を用い、試験課題として大阪商工会議所が主催するメンタルヘルス・マネジメント(R)検定試験を採用し、その得点を検討する。検討においては、試験問題をプロンプトとして入力する条件 (単純プロンプト条件) と、これまでにLLMのパフォーマンスを向上させることが確認されているテクニックを使用したプロンプトを入力する条件 (調整プロンプト条件) の2条件を用意し、4回分の試験課題の得点を比較する。

英語
The present study aims to examine the performance of large language models (LLMs) on an examination that requires knowledge of occupational mental health. In addition, the study investigates whether tuned prompts can improve LLM performance. The study adopts ChatGPT (Generative Pretrained Transformer-4, GPT-4) as the LLM, and adopts the Certification Test for Mental Health Management organized by the Osaka Chamber of Commerce and Industry as the examination. We set two prompt conditions as factorial design: simple texts of questions (simple prompt condition), and texts with techniques to get better results (tuned prompt condition). The scores of four sets of examinations are compared between these two conditions.

目的2/Basic objectives2

有効性/Efficacy

目的2 -その他詳細/Basic objectives -Others

日本語

英語

試験の性質1/Trial characteristics_1

探索的/Exploratory

試験の性質2/Trial characteristics_2

実務的/Pragmatic

試験のフェーズ/Developmental phase

該当せず/Not applicable

評価/Assessment

主要アウトカム評価項目/Primary outcomes

日本語
メンタルヘルス・マネジメント(R)検定試験における選択問題、および論述問題の得点

英語
Scores for multiple-choice and essay questions of the Certification Test for Mental Health Management

副次アウトカム評価項目/Key secondary outcomes

日本語

英語

基本事項/Base

試験の種類/Study type

介入/Interventional

試験デザイン/Study design

基本デザイン/Basic design

要因デザイン/Factorial

ランダム化/Randomization

非ランダム化/Non-randomized

ランダム化の単位/Randomization unit

ブラインド化/Blinding

介入実施者・測定者がブラインド化されている単盲検/Single blind -investigator(s) and assessor(s) are blinded

コントロール/Control

実薬・標準治療対照/Active

層別化/Stratification

動的割付/Dynamic allocation

試験実施施設の考慮/Institution consideration

ブロック化/Blocking

割付コードを知る方法/Concealment

介入/Intervention

群数/No. of arms

介入の目的/Purpose of intervention

教育・カウンセリング・トレーニング/Educational,Counseling,Training

日本語

英語

適格性/Eligibility

年齢（下限）/Age-lower limit

適用なし/Not applicable

年齢（上限）/Age-upper limit

適用なし/Not applicable

性別/Gender

男女両方/Male and Female

選択基準/Key inclusion criteria

日本語
2018年～2023年に実施された、大阪商工会議所メンタルヘルス・マネジメント(R)検定試験におけるI種試験、Ⅱ種試験、Ⅲ種試験の選択問題、およびI種試験における論述問題。
I種試験は第27回、29回、31回、および33回の4回分。Ⅱ種・Ⅲ種試験は第31回～34回の4回分。
選択問題は四者択一で、1回あたり50問。論述問題は採点委員による採点。

英語
Multiple-choice questions for the Type I, Type II, and Type III exams and essay questions for the Type I exam of the Certification Test for Mental Health Management, by the Osaka Chamber of Commerce and Industry, conducted from 2018 to 2023.
A total of four exams from each type will be included in the study: Type I exams from the 27th, 29th, 31st, and 33rd; Type II and Type III exams from the 31st to 34th. Each exam has 50 multiple-choice questions. A scoring committee grades essay questions.

除外基準/Key exclusion criteria

日本語
なし

英語
N/A

目標参加者数/Target sample size

204

責任研究者/Research contact person

責任研究者/Name of lead principal investigator

日本語

名憲人

ミドルネーム

姓川上

英語

名 Norito

ミドルネーム

姓 Kawakami

所属組織/Organization

日本語
東京大学大学院医学系研究科

英語
Graduate School of Medicine, The University of Tokyo

所属部署/Division name

日本語
社会連携講座デジタルメンタルヘルス講座

英語
Department of Digital Mental Health

郵便番号/Zip code

113-8655

住所/Address

日本語
東京都文京区本郷7-3-1

英語
7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8655, Japan

電話/TEL

+81-3-5800-9621

Email/Email

norito@m.u-tokyo.ac.jp

試験問い合わせ窓口/Public contact

試験問い合わせ窓口担当者/Name of contact person

日本語

名真子

ミドルネーム

姓飯田

英語

名 Mako

ミドルネーム

姓 Iida

組織名/Organization

日本語
東京大学大学院医学系研究科

英語
Graduate School of Medicine, The University of Tokyo

部署名/Division name

日本語
精神保健学分野

英語
Department of Mental Health

郵便番号/Zip code

113-8655

住所/Address

日本語
東京都文京区本郷7-3-1

英語
7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8655, Japan

電話/TEL

+81-3-5800-9621

試験のホームページURL/Homepage URL

Email/Email

idamako@m.u-tokyo.ac.jp

実施責任個人または組織/Sponsor or person

機関名/Institute

日本語
その他

英語
Department of Digital Mental Health, Graduate School of Medicine, The University of Tokyo

機関名/Institute
（機関選択不可の場合）

日本語
東京大学大学院医学系研究科社会連携講座デジタルメンタルヘルス講座

部署名/Department

日本語

個人名/Personal name

日本語

英語

研究費提供組織/Funding Source

機関名/Organization

日本語
その他

英語
Department of Digital Mental Health, Graduate School of Medicine, The University of Tokyo

機関名/Organization
（機関選択不可の場合）

日本語
東京大学大学院医学系研究科デジタルメンタルヘルス講座

組織名/Division

日本語

組織の区分/Category of Funding Organization

自己調達/Self funding

研究費拠出国/Nationality of Funding Organization

日本語

英語

その他の関連組織/Other related organizations

共同実施組織/Co-sponsor

日本語

英語

その他の研究費提供組織/Name of secondary funder(s)

日本語

英語

IRB等連絡先（公開）/IRB Contact (For public release)

組織名/Organization

日本語
東京大大学院医学系研究科・医学部倫理委員会

英語
Office for Human Research Studies(OHRS) Graduate School of Medicine and Faculty of Medicine, The University of Tokyo Faculty of Medicine

住所/Address

日本語
113-0033　東京都文京区本郷7-3-1

英語
7-3-1 Hongo, Bunkyo-ku, Tokyo 113-0033

電話/Tel

03-5841-0818

Email/Email

ethics@m.u-tokyo.ac.jp

他機関から発行された試験ID/Secondary IDs

いいえ/NO

試験ID1/Study ID_1

ID発行機関1/Org. issuing International ID_1

日本語

英語

試験ID2/Study ID_2

ID発行機関2/Org. issuing International ID_2

日本語

英語

治験届/IND to MHLW

試験実施施設/Institutions

試験実施施設名称/Institutions

その他の管理情報/Other administrative information

一般公開日（本登録希望日）/Date of disclosure of the study information

2024 年 02 月 09 日

結果/Result

結果掲載URL/URL related to results and publications

組み入れ参加者数/Number of participants that the trial has enrolled

主な結果/Results

日本語

英語

主な結果入力日/Results date posted

結果掲載遅延/Results Delayed

結果遅延理由/Results Delay Reason

日本語

日本語

英語

試験進捗状況/Progress

試験進捗状況/Recruitment status

主たる結果の公表済み/Main results already published

プロトコル確定日/Date of protocol fixation

2024 年 01 月 29 日

倫理委員会による承認日/Date of IRB

2024 年 01 月 29 日

登録・組入れ開始（予定）日/Anticipated trial start date

2024 年 01 月 29 日

フォロー終了(予定)日/Last follow-up date

2024 年 03 月 31 日

入力終了(予定)日/Date of closure to data entry

データ固定（予定）日/Date trial data considered complete

解析終了(予定)日/Date analysis concluded

その他/Other

その他関連情報/Other related information

日本語
生成系AIを用いた研究であり、人を対象としていないため、倫理審査は不要。
倫理委員会による承認日は仮の日付としてプロトコル確定日を入力した。

英語
Approval by the ethics committee is not required because this study will be conducted using generative AI.
I entered the date of protocol fixation as the date of the IRB.

管理情報/Management information

登録日時/Registered date

2024 年 02 月 09 日

最終更新日/Last modified on

2024 年 09 月 25 日

閲覧ページへのリンク/Link to view the page

日本語
https://center6.umin.ac.jp/cgi-open-bin/ctr/ctr_view.cgi?recptno=R000061116

英語
https://center6.umin.ac.jp/cgi-open-bin/ctr_e/ctr_view.cgi?recptno=R000061116

UMIN-CTR 臨床試験登録情報の閲覧

基本情報/Basic information

一般向け試験名/Public title

一般向け試験名略称/Acronym

科学的試験名/Scientific Title

科学的試験名略称/Scientific Title:Acronym

試験実施地域/Region

対象疾患/Condition

対象疾患名/Condition

疾患区分1/Classification by specialty

疾患区分2/Classification by malignancy

ゲノム情報の取扱い/Genomic information

目的/Objectives

目的1/Narrative objectives1

目的2/Basic objectives2

目的2 -その他詳細/Basic objectives -Others

試験の性質1/Trial characteristics_1

試験の性質2/Trial characteristics_2

試験のフェーズ/Developmental phase

評価/Assessment

主要アウトカム評価項目/Primary outcomes

副次アウトカム評価項目/Key secondary outcomes

基本事項/Base

試験の種類/Study type

試験デザイン/Study design

基本デザイン/Basic design

ランダム化/Randomization

ランダム化の単位/Randomization unit

ブラインド化/Blinding

コントロール/Control

層別化/Stratification

動的割付/Dynamic allocation

試験実施施設の考慮/Institution consideration

ブロック化/Blocking

割付コードを知る方法/Concealment

介入/Intervention

群数/No. of arms

介入の目的/Purpose of intervention

介入の種類/Type of intervention

介入1/Interventions/Control_1

介入2/Interventions/Control_2

介入3/Interventions/Control_3

介入4/Interventions/Control_4

介入5/Interventions/Control_5

介入6/Interventions/Control_6

介入7/Interventions/Control_7

介入8/Interventions/Control_8

介入9/Interventions/Control_9

介入10/Interventions/Control_10

適格性/Eligibility

年齢（下限）/Age-lower limit

年齢（上限）/Age-upper limit

性別/Gender

選択基準/Key inclusion criteria

除外基準/Key exclusion criteria

目標参加者数/Target sample size

責任研究者/Research contact person

責任研究者/Name of lead principal investigator

所属組織/Organization

所属部署/Division name

郵便番号/Zip code

住所/Address

電話/TEL

Email/Email

試験問い合わせ窓口/Public contact

試験問い合わせ窓口担当者/Name of contact person

組織名/Organization

部署名/Division name

郵便番号/Zip code

住所/Address

電話/TEL

試験のホームページURL/Homepage URL

Email/Email

実施責任個人または組織/Sponsor or person

機関名/Institute

機関名/Institute（機関選択不可の場合）

部署名/Department

個人名/Personal name

研究費提供組織/Funding Source

機関名/Organization

機関名/Institute
（機関選択不可の場合）

機関名/Organization
（機関選択不可の場合）