Mae astudiaeth newydd, a gyhoeddwyd yn Nature Medicine, gan sefydliad rhyngrwyd Rhydychen (Oxford Internet Institute) ac adran gwyddorau iechyd gofal cychwynnol Nuffield (Nuffield Department of Primary Care Health Sciences) ym Mhrifysgol Rhydychen, a gynhaliwyd mewn partneriaeth ag MLCommons, Ysgol Meddygol Gogledd Cymru ym Mrhifysgol Bangor a sefydliadau eraill, yn datgelu bwlch mawr rhwng addewid modelau iaith mawr a'u defnyddioldeb i bobl sy'n ceisio cyngor meddygol. Er bod y modelau hyn bellach yn rhagori mewn profion safonol o wybodaeth feddygol, maent yn peri risgiau i ddefnyddwyr go iawn sy'n ceisio cymorth mewn perthynas â’u symptomau meddygol eu hunain.
Y Canfyddiadau Allweddol:
- Dim gwell na dulliau traddodiadol
Defnyddiodd y cyfranogwyr fodelau iaith mawr i nodi, ymchwilio i gyflyrau iechyd a phenderfynu ar gamau gweithredu priodol, megis gweld meddyg teulu neu fynd i'r ysbyty, yn seiliedig ar wybodaeth a ddarparwyd mewn cyfres o senarios meddygol penodol a ddatblygwyd gan feddygon. Nid oedd yr unigolion a oedd yn defnyddio modelau iaith mawr wedi gwneud gwell penderfyniadau na chyfranogwyr a oedd yn dibynnu ar ddulliau traddodiadol megis chwiliadau ar-lein neu eu barn eu hunain.
- Diffyg cyfathrebu
Datgelodd yr astudiaeth ddiffyg cyfathrebu dwyffordd. Yn aml, nid oedd cyfranogwyr yn gwybod pa wybodaeth oedd ei hangen ar y modelau iaith mawr i gynnig y cyngor cywir, ac roedd yr ymatebion a gawsant yn aml yn cyfuno argymhellion da a gwael,
gan ei gwneud hi'n anodd nodi'r camau gweithredu gorau.
- Profion presennol yn methu
Nid yw dulliau gwerthuso cyfredol modelau iaith mawr yn adlewyrchu cymhlethdod rhyngweithio â defnyddwyr dynol. Yn yr un modd â threialon clinigol o ran meddyginiaethau newydd, dylid profi systemau modelau iaith mawr yn y byd go iawn cyn eu defnyddio.
“Mae’r canfyddiadau hyn yn tynnu sylw at yr anhawster sy’n codi wrth geisio adeiladu systemau deallusrwydd artiffisial a all gefnogi pobl mewn meysydd sensitif a pheryglus, megis iechyd,” meddai Dr Rebecca Payne, meddyg teulu, prif ymarferydd meddygol yr astudiaeth, ac Uwch Ddarlithydd Clinigol ym Mrhrifysgol Bangor ac Ysgolhaig Doethurol Clarendon-Reuben, adran gwyddorau iechyd gofal cychwynnol Nuffield. “Er gwaethaf yr holl sôn, nid yw deallusrwydd artiffisial yn barod i ymgymryd â rôl meddyg. Mae angen i gleifion fod yn ymwybodol y gall gofyn am gyngor ynghylch eu symptomau gan fodel iaith mawr fod yn beryglus, gan roi diagnosau anghywir a methu â chydnabod pryd mae angen cymorth brys.”
Defnyddwyr go iawn, heriau go iawn
Yn yr astudiaeth, cynhaliodd ymchwilwyr dreial ar hap a oedd yn cynnwys bron i 1,300 o gyfranogwyr ar-lein. Gofynnwyd iddynt nodi cyflyrau iechyd posibl ac argymell camau gweithredu, yn seiliedig ar senarios meddygol personol. Roedd y senarios manwl, a ddatblygwyd gan feddygon, yn amrywio o ddyn ifanc yn datblygu cur pen difrifol ar ôl noson allan gyda ffrindiau er enghraifft, i fam newydd yn teimlo'n gyson allan o anadl ac wedi blino'n lân.
Defnyddiodd un grŵp fodel iaith mawr i’w cynorthwyo i wneud penderfyniadau, tra bod grŵp rheoli wedi defnyddio ffynonellau gwybodaeth traddodiadol eraill. Yna, aeth yr ymchwilwyr ati i werthuso pa mor gywir y nododd y cyfranogwyr y problemau meddygol tebygol a'r cam nesaf mwyaf priodol, megis ymweld â meddyg teulu neu fynd i adran damweiniau ac achosion brys. Fe wnaethant hefyd gymharu'r canlyniadau hyn â chanlyniadau strategaethau profi modelau iaith mawr safonol, nad ydynt yn cynnwys defnyddwyr dynol go iawn. Roedd y cyferbyniad yn hynod; roedd modelau a berfformiodd yn dda mewn profion meincnod yn methu wrth ryngweithio â phobl.
Fe wnaethant ddod o hyd i dystiolaeth o dri math o her:
- Yn aml, nid oedd defnyddwyr yn gwybod pa wybodaeth y dylent ei darparu i'r model iaith mawr.
- Rhoddodd y modelau iaith mawr atebion gwahanol iawn yn seiliedig ar amrywiadau bach yn y cwestiynau a ofynnwyd.
- Yn aml, roedd modelau iaith mawr yn darparu cymysgedd o wybodaeth dda a drwg yr oedd defnyddwyr yn ei chael hi'n anodd gwahaniaethu rhyngddynt.
“Mae dylunio profion cadarn ar gyfer modelau iaith mawr yn allweddol i ddeall sut y gallwn wneud defnydd o’r dechnoleg newydd hon,” meddai’r prif awdur Andrew Bean, ymchwilydd doethurol yn sefydliad rhyngrwyd Rhydychen.
“Yn yr astudiaeth hon, rydym yn dangos bod rhyngweithio â bodau dynol yn her, hyd yn oed i’r modelau iaith mawr gorau. Gobeithiwn y bydd y gwaith hwn yn cyfrannu at ddatblygiad systemau deallusrwydd artiffisial sy’n fwy diogel a defnyddiol.”