Pa mor gywir yw offer darganfod lleferydd casineb ar-lein?

Mae dosbarthwyr awtomataidd yn offer a ddefnyddir i ddarganfod cynnwys niweidiol, megis lleferydd casineb. Gellir defnyddio'r mesurau diogelwch hyn i leihau profiadau pobl o niwed ar-lein yn sylweddol. Mae ymchwilwyr hefyd yn defnyddio'r offer hyn i nodi sut mae newid i lwyfan (er enghraifft, pan fydd yn newid ei rheolau neu'n dileu cynnwys neu ddefnyddwyr penodol) yn effeithio ar amlder lleferydd casineb.

Fodd bynnag, yn ôl dadansoddiad gan Ofcom a gyhoeddwyd heddiw, mae'n bwysig i ymchwilwyr nodi pa ddosbarthwyr y maent wedi'u defnyddio a sut y maent wedi perfformio. Mae hyn oherwydd y gall perfformiad dosbarthwyr amrywio'n sylweddol. Er enghraifft, gall dosbarthwyr a ddefnyddir yn eang berfformio'n wael mewn perthynas â rhai setiau data.

Mae Ofcom wedi dadansoddi perfformiad dau ddosbarthwr lleferydd casineb: Perspective API – y dosbarthwr ‘oddi ar y silff’ a ddefnyddir amlaf – a HateXplain, a hyfforddwyd ar ddata tebyg i’r set ddata prawf a ddefnyddiwyd ar gyfer yr asesiad hwn. Y diben oedd archwilio sut mae'r dosbarthwyr gwahanol hyn yn perfformio ac, wedyn, y goblygiadau ar gyfer ymchwil ar effeithiolrwydd y mathau hyn o fesurau diogelwch.

Gwnaethom weld i Perspective API nodi 13% o’r holl leferydd casineb yn set ddata’r prawf, o gymharu â 78% gyda HateXplain. Mae hyn yn amlygu bod cywirdeb yn gwella'n sylweddol wrth ddefnyddio dosbarthwr a hyfforddwyd ar set ddata o'r un llwyfan a sylfaen defnyddwyr.

Gwelsom hefyd fod perfformiad y dosbarthwyr yn amrywio gan ddibynnu ar darged y lleferydd casineb. Mae nifer y gwallau a wnaed gan y dosbarthwr Perspective API wrth nodi lleferydd casineb a dargedwyd at rai grwpiau ethnig, yn y set ddata a ddefnyddiwyd gennym, yn golygu nad yw'n well na dyfalu ar hap.

Mae’r canlyniadau’n awgrymu, mewn perthynas â setiau data penodol ac o gymharu â dosbarthwyr sydd wedi’u datblygu gan ddefnyddio setiau data tebyg, y gallai Perspective API wneud gwallau tueddol wrth ragfynegi lleferydd casineb wedi’i dargedu at rai nodweddion gwarchodedig. Fe wnaethom ddefnyddio Perspective API oherwydd ei fod ar gael yn hawdd ac yn cael ei ddefnyddio'n eang. Nid pwrpas ein dadansoddiad yw dweud bod Perspective API yn gyffredinol yn ddosbarthwr sy'n perfformio'n wael. Yn hytrach, y gall weithiau berfformio'n wael, neu'n wael o'i gymharu â dosbarthwyr awtomataidd eraill.

Yn seiliedig ar y dadansoddiad hwn, credwn ei bod yn bwysig, pan fydd ymchwilwyr yn defnyddio dosbarthwyr lleferydd casineb i nodi amlder lleferydd casineb, eu bod hefyd yn adrodd pa mor dda y gwnaeth y dosbarthwr berfformio a sut mae'n perfformio o'i gymharu â dosbarthwyr eraill sydd ar gael. Fel arall, efallai na fydd y canlyniadau a gyflwynir ganddynt yn gadarn.

Er mwyn gweithredu deddfau diogelwch ar-lein y DU, rhaid i Ofcom gynhyrchu Codau Ymarfer a Chanllawiau sy'n nodi mesurau diogelwch y gall gwasanaethau ar-lein eu mabwysiadu i amddiffyn eu defnyddwyr a chydymffurfio â'u dyletswyddau newydd.

Mae astudiaeth heddiw yn rhan o raglen ymchwil sylweddol i lywio ein dull rheoleiddio. Byddwn yn diweddaru ein Codau dros amser wrth i’n sylfaen dystiolaeth wella ac wrth i dechnoleg a niwed ddatblygu.