Uit onderzoek blijkt dat artsen niet-goedgekeurde AI-software gebruiken om patiëntgesprekken op te nemen

Volgens een onderzoek van Sky News gebruiken artsen AI-software die niet voldoet aan de minimumeisen om patiëntgesprekken op te nemen en te transcriberen.

Directeuren van de NHS eisen dat huisartsen en ziekenhuizen stoppen met het gebruik van software voor kunstmatige intelligentie. Deze software zou de regels voor gegevensbescherming kunnen schenden en patiënten in gevaar kunnen brengen.

NHS England waarschuwde deze maand voor een waarschuwing slechts enkele weken nadat dezelfde instantie aan artsen had geschreven over de voordelen van het gebruik van AI voor het maken van aantekeningen. Hierdoor krijgen ze meer tijd om zich te concentreren op hun patiënten. Hiervoor wordt gebruikgemaakt van software die bekendstaat als Ambient Voice Technology, of "AVT".

Minister van Volksgezondheid Wes Streeting zal volgende week AI centraal stellen in het hervormingsplan om de NHS te redden in het tienjarenplan voor de gezondheidszorg in Engeland.

Er is echter steeds meer controverse rondom software die patiëntgesprekken opneemt, transcribeert en samenvat met behulp van AI.

In april schreef NHS England een brief aan artsen om de voordelen van AVT te promoten en om nationale minimumnormen op te stellen.

In een brief die Sky News heeft ingezien, schreven NHS-managers echter een waarschuwing aan artsen dat niet-goedgekeurde software die de minimumnormen overtreedt, schadelijk kan zijn voor patiënten.

In de brief van 9 juni van de nationale Chief Clinical Information Officer van NHS England stond: "We zijn nu op de hoogte van een aantal AVT-oplossingen die, ondanks dat ze niet-conform zijn ... nog steeds op grote schaal worden gebruikt in de klinische praktijk.

"Diverse AVT-leveranciers benaderen NHS-organisaties ... veel van deze leveranciers voldoen niet aan de basisnormen voor NHS-bestuur.

Doorgaan met niet-conforme oplossingen brengt risico's met zich mee voor de klinische veiligheid, inbreuken op de gegevensbescherming, financiële risico's en fragmentatie van de bredere digitale strategie van de NHS.

Sky News heeft eerder al gewezen op het gevaar van AI-"hallucinaties" , waarbij de technologie antwoorden verzint en er vervolgens over liegt. Dat kan in de gezondheidszorg gevaarlijk zijn.

NHS England stelt minimumnormen vast, maar vertelt NHS-trusts en zorgaanbieders niet welke softwareleveranciers zij moeten gebruiken.

Sky News kan nu onthullen dat er steeds meer druk is op NHS England en vergelijkbare organisaties om proactiever te zijn.

Dr. David Wrigley, vicevoorzitter van de huisartsencommissie van de British Medical Association, zei: "Ongetwijfeld hebben ik en mijn 35.000 collega's hier verantwoordelijkheden, maar in een markt die zich zo snel ontwikkelt, hebben we niet de technische kennis om dit te onderzoeken.

"We hebben die hulp en steun nodig van mensen die kunnen controleren of de producten veilig zijn, of ze veilig zijn en geschikt zijn voor gebruik in de spreekkamer. NHS England zou dat moeten doen en ons daarbij moeten helpen en ondersteunen."

Dr. Wrigley vervolgde: "Wij zijn absoluut vóór technologie en willen dat graag verder ontwikkelen om NHS-patiënten te helpen en mijn collega's in hun operatiekamers te helpen.

"Maar het moet op een veilige manier gebeuren, want anders kan er een vrij spel ontstaan ​​en dan kunnen er gegevens verloren gaan en uitlekken. Dat is gewoon niet acceptabel.

"We zijn geen dinosaurussen, we zijn erg voor AI, maar het moet wel op een veilige manier gebeuren."

Het spook van tientallen onbekende maar ambitieuze AI-bedrijven die bij ziekenhuizen en klinieken lobbyen om hun luisterproducten geïnstalleerd te krijgen, baart sommige professionals in de gezondheidszorg zorgen.

Er valt gigantisch veel winst te behalen in deze technologische wapenwedloop, maar de vraag is of honderden verschillende NHS-organisaties er echt in zullen slagen de haaien eruit te pikken.

Matthew Taylor, algemeen directeur van de NHS Confederation, zei dat de brief "een heel belangrijk moment" was.

Hij zei dat het goed was dat de NHS experimenteerde, maar dat duidelijker moest worden welke technologie wel en niet veilig is.

"Ik ben van mening dat de overheid moet helpen bij de inkoopbeslissingen die trusts nemen en moet adviseren over welke AI-systemen veilig zijn, net zoals we dat doen met andere technologieën die we in de geneeskunde gebruiken", aldus de heer Taylor.

"We hebben [de overheid] nodig om meer te doen om de NHS te begeleiden bij de beste manier om hier gebruik van te maken."

Op de vraag of dit op de korte termijn echt gevaarlijk zou kunnen zijn, antwoordde Taylor: "Wat je hebt gezien met omgevingsspraaktechnologie is dat die aanpak van 'laat duizend bloemen bloeien' zijn beperkingen heeft."

Eerder dit jaar leek de minister van Volksgezondheid te suggereren dat er niet-goedgekeurde technologie werd gebruikt. Hij vierde dit echter als een teken dat artsen enthousiast waren over verandering.

De heer Streeting zei: "Ik heb via anekdotes in de kroeg, echt in de kroeg, gehoord dat sommige clinici hun voorsprong hebben en al gebruikmaken van AI om aantekeningen te maken en dergelijke, ook als hun praktijk of zorginstelling daar nog niet mee is begonnen.

"Er zijn daar veel problemen - het moedigt het niet aan - maar het zegt me wel dat, in tegenstelling tot wat ik hier zeg: 'O, mensen willen niet veranderen, het personeel is heel tevreden en ze staan ​​echt afwijzend tegenover verandering', het tegenovergestelde het geval is. Mensen schreeuwen om dit soort dingen."

Lees meer op Sky News: Nationaal onderzoek gestart naar kraamzorg Elke baby in het Verenigd Koninkrijk krijgt DNA-test

Artsen die AI inzetten die voldoet aan landelijke normen, geven aan dat er grote voordelen zijn.

Anil Mehta, een arts uit het kiesdistrict Ilford van de minister van Volksgezondheid, vertelde aan Sky News dat hij het streven van zijn parlementslid naar meer AI-technologie in de gezondheidszorg steunde.

"Ik ben 30% van mijn week bezig met papierwerk," zei hij. "Dus ik denk dat patiënten enorm gerustgesteld zijn als ik al die aspecten van ons werk heb uitgelegd. En ik ben nog nooit iemand tegengekomen die niet wilde dat ik dit deed."

Hij voegde toe: "(Ik) vind dat een consult met uw arts uiterst vertrouwelijk is, dus dat verandert helemaal niet.

"Dat blijft vertrouwelijk. Of het nu gaat om een ​​kwetsbare volwassene, een kwetsbaar kind, een tiener of een jong kind met een ouder, ik denk dat de vertrouwelijkheid altijd gewaarborgd blijft."

Een woordvoerder van de NHS zei: "Ambient Voice Technology heeft de potentie om de zorg te transformeren en de efficiëntie te verbeteren. In april heeft de NHS richtlijnen uitgegeven om het gebruik ervan op een veilige en beveiligde manier te ondersteunen.

We werken samen met NHS-organisaties en leveranciers om ervoor te zorgen dat alle Ambient Voice Technology-producten die in de gezondheidszorg worden gebruikt, blijven voldoen aan de NHS-normen op het gebied van klinische veiligheid en gegevensbeveiliging.