Hoe lang duurt het nog voordat je IT Beheer toegang tot ChatGPT gaat blokkeren? En je dus geen toegang meer hebt tot die geweldige AI-functies? Wij denken niet lang want organisaties worden zich steeds meer bewust van de kwetsbaarheden rondom ChatGPT en de zogenoemde Large Language Models (LLMs).
In een onlangs verschenen onderzoek werd aangetoond dat medewerkers op grote schaal AI-functies gebruiken zonder dat hoger management hiervan op de hoogte is. Bovendien is men zich onvoldoende bewust van de gevaren. Dit brengt grote veiligheidsrisico’s met zich mee.
Maar hoe kan men die geweldige AI functionaliteit dan wel op een veilige manier toepassen, bijvoorbeeld voor het verlagen van de druk op de zorg? Het AI-platform PAItello is daarvoor de oplossing. PAItello wordt getraind op de actuele en gevalideerde kennisbronnen binnen de organisatie en ook alleen toegepast op het netwerk van de organisatie. Externe webpagina’s kunnen natuurlijk ook kennisbronnen zijn maar dan wel gevalideerd. Informatie van daarbuiten heeft het AI-platform niet.
Op deze manier kan een in-company AI-platform worden gerealiseerd dat op een veilige manier door iedere medewerker kan worden gebruikt en daarmee hun productiviteit een boost kan geven.
Kwetsbaarheden van LLMs:
Promptinjecties
Zorgvuldig gemaakte prompts stellen mensen in staat filters te omzeilen en het LLM te manipuleren om instructies te negeren of onbedoelde acties uit te voeren. De gevolgen van een dergelijke kwetsbaarheid zijn onder andere het lekken van gegevens, beveiligingsinbreuken en ongeautoriseerde toegang.
Deze kwetsbaarheid wordt benaderd door het manipuleren van prompts om gevoelige informatie te onthullen, het gebruik van specifieke taalpatronen om beveiligingsbeperkingen te omzeilen, en het misleiden van het LLM om onbedoelde acties uit te voeren.
Bijvoorbeeld, een aanvaller kan een prompt creëren die een LLM misleidt, resulterend in toegang tot gevoelige informatie zoals gebruikersreferenties, systeem- of toepassingsgegevens, en meer.
Gegevenslekken
Deze kwetsbaarheid resulteert in het per ongeluk onthullen van gevoelige gegevens, zoals gepatenteerde plannen, algoritmes of andere vertrouwelijke informatie zoals gebruikersnamen en wachtwoorden, via de reacties van het LLM.
Dit leidt meestal tot ongeautoriseerde toegang, schending van de privacy en andere vormen van beveiligingsinbreuken die de intellectuele eigendom kunnen beïnvloeden.
Veelvoorkomende kwetsbaarheden in deze categorie zijn onder andere onvolledige of onjuiste filtering van gevoelige gegevens in de reactie van het LLM, het memoriseren van gevoelige gegevens in het leerproces van het LLM, en tot slot onbedoelde openbaarmaking van privégegevens als gevolg van fouten.
Voorbeelden van deze categorie aanvallen zijn onder andere dat het LLM gevoelige informatie onthult als reactie op een vraag van een gebruiker, of wanneer het LLM door gebrek aan juiste uitvoerfilters reacties creëert die vertrouwelijke gegevens bevatten.
Onvoldoende sandboxing
Kwetsbaarheden binnen deze categorie ontstaan wanneer er onvoldoende maatregelen zijn genomen om het grote taalmodel op de juiste manier te isoleren van de toegang tot externe bronnen of vertrouwelijke systemen, waardoor de kans op misbruik en ongeautoriseerde toegang wordt vergroot.
Veelvoorkomende kwetsbaarheden bij onvoldoende sandboxing zijn onder andere onvoldoende scheiding en te veel interactie tussen het LLM en de gevoelige bronnen, en tot slot het niet beperken van de functionaliteit van het LLM, waardoor interacties met andere processen mogelijk zijn.
Voorbeelden van een kwetsbaarheid in sandboxing zouden zijn het creëren van een prompt die bedoeld is om het LLM te misleiden en gevoelige informatie te onthullen, of het uitvoeren van ongeautoriseerde opdrachten.
Ongeautoriseerde uitvoering van code
Ongeautoriseerde code-uitvoering verwijst naar het misbruik van LLMs met kwaadaardige commando's en codes via natuurlijke taalprompts die gericht zijn op het onderliggende systeem.
Veelvoorkomende kwetsbaarheden in deze categorie zijn onder andere het niet beperken van gebruikersinvoer, waardoor prompts succesvol zijn in het uitvoeren van ongeautoriseerde code, onvoldoende beperkingen die leiden tot ongewenste interacties met het LLM, en onbedoelde blootstelling van onderliggende systemen aan LLMs.
Een voorbeeld van een dergelijke aanval is wanneer een LLM ongewenste en onopgemerkte interacties heeft met systeem-API's, waardoor ongeautoriseerde opdrachtafhandelingen worden uitgevoerd via het LLM.
SSRF-kwetsbaarheden
Server-Side Request Forgery (SSRF)-kwetsbaarheden ontstaan door het misbruik van LLMs om onbedoelde taken uit te voeren en toegang te krijgen tot beperkte bronnen zoals API's of gegevensopslag.
Belangrijke kwetsbaarheden in deze categorie zijn onder andere onvoldoende validatie van invoer, ontoereikende beperkingen van bronnen en netwerkconfiguratiefouten. Deze kwetsbaarheden kunnen ertoe leiden dat het LLM ongeautoriseerde prompts initieert, interageert met interne services en interne bronnen blootstelt aan het LLM.
Enkele voorbeelden van SSRF-kwetsbaarheden zijn het creëren van een prompt die het LLM verzoekt om een intern verzoek te doen naar een service, waarbij eventuele bestaande toegangscontroles worden omzeild om toegang te krijgen tot gevoelige informatie.
Overmatige afhankelijkheid van LLM-inhoud
Dit type kwetsbaarheid ontstaat door een te grote afhankelijkheid van LLM-gegenereerde inhoud zonder menselijk inzicht, wat schadelijke gevolgen kan hebben. Het kan leiden tot de verspreiding van onjuiste of misleidende informatie en afname van menselijke besluitvorming en kritisch denken.
Deze kwetsbaarheden ontstaan wanneer organisaties en gebruikers vertrouwen op de output van het LLM zonder enige verificatie, wat kan leiden tot fouten en miscommunicatie.
Veelvoorkomende problemen die voortkomen uit overmatige afhankelijkheid van het LLM zijn onder andere het accepteren van door het LLM gegenereerde inhoud als feitelijk, vrij van vooringenomenheid en goed voor kritisch denken, zonder de geloofwaardigheid ervan te verifiëren met menselijk inzicht.
Voorbeelden hiervan zijn het genereren van nieuwsinhoud met behulp van AI of LLM over een breed scala aan onderwerpen, waardoor desinformatie wordt voortgezet.
Onvoldoende AI-afstemming
Dergelijke kwetsbaarheden ontstaan wanneer er een gebrek is aan afstemming tussen de doelstellingen en het gedrag van het LLM met het beoogde gebruik ervan. Een kwetsbaarheid zoals deze kan leiden tot onvoorziene gevolgen met schadelijk gedrag als gevolg.
Veelvoorkomende problemen met AI-afstemming zijn onder andere slecht gedefinieerde doelstellingen van het LLM, onjuist afgestemd trainingsmateriaal en onvoldoende testen. Dergelijke problemen resulteren in onbedoeld gedrag van het model, wat kan leiden tot de verspreiding van misinformatie.
Een voorbeeld van zo'n probleem zou zijn als een LLM bedoeld om te helpen bij systeembeheer verkeerd is afgestemd, waardoor schadelijke commando's worden uitgevoerd die de prestaties of beveiliging van het systeem beïnvloeden.
Onvoldoende toegangscontroles
Deze reeks problemen ontstaat door onjuiste implementatie van toegangscontroles of authenticatie, waardoor niet-geverifieerde gebruikers toegang krijgen tot het LLM en kwetsbaarheden kunnen misbruiken.
Belangrijke problemen die voortvloeien uit onvoldoende toegangscontroles zijn onder andere het niet afdwingen van strikte authenticatievereisten, ontoereikende rol gebaseerde toegangscontrole (RBAC) en het niet bieden van juiste toegangscontroles.
Het ontbreken van adequate RBAC zou bijvoorbeeld resulteren in gebruikers met veel meer toegang tot bronnen en acties dan hun bedoelde machtigingen.
Onjuiste foutafhandeling
Deze kwetsbaarheid resulteert in het blootleggen van foutmeldingen of debug-informatie, waardoor gevoelige gegevens, applicatiedetails of zelfs potentiële aanvalsvectoren worden onthuld.
Veelvoorkomende problemen zijn onder andere het blootstellen van gevoelige informatie via foutmeldingen, het lekken van debug-informatie en het niet adequaat afhandelen van foutmeldingen. Dergelijke kwetsbaarheden kunnen ertoe leiden dat het systeem onregelmatig gedraagt ​​of zelfs crasht.
Een voorbeeld van een aanval waarbij foutmeldingen worden gebruikt om gevoelige gegevens te verzamelen die kunnen worden gebruikt voor een gerichte aanval, is een typisch voorbeeld van onjuiste foutafhandeling.
Gegevensvergiftiging
Dit type kwetsbaarheid begint al in de leermodule van het LLM, waar kwaadaardig gemanipuleerde gegevens worden gebruikt om kwetsbaarheden of zelfs achterdeurtjes binnen het LLM te introduceren.
Dit kan de beveiliging, effectiviteit en ethisch gedrag van het model compromitteren. Veelvoorkomende problemen zijn onder andere het introduceren van achterdeurtjes of kwetsbaarheden in het LLM, het injecteren van vooringenomenheid en het misbruik van het fine-tuning-proces.
Dergelijke gegevensvergiftiging resulteert in gemanipuleerde trainingsgegevens die bevooroordeeld kunnen zijn of ongepaste reacties kunnen genereren. Dit kan leiden tot een gebrek aan betrouwbaarheid en ethische problemen in het LLM.
Lees hier het onderzoek:
Comments