SÉNAT DE BELGIQUE BELGISCHE SENAAT
________________
Session 2020-2021 Zitting 2020-2021
________________
17 décembre 2020 17 december 2020
________________
Question écrite n° 7-915 Schriftelijke vraag nr. 7-915

de Rik Daems (Open Vld)

van Rik Daems (Open Vld)

au vice-premier ministre et ministre de la Justice, chargé de la Mer du Nord

aan de vice-eersteminister en minister van Justitie, belast met Noordzee
________________
Intelligence artificielle - Systèmes de police et de justice pénale - Utilisation - Principes éthiques fondamentaux - Pratiques dans d'autres pays européens Kunstmatige intelligentie - Politie- en strafrechtsystemen - Gebruik - Ethische kernbeginselen - Praktijken in andere Europese landen 
________________
intelligence artificielle
police
éthique
application de l'informatique
protection des données
protection de la vie privée
sécurité des systèmes d'information
kunstmatige intelligentie
politie
ethiek
toepassing van informatica
gegevensbescherming
eerbiediging van het privé-leven
informatiebeveiliging
________ ________
17/12/2020Verzending vraag
(Einde van de antwoordtermijn: 21/1/2021)
26/1/2021Antwoord
17/12/2020Verzending vraag
(Einde van de antwoordtermijn: 21/1/2021)
26/1/2021Antwoord
________ ________
Aussi posée à : question écrite 7-916 Aussi posée à : question écrite 7-916
________ ________
Question n° 7-915 du 17 décembre 2020 : (Question posée en néerlandais) Vraag nr. 7-915 d.d. 17 december 2020 : (Vraag gesteld in het Nederlands)

L'intelligence artificielle est devenue un facteur déterminant pour l'avenir de l'humanité car elle ne cesse de transformer profondément la vie des individus et influence les collectivités humaines.

L'intelligence artificielle (IA) crée autant d'opportunités que de défis. Elle constitue l'un des grands défis technologiques de ce siècle. Si elle offre des possibilités considérables à la société et à l'individu, elle influence également les normes que protège le Conseil de l'Europe : les droits de l'homme, la démocratie et l'État de droit. Il est dès lors capital de trouver le juste équilibre entre la limitation des risques inhérents à l'intelligence artificielle et l'exploitation maximale des avantages que celle-ci peut offrir pour améliorer la vie de tout un chacun (voir le rapport du Conseil de l'Europe à ce sujet :

https://pace.coe.int/fr/files/28723/html)

L'utilisation d'applications de l'intelligence artificielle dans les systèmes de police et de justice pénale présente des risques particuliers pour les droits humains. Cela s'explique surtout par l'importance des décisions qui peuvent être prises au moyen d'algorithmes : des décisions relatives à la surveillance, aux perquisitions et à la saisie, à l'arrestation, à la détention, à la condamnation, à la libération sous caution ou libération conditionnelle, etc.

Les principes éthiques revêtent eux aussi une importance primordiale dans l'utilisation de l'intelligence artificielle. L'utilisation de l'IA dans les systèmes de police et de justice pénale risque d'être à de nombreux égards incompatible avec les principes éthiques fondamentaux. Si l'utilisation de l'IA dans les systèmes de police et de justice pénale présente des avantages importants lorsqu'elle est correctement réglementée, elle peut avoir une incidence particulièrement grave sur les droits de l'homme dans le cas contraire.

Les systèmes d'IA peuvent être fournis par des entreprises privées, qui peuvent invoquer leurs droits de propriété intellectuelle pour refuser l'accès au code source. Ces entreprises peuvent même acquérir la propriété des données traitées par le système, au détriment de l'institution publique qui fait appel à leurs services.

Les systèmes d'IA sont formés à partir d'énormes quantités de données, qui peuvent être entachées de préjugés de longue date, notamment par une corrélation indirecte entre certaines variables prédictives et des pratiques discriminatoires (comme l'utilisation du code postal pour identifier une communauté ethnique traditionnellement soumise à un traitement discriminatoire).

Les exemples de principes éthiques fondamentaux pouvant être mis à mal sont infinis. Il est donc crucial que l'introduction de systèmes d'intelligence artificielle soit correctement réglementée.

Nous trouvons dans d'autres pays européens des exemples d'utilisation d'applications de l'intelligence artificielle. Ces applications englobent notamment la reconnaissance faciale, la police prédictive, l'identification de victimes potentielles d'actes criminels, l'évaluation des risques en matière de détention provisoire, de peine prononcée et de libération conditionnelle, ou encore l'identification d'affaires non résolues qui pourraient l'être aujourd'hui grâce aux technologies modernes de criminalistique.

En ce qui concerne le caractère transversal de la question : il s'agit d'une matière transversale partagée avec les Communautés puisque l'intelligence artificielle concerne la justice qui est une compétence des entités fédérées. En outre, les actions à développer afin de relever les défis de la numérisation des services et missions publics constituent une compétence partagée entre l'autorité fédérale et les entités fédérées, notamment en raison de la question du respect de la vie privée et de la sécurité.

Je souhaiterais dès lors obtenir une réponse aux questions suivantes.

1) Quel est votre point de vue sur l'utilisation de l'intelligence artificielle dans le système de police et de justice pénale belge ?

2) L'intelligence artificielle est-elle utilisée dans le système de police et de justice pénale belge ? Dans l'affirmative, de quelle manière ? Quelles fonctions remplit-elle ?

3) Envisagez-vous de recourir (davantage) aux systèmes d'intelligence artificielle ? Dans l'affirmative, pour quelle raison et pour quelles fonctions ? Dans la négative, pour quelle raison ?

4) Comment veillez-vous à ce que ces systèmes d'intelligence artificielle soient conformes aux principes éthiques fondamentaux, à savoir la transparence, la justice et l'équité (y compris la non-discrimination), la prise de décision par une personne, qui en est responsable, la sûreté et la sécurité, le respect de la vie privée et la protection des données ?

5) Étudierez-vous les pratiques d'autres pays européens en matière d'intelligence artificielle pour voir si celles-ci peuvent éventuellement être adoptées en Belgique ?

 

Kunstmatige intelligentie is een bepalende factor geworden voor de toekomst van de mensheid, omdat het individuele levens wezenlijk blijft transformeren en invloed heeft op menselijke gemeenschappen.

Kunstmatige intelligentie brengt zowel kansen als uitdagingen met zich mee. Kunstmatige intelligentie («artificial intelligence» – AI) is een van de grote technologische uitdagingen van onze eeuw. Hoewel het aanzienlijke mogelijkheden biedt voor de samenleving en het individu, is het ook van invloed op de normen die door de Raad van Europa worden beschermd: mensenrechten, democratie en de rechtsstaat. Het is daarom van het grootste belang om de juiste balans te vinden tussen het beperken van de risico's en het volledig benutten van de voordelen die kunstmatige intelligentie kan bieden bij het bevorderen van een beter leven voor iedereen (zie het rapport van de Raad van Europa hierover: https://pace.coe.int/pdf/1a89c0686632daa7d41ccf3543316097a9b747793326667a8259ffe25682ae848428feba12/doc.%2015156.pdf).

Het gebruik van kunstmatige intelligentie-instrumenten in politie- en strafrechtsystemen brengt bijzondere risico's voor de mensenrechten met zich mee. Dit is vooral vanwege het belang van de besluiten die op basis van algoritmische output kunnen worden genomen - besluiten over bewaking, huiszoeking en inbeslagneming, arrestatie, detentie, veroordeling, vrijlating op borgtocht of voorwaardelijke vrijlating, enz.

Ook de ethische beginselen staan centraal bij het gebruik van kunstmatige intelligentie. Er zijn veel manieren waarop het gebruik van AI in politie- en strafrechtsystemen in strijd kan zijn met die ethische kernbeginselen. Hoewel het gebruik van AI in politie- en strafrechtsystemen aanzienlijke voordelen kan hebben als het goed wordt gereguleerd, dreigt het bijzonder ernstige gevolgen te hebben voor de mensenrechten als dat niet het geval is.

Zo kunnen AI-systemen worden geleverd door particuliere bedrijven, die zich kunnen beroepen op hun intellectuele-eigendomsrechten om de toegang tot de broncode te ontzeggen. Het bedrijf kan zelfs eigenaar worden van de gegevens die door het systeem worden verwerkt, ten nadele van het overheidsorgaan dat gebruik maakt van zijn diensten.

AI-systemen worden getraind op massale datasets, die kunnen worden aangetast door historische bias, onder meer door indirecte correlatie tussen bepaalde voorspellende variabelen en discriminerende praktijken (zoals postcode die een proxy-identificatie is voor een etnische gemeenschap die historisch gezien een discriminerende behandeling ondergaat). De voorbeelden van ethische kernbeginselen die kunnen aangetast worden, zijn eindeloos. Een goede regulering bij het invoeren van kunstmatige intelligentiesystemen is cruciaal.

Voorbeelden van hoe kunstmatige intelligentie wordt gebruikt, vinden we terug in andere Europese landen. Het gaat dan onder meer om gezichtsherkenning, voorspellende politiediensten, de identificatie van potentiële slachtoffers van misdrijven, risicobeoordeling bij de besluitvorming over voorlopige hechtenis, veroordeling en voorwaardelijke vrijlating, en de identificatie van «cold cases» die nu met behulp van moderne forensische technologie zouden kunnen worden opgelost.

Wat betreft het transversale karakter van de vraag: het betreft een transversale aangelegenheid met de Gemeenschappen daar kunstmatige intelligentie betrekking heeft op justitie, een deelstaatbevoegdheid. Alsook, de aanpak van de uitdagingen op vlak van de digitalisering van overheidsdiensten en -taken is een gedeelde bevoegdheid tussen de federale overheid en de deelstaten, niet het laatst wegens het privacy- en securityvraagstuk.

Graag had ik hieromtrent dan ook een antwoord gekregen op volgende vragen:

1) Hoe staat u tegenover kunstmatige intelligentie in het Belgische politie- en strafrechtsysteem?

2) Wordt kunstmatige intelligentie gebruikt in ons Belgische politie- en strafrechtsysteem? Zo ja, hoe? Welke functies vervullen zij?

3) Overweegt u om (meer) gebruik te maken van kunstmatige intelligentiesystemen? En zo ja, waarom en in welke functies? Zo neen, waarom niet?

4) Hoe zorgt u ervoor dat deze kunstmatige intelligentiesystemen voldoen aan de ethische kernbeginselen i.e. transparantie, rechtvaardigheid en billijkheid (met inbegrip van non-discriminatie), menselijke verantwoordelijkheid voor beslissingen, veiligheid en beveiliging, privacy en gegevensbescherming?

5) Zal u kijken naar praktijken in andere Europese landen in verband met kunstmatige intelligentie opdat deze mogelijks in België gebruikt kunnen worden?

 
Réponse reçue le 26 janvier 2021 : Antwoord ontvangen op 26 januari 2021 :

Au vu de la compétence de mon collègue Mathieu Michel, secrétaire d’État à la Digitalisation, chargé de la Simplification administrative, de la Protection de la vie privée et de la Régie des bâtiments, je souhaite tout d’abord préciser que la présente réponse a été coordonnée avec ce dernier.

L’utilisation de l’intelligence artificielle dans le cadre de la police et justice pénale constitue une réelle opportunité, notamment en matière d’État de droit, et offre un potentiel permettant d’améliorer l’accès à la Justice pour et par tous les citoyens et de faciliter le travail des professionnels de la Justice.

Cette transformation digitale doit être réalisée dans une approche centrée sur l’humain et dans le respect des droits fondamentaux du système judiciaire et des principes de l’État de droit. Elle doit également permettre l’adoption de décisions judiciaires de haute qualité et transparentes et assurer l’accès égal par tous les citoyens à la Justice.

Par la même occasion, l’utilisation des outils d’intelligence artificielle en matière de police et justice pénale constitue effectivement une application particulièrement sensible pour laquelle un cadre juridique clair et des mesures supplémentaires doivent être prévues afin d’assurer le respect des droits fondamentaux.

L’utilisation de l’intelligence artificielle requiert le respect de principes éthiques et juridiques garantissant la protection des données à caractère personnel ainsi que celle des droits et libertés fondamentaux.

Ces principes éthiques et règles juridiques devront être scrupuleusement respectés et ce, avant et lors de chaque utilisation de cette technologie.

J’ai bien pris connaissance des travaux du Conseil de l’Europe en matière d’intelligence artificielle et notamment le rapport du Conseil de l’Europe sur la Justice et les algorithmes dans le cadre plus spécifique de la justice pénale.

Outre ce rapport, plusieurs initiatives ont été lancées ces dernières années dans différentes institutions européennes afin d’encadrer l’utilisation de l’intelligence artificielle, en ce compris dans le cadre de la justice pénale parmi lesquelles:

– l’élaboration de recommandations par l’Organisation des Nations unies pour l’éducation, la science et la culture (United Nations Educational, Scientific and Cultural Organization – UNESCO) sur l’éthique de l’intelligence artificielle;

– l’élaboration de lignes directrices pour la reconnaissance faciale dans le cadre d’un sous-groupe de travail mis en place au sein du Comité européen de la protection des données;

– l’élaboration de lignes directrices pour la reconnaissance faciale dans le cadre du Comité consultatif de la Convention 108, au sein du Conseil de l’Europe;

– une étude, commandée par la commission des Libertés civiles, de la Justice et des Affaires intérieures (commission LIBE) du Parlement européen et intitulée «Intelligence artificielle et application de la loi», a été réalisée par la Vrije Universiteit Brussel (VUB) et publiée juillet 2020. Elle énumère les dangers de cette technologie et plaide pour un cadre juridique clair s’il est politiquement décidé de poursuivre le développement de cette technologie;

– l’Agence européenne des droits fondamentaux a publié en 2019 un rapport sur la reconnaissance faciale et les droits fondamentaux. Elle vient de publier ce 13 décembre 2020 un rapport sur l’intelligence artificielle et les droits fondamentaux qui réitère la sensibilité et les hauts risques liés à l’utilisation de ce type de technologie;

– la Commission européenne a par ailleurs continué ses travaux, suite à la publication de son Livre blanc sur l’intelligence artificielle, et entend déposer une initiative législative en matière d’intelligence artificielle au printemps 2021. Ce livre blanc met en exergue le fait que les technologies de reconnaissance faciale doivent être considérées comme des utilisations à haut risque de l’intelligence artificielle;

– enfin, le Conseil de l’Union européenne a adopté plusieurs conclusions sur la transformation digitale dans le cadre desquelles la nécessité d’un encadrement de l’utilisation de ce type de technologies est mentionnée.

Je suis attentivement l’ensemble de ces développements au niveau européen et international.

J’insiste régulièrement, dans le cadre des travaux européens et internationaux en la matière, sur l’importance d’exiger de la transparence, la qualité des données afin d’éviter le risque de biais, et l’exigence selon laquelle l’utilisation d’outils automatisés ne peut interférer avec l’indépendance judiciaire et implique dès lors que toute décision par une Cour doit faire l’objet d’un contrôle humain.

Ces éléments constituent autant d’obstacles qui doivent être surmontés avant d’envisager la généralisation des technologies d’intelligence artificielle dans le cadre de la police et justice pénale.

Gezien de bevoegdheid van mijn collega Mathieu Michel, staatssecretaris voor Digitalisering, belast met Administratieve Vereenvoudiging, Privacy en de Regie der Bebouwen, wil ik er in de eerste plaats op wijzen dat dit antwoord met hem is gecoördineerd.

Het gebruik van kunstmatige intelligentie in het politie- en strafrechtsysteem is een echte opportuniteit, inzonderheid wat de rechtsstaat betreft, en biedt potentieel om de toegang tot de rechter voor en door alle burgers te verbeteren en om het werk van de rechtsbeoefenaars te faciliteren.

In de aanpak van die digitale transformatie moet het menselijke aspect centraal staan en moeten de fundamentele rechten waarin het rechtssysteem voorziet alsook de beginselen van de rechtsstaat in acht worden genomen. De digitale transformatie moet het ook mogelijk maken om hoogkwalitatieve en transparante rechterlijke beslissingen te nemen alsook voor alle burgers een gelijke toegang tot de rechter te waarborgen.

Tegelijk is het gebruik van op kunstmatige intelligentie gebaseerde instrumenten in politie- en strafrechtsystemen inderdaad een bijzonder gevoelige toepassing waarvoor in een duidelijk juridisch kader en aanvullende maatregelen moet worden voorzien teneinde de inachtneming van de fundamentele rechten te waarborgen.

Het gebruik van kunstmatige intelligentie vereist de inachtneming van ethische en juridische beginselen die de bescherming van de persoonsgegevens en de bescherming van de fundamentele rechten en vrijheden waarborgen.

Die ethische beginselen en rechtsregels moeten nauwgezet in acht worden genomen, zulks in de aanloop naar en tijdens ieder gebruik van die technologie.

Ik heb inderdaad kennisgenomen van de werkzaamheden van de Raad van Europa inzake kunstmatige intelligentie en inzonderheid van het rapport van de Raad van Europa over Justitie en de algoritmen in het meer specifieke kader van het strafrecht.

Naast dat verslag zijn er de jongste jaren binnen diverse Europese instellingen initiatieven genomen om het gebruik van kunstmatige intelligentie te flankeren, ook binnen het strafrecht, onder andere:

– het opstellen van aanbevelingen rond het ethische aspect van kunstmatige intelligentie door de Organisatie der Verenigde Naties voor onderwijs, wetenschap en cultuur (United Nations Educational, Scientific and Cultural Organization – UNESCO);

– het opstellen van richtsnoeren voor gezichtsherkenning in het kader van een subwerkgroep die werd opgericht binnen het Europees Comité voor gegevensbescherming;

– het opstellen van richtsnoeren voor gezichtsherkenning in het kader van de Adviescommissie van het Verdrag 108, binnen de Raad van Europa;

– een studie met de titel «Kunstmatige intelligentie en rechtshandhaving» in opdracht van de commissie Burgerlijke Vrijheden, Justitie en Binnenlandse Zaken (LIBE-commissie) van het Europees Parlement, uitgevoerd door de Vrije Universiteit Brussel (VUB) en gepubliceerd in juli 2020. Die studie geeft een overzicht van de gevaren van gezichtsherkenningstechnologie en pleit voor een duidelijk juridisch kader als er beleidsmatig wordt beslist om de technologie verder te ontwikkelen;

– het Bureau van de Europese Unie voor de grondrechten publiceerde in 2019 een verslag over gezichtsherkenning en de grondrechten. Zopas, op 13 december 2020, publiceerde het een verslag over kunstmatige intelligentie en de grondrechten, waarin nogmaals wordt gewezen op de gevoeligheid van het gebruik van dat soort technologie en de hoge risico’s die eraan verbonden zijn;

– voorts heeft de Europese Commissie na de publicatie van haar Witboek over kunstmatige intelligentie haar werkzaamheden ter zake voortgezet en zit er voor de lente van 2021 een wetgevend initiatief inzake kunstmatige intelligentie in de pijplijn. In dat witboek wordt erop gewezen dat gezichtsherkenningstechnologieën moeten worden beschouwd als zeer risicovolle toepassingen van kunstmatige intelligentie;

– tot slot heeft de Raad van de Europese Unie verschillende conclusies met betrekking tot de digitale transformatie aangenomen, waarin wordt gewezen op de noodzaak tot flankering van het gebruik van gezichtsherkenningstechnologieën.

Ter zake volg ik aandachtig alle ontwikkelingen op Europees en internationaal niveau.

In het kader van de Europese en internationale werkzaamheden ter zake leg ik er regelmatig de nadruk op dat het belangrijk is om transparantie te eisen, dat de gegevens van goede kwaliteit moeten zijn teneinde het risico op bias te voorkomen en dat het gebruik van geautomatiseerde instrumenten geen invloed mag hebben op de rechterlijke onafhankelijkheid, wat derhalve impliceert dat iedere beslissing van een hof aan menselijke controle moet worden onderworpen.

Al die elementen zijn obstakels die moeten worden overwonnen alvorens de veralgemening van het gebruik van op kunstmatige intelligentie gebaseerde technologieën in het politie- en strafrechtsysteem in overweging kan worden genomen.