Apprivoiser les aspects juridiques de l'IA dans les systèmes de soins; entretien avec Michel Jaccard, avocat

A quoi devrait-on être attentif dans l’utilisation de l’IA? En quoi cela différe de l’utilisation d’internet ?

Utiliser l’IA dans le domaine de la santé n’est pas anodin et les risques sont souvent différents de ceux rencontrés en utilisant internet.

Si internet représente une source générale d’information, que l’on peut en général chercher à corroborer de façon indépendante, les systèmes d’IA ont tendance à nous apporter directement des réponses précises et des recommandations spécifiques, avec des conséquences importantes dans le domaine des soins en cas d’erreur. Or, la fiabilité et la précision de tels systèmes dépendent de nombreux critères sur lesquels l’utilisateur n’a souvent aucun pouvoir ni visibilité. 

Il est donc essentiel de pouvoir se former avant d’utiliser l’IA dans le domaine de la santé, de façon bien plus poussée que pour une utilisation générale d’internet. Une telle formation devrait permettre de mieux appréhender les limites des systèmes d’IA et les biais possibles dans l’analyse effectuée, le cheminement probabiliste et les réponses fournies. 

L’utilisation de l’IA, bien plus que le recours à internet, entraîne aussi d’autres risques, si des données ou des indications médicales de patients sont ingurgitées. Entrent en jeu ici la réglementation en matière de protection des données, leur sécurité, mais aussi le secret médical et le droit du travail, dans la mesure où des sanctions pourraient être prises par l’employeur en cas de faute ou de non-respect des directives internes sur l’utilisation de l’IA.

Et pour les hôpitaux, cabinets médicaux ou autres structures qui visent à intégrer et implémenter l’IA dans leurs systèmes de soins ?

La mise en place d’un système d’IA dans le domaine de la santé doit être approchée comme un véritable projet, avec des ressources, un budget, une méthodologie, une conduite et des objectifs précis.

La réglementation est complexe, tant en Suisse qu’au niveau européen, et implique une analyse rigoureuse du système d’IA et des rôles attendus de chacun des protagonistes (développeur, distributeur, importateur), ainsi que l’évaluation de la fiabilité du système, si tant est qu’elle peut être établie vu la complexité et l’opacité des modèles d’IA actuellement développés.

Par ailleurs, la mise en place d’un système d’IA devra satisfaire aux critères applicables en matière de protection et de sécurité des données, et faire probablement l’objet de directives précises d’utilisation. 

Ces démarches – en plus de celles que l’établissement de soins aura décidé d’imposer, par exemple au plan éthique – devraient aboutir à une évaluation rigoureuse des besoins et des risques liés au développement, la mise en place et l’évolution du service.

Pouvez-vous partager une expérience concrète, où les aspects juridiques de l'IA ont joué un rôle crucial dans la mise en œuvre d'une technologie médicale ?

Dans un projet, l’idée était de mettre en place une app qui pouvait suggérer des noms de médecins en fonction des réponses données par l’utilisateur à des questions de base, analysées par un système d’IA. En l’espèce, l’app poursuivait une finalité médicale et en quelque sorte posait un diagnostic avant de fournir une recommandation, ce qui avait pour conséquence de la soumettre à l’ensemble de la réglementation applicable aux dispositifs médicaux – notamment l’exigence de pouvoir démontrer la fiabilité du système, ce qui est très aléatoire avec des modèles aussi complexes que ceux offerts aujourd’hui par OpenAI et consorts.