Les systèmes d’IA doivent avoir des limites explicites et des responsables identifiables.

La responsabilité humaine demeure explicite.

Chaque mandat a une personne responsable clairement désignée. Les décisions importantes touchant le produit, l’architecture, la sécurité, la protection des renseignements personnels et les risques liés à l’IA sont examinées par les personnes responsables du résultat. Les outils d’IA sont des outils de prestation; ils ne sont pas présentés comme des employés, des ressources détenant une cote de sécurité, des références, des titres de compétence ou des décideurs.

Pour un processus important intégrant l’IA, nous documentons l’objectif prévu, les utilisateurs, les limites de données, les actions permises, les usages exclus, les points d’approbation humaine, le responsable opérationnel et une voie pratique d’escalade ou d’arrêt.

Les systèmes agentiques ne reçoivent que l’autorité nécessaire au processus.

Lorsqu’un logiciel peut appeler des outils ou effectuer des actions, Amidship traite les permissions et les mécanismes de contrôle comme une partie du produit.

• autoriser uniquement les outils et les actions nécessaires au processus;
• appliquer le principe du moindre privilège aux systèmes et aux données;
• exiger une approbation humaine pour les actions à conséquence, irréversibles, financières, juridiques, liées à la sécurité ou engageant une organisation à l’externe, sauf si le client a explicitement approuvé un autre modèle de contrôle après une évaluation appropriée;
• conserver des journaux ou traces utiles des actions importantes lorsque cela est approprié sur les plans technique et juridique;
• traiter les erreurs d’outils, les états inattendus, l’injection d’instructions et les consignes contradictoires;
• prévoir l’escalade, la reprise en main humaine et des mécanismes pratiques de désactivation;
• tester l’exécution partielle, la reprise et les modes d’échec plutôt que seulement le scénario idéal.

L’évaluation commence avant la mise en production.

Les critères d’acceptation devraient être définis avant la mise en production et refléter le risque réel du processus. Selon le système, l’évaluation peut couvrir l’exactitude des tâches, l’ancrage factuel, la qualité de la recherche documentaire, la réussite et l’échec des actions, le comportement d’escalade, les limites d’accès, la résistance à l’injection d’instructions, la latence, le coût, le comportement lorsque des services se dégradent, la reprise en main humaine ainsi que les biais ou les effets différentiels lorsque cela est pertinent.

Le code et les artefacts produits avec l’aide de l’IA sont soumis aux mêmes attentes d’ingénierie, de sécurité, de licences et de revue que les autres travaux.

Les données du client et l’utilisation des modèles restent dans les limites du mandat.

Amidship utilise des systèmes et des environnements approuvés par le client pour les renseignements confidentiels, limite les données à ce qui est nécessaire à la tâche et privilégie des données synthétiques, masquées ou réduites pour les essais lorsque c’est possible. Les fournisseurs de modèles importants, les catégories de données, les paramètres de conservation ou d’entraînement, les considérations de résidence et les sous-traitants sont identifiés lorsque le mandat ou la loi exige leur divulgation.

Les renseignements sensibles ne sont pas intentionnellement transmis à des services d’IA grand public non approuvés contrairement aux politiques du client, au contrat, à la loi ou à la classification de sécurité.

Les décisions automatisées doivent tenir compte du contexte juridique et des politiques du client.

Lorsqu’un système d’IA peut prendre ou appuyer des décisions concernant des personnes, des prestations, l’admissibilité, l’application de règles, la priorisation ou l’accès à un service, Amidship signale le cas d’usage afin qu’il fasse l’objet de l’examen juridique, de protection des renseignements personnels, de politique et de programme du client avant la production.

Pour les systèmes fédéraux de décision administrative, le mandat peut être conçu pour appuyer les exigences applicables du gouvernement du Canada, notamment la Directive sur la prise de décisions automatisée et l’Évaluation de l’incidence algorithmique lorsqu’elles s’appliquent. L’institution fédérale responsable demeure imputable de déterminer et de respecter ses obligations légales et politiques.

Les échecs et les changements font partie des conditions d’exploitation.

Un incident important de sécurité, de protection des renseignements personnels ou de sûreté de l’IA devrait entraîner le confinement ou la désactivation, la préservation des éléments pertinents, l’évaluation des impacts, l’avis au client selon les obligations applicables, la correction et une nouvelle évaluation avant le rétablissement de la capacité touchée.

Les systèmes d’IA en production devraient conserver une documentation pratique des usages prévus et exclus, des sources de données, des choix importants de modèles et fournisseurs, des permissions d’outils, des résultats d’évaluation, des points de supervision humaine, des limites connues, de la responsabilité opérationnelle, des mécanismes d’incident et des changements importants.

Ce que cette déclaration est — et n’est pas.

Cette page décrit la base actuelle de prestation d’Amidship et les engagements qu’elle est prête à prendre dans un mandat. Les exigences propres au contrat peuvent être plus strictes et ont préséance.

Amidship ne prétend pas que ce cadre a fait l’objet d’un audit indépendant ou d’une certification, et ne revendique aucune certification ISO, SOC 2, CPCSC/CMMC ou autre assurance externe à moins qu’elle ait réellement été obtenue et soit à jour.