Évaluation SPMIND
Faites l'auto-évaluation SPMIND maintenant !
L’évaluation SPMIND est basée sur moins de 40 questions et ne prend que moins de 20 minutes à remplir en ligne. Avec le résultat du SPMIND, vous êtes à un pas de la réalisation de votre référencement sur le portail !
L'évaluation SPMIND pour fournisseur de solutions
SPMIND (ou Solution Provider Maturity Index) est un cadre d’évaluation de l’état de préparation de l’IA axé sur l’industrie développé par le Comité des PME dans le cadre du groupe de travail sur l’innovation et la commercialisation du GPAI. Il couvre les capacités essentielles d’un fournisseur d’IA performant sur la base de l’expérience combinée des experts du groupe de travail GPAI dans tous les secteurs et pays.
SPMIND permet à un fournisseur de solutions, développant ou intégrant des solutions basées sur l’Intelligence Artificielle (IA), d’être reconnu comme un fournisseur de confiance pour la construction et le déploiement de telles solutions d’IA.
| Non qualifié - Progrès à faire | Qualifié - Niveau Exploratoire | Qualifié - Niveau Intermédiaire | Qualifié - Niveau avancé | |
|---|---|---|---|---|
| Score moyen | Moins de 2,5 | 2,5 à 3,4 | 3,5 à 4,5 | Plus de 4,5 |
| Capacités générales | La maîtrise des problématiques d'IA n'est pas suffisante | La maîtrise des problématiques IA est suffisante, certaines dimensions n'étant pas entièrement couvertes | La maîtrise des problématiques IA est suffisante, la plupart des dimensions sont entièrement couvertes | La maîtrise des problématiques IA est suffisante, avec toutes les dimensions bien couvertes |
| Caractéristiques générales | Peut ne pas identifier complètement les pièges du projet d'IA | Maîtrise la plupart des aspects des projets d'IA, mais peut échouer dans certains cas relativement faciles | Maîtrise la plupart des aspects des projets d'IA, mais peut échouer dans les cas difficiles | Maîtrise tous les aspects des projets d'IA, peut s'attendre à réussir dans tous les cas |
| Qualification du fournisseur de solutions | Ne peut pas être un fournisseur de confiance pour les PME | Peut être un prestataire de confiance pour les PME sur des cas simples | Peut être un fournisseur de confiance pour les PME sur des cas difficiles dans certains domaines | Peut être un fournisseur de confiance pour les PME dans tous les cas |
Composants SPMIND
SPMIND se compose de 6 piliers, chaque pilier ayant des exigences pour évaluer si le fournisseur de solutions a atteint un niveau satisfaisant de maturité de l’IA.
La maturité organisationnelle et la gouvernance d’entreprise évaluent si l’organisation a mis en place un système d’organisation et de gouvernance permettant la réussite des projets d’IA. La maturité commerciale examine la capacité de l’organisation relative à la commercialisation et au marketing de sa solution d’IA, ses compétences ne se limitant pas uniquement à la conception du système. La maturité des données vérifie si l’organisation comprend et contrôle les données et est consciente des obligations et des problèmes associés. La maturité éthique évalue si l’organisation a une compréhension et un contrôle suffisants pour déployer une IA à impact contrôlé. La maturité de l’infrastructure valide que l’organisation peut s’appuyer sur une infrastructure matérielle et logicielle pour assurer la maturité technologique et le déploiement de la solution. Enfin, la maturité de bout en bout vérifie si l’organisation démontre une connaissance et une maîtrise de toutes les phases d’ingénierie système, et une prise en compte appropriée du contexte opérationnel visé.
Collectivement, les 6 piliers de SPMIND fournissent une évaluation complète de la qualification d’une organisation pour devenir un fournisseur de services d’IA de confiance.
| Les sujets | Conditions | Évaluation |
|---|---|---|
| Maturité organisationnelle et gouvernance d'entreprise | Compréhension de la chaîne de valeur | L'organisation peut identifier les étapes de la chaîne de valeur dans lesquelles son offre s'insérera. L'étendue de la chaîne de valeur et la nature de ses étapes dépendront du contexte spécifique du demandeur (B2B ou B2C, etc.). La chaîne de valeur doit couvrir a minima les éventuels utilisateurs finaux, acheteurs de la solution et sous-traitants. |
| Culture IA des décideurs | La direction et le management de l'entreprise concernée par les projets IA ont une culture IA et une compréhension suffisante des besoins, contraintes, limites et risques associés aux projets IA. | |
| Compétences en IA du personnel impliqué dans les projets d'IA | Les personnels impliqués dans toutes les phases d'ingénierie nécessaires au développement et au déploiement de l'IA (y compris les aspects logiciels et données) sont identifiés et l'entreprise met en œuvre des moyens pour assurer leurs compétences. | |
| Maîtrise des dépendances et sous-traitance | L'organisme analyse la criticité des dépendances numériques (logiciels, bibliothèques, données) et/ou des relations avec les sous-traitants, vis-à-vis du projet IA (dépendances totales, partielles ou minoritaires) et propose des stratégies de remédiation en cas de rupture de ces dépendances et/ ou des relations. | |
| Maturité commerciale | Maîtrise du cas d'usage métier | L'organisation est en mesure de présenter clairement les différents usages (secteur d'activité, attentes technologiques spécifiques, taille de clientèle, etc.) auxquels il destine ses solutions d'IA. Les usages peuvent concerner aussi bien des clients externes que des interlocuteurs au sein de l'entreprise. |
| Cohérence des stratégies commerciales | L'organisation met en œuvre une stratégie commerciale cohérente avec la nature de la solution d'IA proposée. Si l'argument « IA » n'est pas mis en avant dans sa stratégie marketing, expliquez la pertinence de ce choix. | |
| Pertinence des stratégies de développement et de déploiement | L'organisation met en œuvre des stratégies de développement et de déploiement adaptées aux usages auxquels il destine ses produits/services (type de client -PME, ETI, etc.- la criticité du secteur, la structure de l'entreprise du client, ou le développement et le déploiement du client normes | |
| Synergies avec l'écosystème | L'organisme entretient des liens avec l'écosystème concerné (incubateurs, pôles de compétitivité, participation à des projets, contributions scientifiques, etc.). | |
| Conformité administrative et fiscale | L'organisme doit être immatriculé au registre du commerce et des sociétés et avoir acquitté les impôts et cotisations sociales dus à la date de la demande. | |
| Expérience de mise sur le marché | L'organisme réalise des actions relatives à la mise sur le marché de la solution d'IA, par exemple des actions menées auprès des clients, des actions de mise en conformité réglementaire liées au domaine d'application final de la solution d'IA, des actions du service commercial, etc. | |
| Références clients | L'organisation est en mesure de présenter des références clients : attestation de réussite d'une action commerciale ou d'intégration d'une solution d'IA chez un client ou références issues de preuves de concept (POC) si l'organisation n'a pas encore réalisé d'action commerciale. | Maturité des données | Gouvernance des données | L'organisme met en œuvre un processus permettant d'identifier clairement les différents jeux de données utilisés en entrée et générés en sortie, de connaître l'origine des données et si elles sont gérées en interne ou en externe, et d'identifier les responsables des traitements effectués sur ce Les données. |
| Maîtrise du cycle de vie des données | L'organisation est en mesure d'expliquer, pour chaque étape du cycle de vie des données, les méthodes utilisées pour identifier les besoins et les contraintes associées à chaque étape. Ces étapes sont censées couvrir l'ensemble des traitements et opérations effectués sur les données depuis leur création jusqu'à leur suppression. | |
| Loyauté et légalité du traitement des données | L'organisme met en œuvre des méthodes permettant d'identifier les données et métadonnées susceptibles d'entraîner des abus dans le traitement effectué par AI et des éléments dont le traitement pourrait ne pas être conforme à la réglementation selon les cas d'application. | |
| Maîtrise des droits d'accès | L'organisme met en œuvre des méthodes pour restreindre l'accès du modèle aux données susceptibles d'entraîner des déloyautés ou des traitements illégaux, tant en phase de développement qu'en conditions opérationnelles. | |
| Maîtrise de la qualité | L'organisation met en œuvre des processus de surveillance de la qualité des données tout au long du cycle de vie des données. L'organisation propose des attributs de qualité des données pertinents pour son contexte. | |
| Maîtrise de la préparation de corpus de données | Dans le cadre de l'apprentissage des modèles, l'organisation met en œuvre des méthodes de découpage des jeux de données conformes aux bonnes pratiques du domaine (uniquement applicables à certains types de solutions d'IA). | |
| Maîtrise des données en conditions opérationnelles | L'organisation met en œuvre des méthodes pour s'assurer que les données d'entrée dans les conditions opérationnelles sont similaires aux données utilisées pour créer les modèles (uniquement applicable à certains types de solutions d'IA). | Maturité éthique | Sensibilisation à l'éthique | L'organisation mène des actions pertinentes de sensibilisation à l'éthique auprès de l'ensemble du personnel impliqué dans les projets d'IA. |
| Gestion des risques spécifiques à l'IA | L'organisation met en œuvre une approche par les risques, qui couvre notamment les risques propres à l'utilisation de l'IA, et inclut également les risques pour les droits fondamentaux (société, impact individuel). (Seule la capacité de l'organisation à identifier les risques est évaluée et non la qualité et la pertinence des stratégies de réduction des risques). | |
| La loyauté des traitements effectués dans des conditions opérationnelles | L'organisation met en œuvre une approche basée sur les risques, identifiant les risques d'iniquité dans les conditions opérationnelles. (Seule la capacité de l'organisation à identifier les risques est évaluée et non la qualité et la pertinence des stratégies de réduction des risques). | |
| Explicabilité et interprétabilité | L'organisme met en œuvre des méthodes pour s'assurer que les utilisateurs finaux et les personnes impactées par les traitements effectués par les solutions d'IA sont informés des éléments ayant conduit à la production des sorties du système. Les informations reçues sont adaptées à l'usage de ces personnes. | |
| Traçabilité de la prise de décision | L'organisation met en œuvre des méthodes pour tracer les données qui ont conduit à une sortie de la solution d'IA. L'organisation doit au moins démontrer qu'elle met en œuvre des stratégies pour conserver un historique des traitements effectués. | |
| Transparence | L'organisme fournit une documentation technique précisant notamment les types d'algorithmes mis en œuvre, les performances attendues et le domaine d'utilisation (usage interne ou pour certains interlocuteurs de l'organisme). | |
| Informations sur les parties prenantes | L'organisme met en place des stratégies permettant aux parties prenantes (développement, usage, inspection, grand public, etc.) de disposer des éléments d'information nécessaires à leur relation avec la solution d'IA. | |
| Impact environnemental | L'organisation met en place des stratégies pour limiter l'impact de sa solution sur l'environnement. Ces stratégies peuvent concerner les données, l'algorithme ou les processus internes. | |
| Maturité des infrastructures | Contrôle de l'infrastructure de données | L'organisation formalise le cahier des charges de l'infrastructure nécessaire à chaque étape du cycle de vie des données et veille à mettre en œuvre les moyens (matériels et humains) nécessaires au bon fonctionnement de l'infrastructure à chaque étape (ces étapes couvrent l'ensemble des traitements et opérations effectués sur les données depuis sa création jusqu'à sa suppression). |
| Maîtrise de l'infrastructure d'ingénierie système | L'organisme formalise les spécifications de l'infrastructure nécessaires à chaque étape du cycle d'ingénierie système et veille à mettre en œuvre les moyens (matériels et humains) nécessaires au bon fonctionnement de l'infrastructure à chaque étape (ces étapes recouvrent au moins la spécification, le développement, vérification et validation, déploiement et maintenance). | |
| Maîtrise de l'infrastructure en conditions opérationnelles | L'organisme formalise le cahier des charges de l'infrastructure nécessaire en conditions opérationnelles, et soit adapte son système à l'infrastructure du client, soit informe son client de manière appropriée des moyens (matériels et humains) nécessaires au bon fonctionnement du système. | |
| Protection et sécurité | L'organisation met en œuvre des stratégies de protection des données à chaque étape du cycle d'ingénierie du système, par exemple, la politique GDPR. | |
| Maturité de bout en bout | Contrôle de la conception | L'organisation formalise les principes de base de ses solutions d'IA en prenant en compte les besoins liés au contexte opérationnel cible (type d'utilisateurs, contraintes métiers, etc.) et les contraintes techniques. |
| Maîtrise de l'ingénierie des données | L'organisation formalise les opérations nécessaires dans le cadre des étapes d'ingénierie des données, et met en place les moyens adaptés (logiciels, matériels et personnels). | |
| Maîtrise du développement de modèles | L'organisation formalise les opérations nécessaires dans le cadre de la sélection et du développement du modèle d'IA, et met en place les ressources appropriées (logiciel, matériel et personnel). | |
| Maîtrise de la mise en œuvre du système | L'organisation formalise les opérations nécessaires à la mise en place du système complet, et met en place les moyens adaptés (logiciels, matériels et personnels). | |
| Maîtrise de la vérification | L'organisation met en œuvre une approche structurée pour effectuer les vérifications des solutions d'IA. Les méthodes de vérification vont au-delà des tests unitaires de bon fonctionnement, couvrent des solutions complètes d'IA et pas seulement des modèles, et les indicateurs de performance utilisés sont adaptés aux types de performances recherchées par le client. | |
| Contrôle du déploiement | L'organisme met en place des procédures pour assurer la bonne utilisation du système, le suivi du système une fois déployé et permettre la réalisation des opérations de maintenance. |
6 piliers et 36 dimensions de SPMIND
Les 6 piliers et 36 dimensions évaluent un domaine spécifique qui contribue à la maturité globale du fournisseur de solutions.
Dans chaque thème, il comporte plusieurs dimensions et chaque dimension est évaluée à quatre niveaux de maturité du fournisseur de solutions :
- Non qualifié – Progrès à faire
- Qualifié – Niveau Exploratoire
- Qualifié – Niveau Intermédiaire
- Qualifié – Niveau avancé
Les scores de chaque dimension sont moyennés pour obtenir un score au niveau du pilier.
