Élaborez le prompt système

Josiane, secrétaire à la mairie de Trifouillis-sur-Loire, est confrontée à un défi quotidien : fournir des informations administratives précises et fiables aux citoyens. Pour l'aider dans cette tâche, elle souhaite mettre en place un assistant virtuel capable de traiter les demandes en s'appuyant uniquement sur des sources vérifiées.

Mais comment s'assurer que cet assistant sera à la hauteur ? La réponse réside dans un élément fondamental : le prompt système.

Découvrez le prompt système

Un prompt système est l'ensemble d'instructions initiales fournies à un modèle de langage (LLM) pour définir son comportement, son rôle et ses limites. C'est la première pierre de l'édifice qui déterminera la qualité des interactions entre l'utilisateur et l'IA.

Le prompt système remplit plusieurs fonctions critiques, particulièrement importantes dans un contexte administratif :

1. Limitation des hallucinations

Les modèles de langage ont tendance à "halluciner", c'est-à-dire à générer des informations qui semblent plausibles mais sont en réalité inexactes ou inventées. Dans un contexte administratif, cela peut se traduire par :

• L'invention de procédures inexistantes

• La proposition de formulaires qui n'existent pas

• L'indication d'horaires erronés

• La création de règles administratives fictives

Un prompt système bien conçu établit des garde-fous explicites qui réduisent considérablement ce risque en instruisant le modèle de ne pas générer d'informations non vérifiées.

2. Garantie de fiabilité des sources

Le prompt système peut exiger du modèle qu'il se réfère exclusivement à des sources officielles et à des informations validées, ce qui est crucial pour :

• Maintenir la conformité réglementaire

• Éviter la propagation de fausses informations

• Garantir l'égalité de traitement des citoyens

• Préserver la crédibilité du service public

3. Structuration des échanges

Un prompt système efficace définit comment l'information doit être organisée et présentée, ce qui améliore significativement :

• La clarté des réponses

• L'accessibilité des informations pour tous les publics

• La cohérence entre les différentes interactions

• L'efficacité de la communication

Dans le contexte d'un assistant administratif municipal comme celui de Josiane, le prompt système doit définir précisément :

Voici un exemple de prompt système qui pourrait servir de point de départ pour l'assistant de Josiane :

Vous êtes l'assistant administratif officiel de la mairie de Trifouillis-sur-Loire. 

Votre mission est de répondre aux questions des citoyens concernant les services municipaux,

les démarches administratives et les informations pratiques.

SOURCES D'INFORMATION AUTORISÉES :

• Vous devez vous baser EXCLUSIVEMENT sur des documents officiels de la mairie

• Les informations provenant du site web municipal (trifouillis-mairie.fr) sont considérées comme fiables

• Les règlements municipaux en vigueur constituent votre référence pour toute question de procédure

COMPORTEMENTS OBLIGATOIRES :

• Adoptez un ton formel, courtois et accessible à tous les publics

• Face à une question ambiguë, demandez systématiquement des précisions

• Si une information n'est pas disponible dans votre base de connaissances, indiquez-le clairement

• Proposez toujours une alternative (service à contacter, site web à consulter) en cas d'information manquante

• Adaptez votre niveau de détail à la complexité de la demande

COMPORTEMENTS INTERDITS :

• Ne fournissez JAMAIS d'informations dont vous n'êtes pas certain

• N'inventez pas de procédures, documents ou délais

• Ne donnez pas d'avis personnel sur les politiques municipales

• Ne traitez pas les données personnelles des citoyens (ne demandez pas de numéros de dossiers, d'identifiants, etc.)

• Ne proposez pas de démarches simplifiées qui contourneraient les procédures officielles

Ce prompt établit clairement le périmètre d'action de l'assistant et pose les bases d'une interaction de qualité.

Adoptez les bonnes pratiques d’écriture du prompt système

Pour optimiser la performance d’un LLM, il est essentiel de structurer soigneusement le prompt système. Un prompt bien conçu garantit des réponses précises, cohérentes et pertinentes.

Voici les bonnes pratiques à adopter :

1. Clarté et précision du rôle

Définir explicitement le rôle de l’agent est une étape cruciale. Dans le cadre administratif, l’assistant doit couvrir des domaines clairs tels que :

• Les horaires des services publics,

• Les documents requis pour diverses démarches,

• La localisation des services et contacts utiles.

Exemple de prompt clair :

Vous êtes un assistant administratif compétent et bienveillant, chargé de fournir des informations fiables sur les horaires, les documents requis et les services disponibles. Vous vous appuyez uniquement sur des sources officielles et répondez de manière concise et chaleureuse.

2. Structuration des tâches complexes

Lorsqu’une demande comporte plusieurs éléments, il est préférable de la décomposer en sous-tâches.

Exemple :

Demande utilisateur :

Quels documents dois-je fournir pour un passeport et où dois-je les déposer ?

Stratégie de réponse :

Identifier les besoins (documents requis et lieu de dépôt).

Se référer aux sources officielles.

Proposer une réponse structurée et engageante.

Réponse optimisée :

Bonjour ! Pour faire une demande de passeport, vous devrez fournir une pièce d’identité valide, une photo récente, un justificatif de domicile et un timbre fiscal. Vous pouvez déposer votre dossier à la mairie de votre domicile, sur rendez-vous. N’hésitez pas à me préciser votre ville pour plus de détails !

3. Gestion des ambiguïtés

L’assistant doit prévoir les cas où l’information n’est pas directement disponible. Dans ce cas, il peut :

• Demander des précisions à l’utilisateur,

• Indiquer qu’il va vérifier,

• Orienter vers un service de contact officiel.

Exemple :

Utilisateur :

Quels sont les horaires du service des visas ?

Mauvaise réponse :

Je ne sais pas.

Bonne réponse :

Les horaires peuvent varier selon la mairie. Pourriez-vous préciser votre ville ? Sinon, je vous recommande de consulter le site officiel du service des visas ou d’appeler la mairie concernée.

4. Utilisation d’exemples d’interaction

Intégrer un exemple dans le prompt aide à structurer la réponse du modèle.

Exemple de prompt avec illustration :

Vous répondez aux questions administratives avec clarté et bienveillance. Voici un exemple de format attendu :

Utilisateur :

Quels sont les horaires pour déposer une demande de permis de construire ?

Assistant :

Bonjour et merci pour votre question ! Les demandes de permis de construire doivent être déposées au service urbanisme. La mairie est ouverte du lundi au vendredi, de 8h30 à 17h. Toutefois, pour assurer un traitement efficace de votre dossier, il est recommandé de le déposer avant 16h. N’hésitez pas à me préciser votre situation si vous avez besoin d’informations complémentaires !

Ces exemples détaillés fournissent au modèle des schémas d'interaction complets qu'il pourra reproduire et adapter selon les situations, garantissant ainsi une cohérence dans la qualité des réponses fournies.

Réglez les paramètres

Les paramètres techniques du modèle influencent la créativité, la précision et la longueur des réponses. Pour garantir des réponses factuelles et adaptées au contexte administratif, nous devons convenablement régler ces paramètres.

Ces réglages techniques sont essentiels pour maintenir un équilibre entre rigueur et lisibilité, en particulier dans un contexte administratif où la précision est primordiale.

Lancez la phase de test

Voyons ensemble avec Josianne si le prompt rédigé répond bien aux attentes du service d'accueil de la mairie.

a. Vérification de la clarté et de la cohérence

Il est indispensable de tester le prompt avec diverses questions, notamment des cas limites ou des questions ambiguës, pour s’assurer que l’assistant respecte bien les consignes définies. 

Les tests doivent inclure :

• Clarté de la réponse : Vérifier que l’agent répond de manière compréhensible et directe.

• Cohérence avec le rôle défini : S’assurer que le chatbot ne sort pas du cadre des services municipaux.

• Gestion des demandes imprécises : Observer si l’agent demande des précisions ou redirige vers le service concerné en cas de doute.

b. Mise en place des scénarios de test

Pour valider le bon fonctionnement du prompt système, plusieurs scénarios peuvent être mis en place :

1. Question précise :

• Exemple : « Quels sont les horaires du service urbanisme ? »

• Attendu : Réponse factuelle et précise avec les horaires officiels.

2. Question ambiguë :

• Exemple : « Où puis-je obtenir des informations sur les démarches ? »

• Attendu : L’agent demande de préciser la démarche administrative concernée.

3. Demande hors périmètre :

• Exemple : « Quels sont les événements culturels à venir ? »

• Attendu : L’agent répond poliment qu’il se limite aux services administratifs et redirige vers un autre service si nécessaire.

c. Ajustements en fonction des retours

Après chaque série de tests, il est important de réviser le prompt afin de :

• Clarifier les consignes si certaines réponses restent ambiguës.

• Ajuster les paramètres techniques si les réponses sont trop longues ou insuffisamment précises.

• Affiner les garde-fous pour améliorer la gestion des informations non référencées.

À vous de jouer

Contexte

L'agent est un assistant virtuel qui agit comme agent d'accueil pour une mairie. Il doit fournir des informations claires et précises sur les services municipaux. Ton formel, adapté à une audience diverse (citoyens novices ou habitués des démarches administratives).

Consignes

1. Définir clairement les compétences :

• informations sur les horaires, documents nécessaires, localisation des services, etc.

• Limiter l'agent aux thématiques de la mairie ; rediriger poliment les utilisateurs en cas de demandes hors périmètre.

• Réagir aux ambiguïtés en demandant des précisions à l'utilisateur.
  Ajoutez un exemple d’interaction pour guider le modèle.

2. Réglez les paramètres :

• Température : privilégier des réponses factuelles.

• Top-p : filtrer les réponses improbables.

3. Testez la cohérence des réponses et ajustez selon les résultats.

En résumé

Nous avons exploré plusieurs bonnes pratiques essentielles pour rédiger un prompt système efficace :

• Définir avec clarté et précision le rôle de l'agent, ses compétences (horaires, documents, localisation) et ses limites (rester dans le périmètre administratif).

• Anticiper et gérer les ambiguïtés en instruisant l'agent à demander des clarifications plutôt que d'inventer une réponse.

• Structurer la manière dont l'agent doit aborder les tâches complexes en les décomposant si nécessaire.

• Utiliser des exemples d'interaction (few-shot prompting) pour illustrer concrètement le format, le ton et le type de réponse attendus.

• Mettre en place des garde-fous clairs pour que l'agent redirige poliment les demandes hors sujet. 

Votre prompt système est construit : nous sommes prêts à construire notre application dans le prochain chapitre !