Vous êtes un grand industriel d'un secteur de pointe, par exemple un Laboratoire Pharmaceutique, ou bien un Chimiste, un spécialiste de matériaux modernes, etc., et vous voulez mettre sur le marché un nouveau produit dont vous attendez beaucoup. Mais, bien entendu, les Autorités vous demandent de montrer que votre produit est sans danger.

L'action de ce produit dépend d'un nombre élevé de paramètres. Pour un médicament, ce peut être par exemple la dose absorbée, la durée d'administration, les concentrations afférentes aux différents constituants, mais aussi les caractéristiques propres au malade : son âge, ses antécédents, son sexe, son poids, son rythme cardiaque, etc. Pour un matériau, ce peut être les différents constituants, les procédés de fabrication, etc. Cette multiplicité des paramètres susceptibles d'avoir une influence est très commune, même pour les matériaux très anciens : bien que le verre ait plus de 2000 ans d'existence, on n'a encore exploré qu'une fraction infime de toutes les configurations possibles, nous a dit un jour le Directeur de la Recherche de Saint Gobain.

Plaçons-nous ici dans le cas d'un médicament, susceptible par exemple de réduire la tension artérielle (un hypotenseur). Ne nous occupons pas des effets secondaires, et concentrons-nous simplement (c'est bien assez compliqué ainsi !) sur l'effet principal : le médicament doit réduire la tension, mais pas trop !

L'Autorité Sanitaire dit : nous acceptons que vous mettiez ce médicament sur le marché si vous nous démontrez que, pour 95 % de la population, la baisse de tension obtenue ne sera pas excessive. Voici donc une tension-seuil TS que nous vous communiquons ; nous savons que descendre au dessous de TS peut être dangereux. Démontrez-nous que, chez 95 % des patients au moins, par l'effet de votre médicament leur tension ne descendra pas au dessous de TS.

Cette requête de l'Autorité Sanitaire est tout à fait raisonnable ; il est certain en effet que l'action d'une substance sur les êtres humains n'est pas homogène, et on peut prévoir une fraction qui réagira davantage. On peut même s'étonner que l'Autorité ne soit pas plus exigeante : elle pourrait demander qu'on caractérise la population hyper-réactive (par exemple les personnes ayant des antécédents cardiaques) pour qu'une mise en garde spécifique lui soit adressée.

Voyons maintenant comment notre Laboratoire va s'y prendre. Disons pour simplifier que l'effet de ce médicament dépend de 30 paramètres. Ces paramètres varient en général continûment, mais, pour simplifier, on décide de ne considérer que des tranches : pour l'âge, par exemple, au lieu de noter l'âge exact, on considérera dix tranches : 0 à 5 ans, 5 à 10 ans, etc. Ce découpage n'est pas arbitraire, mais sera fait scientifiquement : chaque tranche regroupera 10 % de la population. On procède ainsi pour tous les paramètres, et chacun est réduit à 10 valeurs. D'autres paramètres caractérisent le procédé de fabrication, ou la composition. Par exemple, le produit est supposé contenir 0.035 milligramme par litre de cuivre, mais cela peut varier d'un lot à l'autre. On modélisera ceci en disant que la composition en cuivre suit une loi de Gauss, de moyenne 0.035 et de variance plus ou moins grande selon la qualité de la fabrication. Après quoi, comme précédemment, on range le paramètre « composition en cuivre » en dix classes d'égale probabilité.

Bref, on s'arrange très bien, et chacun des trente paramètres est réduit à dix valeurs possibles, considérées comme équiprobables. Mais dix valeurs pour trente paramètres, cela nous donne 10E30 possibilités pour les diverses configurations. Et ce que demande l'Autorité Sanitaire, c'est d'être sûre que pour 95 % d'entre elles, soit 95.10E28, la tension artérielle ne descendra pas au dessous de TS.

Admettons que le test d'une seule configuration demande une minute seulement (c'est évidemment absurde : le test d'un médicament met des jours et des mois). Il faudrait cependant plus de 10E22 siècles pour tester 95 % des configurations. C'est un peu long, et les responsables scientifiques du Laboratoire ont un moment de panique.

Heureusement, il s'agit d'un Laboratoire de pointe, et il dispose d'une excellente équipe de Statisticiens. Le chef d'équipe, consulté, hausse les épaules et dit : « aucun problème, nous allons vous mettre en place un plan d'expériences ».

Il s'agit en l'occurrence de tirer au hasard 10 000 configurations, parmi les 10E30 possibles, en utilisant les lois de probabilité définies sur chacun des paramètres. Par exemple, il y aura tant de personnes entre 25 et 30 ans, tant dont le poids est entre 80 et 90 kg, tant qui prendront le produit pendant deux jours, etc. Ce plan d'expériences, dûment défini et validé par l'équipe de Statisticiens, est mis en œuvre par tout le Laboratoire, ses filiales, ses sous-traitants, et, miracle, trois mois après, travaillant jour et nuit, les 10 000 cobayes désignés sont traités et aucun d'entre eux ne présente une pression sanguine inférieure à TS. Tout ceci est consigné, répertorié, analysé, et les résultats sont transmis à l'Autorité Sanitaire, avec une analyse mathématique, rédigée comme suit.

Prenons le quantile à 0.1 % de la population chez qui, après usage du médicament, la pression sanguine est la plus basse (le millième le plus réactif). Ce quantile est évidemment inconnu : on ne sait pas qui est dedans. Notons le B (pour « bas »).

Quelle est la probabilité qu'aucun de mes 10 000 cobayes ne soit dans B ? Si les choix sont indépendants, cela signifie que tous sont dans le complémentaire, et donc la probabilité est 0.0045. Cette probabilité est ridiculement faible ; autrement dit, j'ai une probabilité extrêmement forte (0.999955) que l'un au moins de mes cobayes soit dans B. Autrement dit encore, si je prends la plus faible des pressions enregistrées chez mes 10 000 cobayes, je suis quasiment certain (proba 0.999955) que 999/1000 de la population aura une pression supérieure à celle-là. Comme sur mon échantillon la plus faible est acceptable, elle l'est a fortiori pour 999/1000 de la population.

Les résultats vont, semble-t-il, très au delà de ce qui était demandé par l'Autorité Sanitaire : elle demandait 95 % ; elle obtient 999 pour mille, avec probabilité 0.999955. Séduite par tant de sérieux dans le raisonnement, par l'ampleur de l'échantillon, par la qualité du travail réalisé, l'Autorité Sanitaire donne son accord pour la mise sur le marché.

Un Statisticien avait même préconisé l'emploi de méthodes de « bootstrap », qui permettent de tirer des conclusions à partir d'un échantillon réduit : on retire aléatoirement à l'intérieur de cet échantillon. Le bootstrap représente le « nec plus ultra » des méthodes statistiques. Mais comme l'échantillon de 10 000 était acquis et suffisant, cette méthode de pointe a été écartée.

Une cérémonie est organisée par les dirigeants du Labo ; les Statisticiens sont publiquement félicités et reçoivent une augmentation ; en revanche on licencie l'équipe de biologistes : pourquoi faudrait-il chercher à comprendre l'action du médicament, alors qu'il suffit de faire des tests au hasard ?

Cette cérémonie marque le point culminant du processus d'étude, avant la commercialisation. Souvenez-vous de ces instants heureux, et souvenez-vous en bien, car le moment n'est pas loin où, ruiné, poursuivi par d'innombrables plaignants, couvert d'opprobre sur trois continents, fustigé par les ONG, lâché par les Autorités Sanitaires, le Laboratoire si prestigieux aura disparu, rejoignant ainsi dans la honte les fabricants de distilbène et de thalidomide.

Tout d'abord, un vieil ingénieur fait observer que l'on n'a expérimenté que 10 000 configurations sur 10E30, soit 1/10E26, ce qui est infime. Mais les Statisticiens haussent les épaules, qu'ils ont larges et robustes, et expliquent avec commisération que ces 10 000 permettent de traiter 999 pour mille de la population avec probabilité 0.999955. Comme le vieil ingénieur ne comprend pas bien ce que signifie « 999 pour mille de la population avec probabilité 0.999955 », il se tait et se résigne. Les temps changent.

Un autre, ayant regardé le plan d'expériences, fait observer que n'y figure aucune grand'mère obèse originaire du Tadjikistan. On a bien des grand'mères, des obèses, des Tadjikistanais, on a même une grand'mère obèse et un Tadjikistanais grand père, mais on n'a pas de grand'mère qui soit à la fois Tadjikistanaise et obèse. Les Statisticiens haussent à nouveau les épaules et font observer que les Tadjikistanais sont un peuple vigoureux et que les grand'mères obèses ne représentent chez eux que 1/10000 de la population.

La commercialisation commence. Au début, les choses marchent à merveille. Le médicament est efficace et se vend bien. Il y a certes quelques décès, mais c'est une chose tout à fait normale pour un médicament quel qu'il soit, puisqu'il contient un principe actif. Les décès sont moins nombreux qu'avec les autres médicaments et concernent essentiellement quelques bourgeois obèses, ou bien des chefs d'entreprise stressés : rien qui puisse émouvoir. De plus, ils restent en nombre très limité : moins de 1 % des cas les plus sévères, confortant ainsi les analyses des Statisticiens. Comme en outre le médicament agit efficacement sur le plus grand nombre de gens, les ventes décollent.

Le Laboratoire s'enhardit et commence à vendre à l'étranger. Par le biais de sa succursale au Groenland, il assure la distribution auprès des pharmaciens et les Esquimaux achètent le produit.

Et là, catastrophe. Coup sur coup, quatre Inuit, dont un handicapé, meurent après absorption du médicament. Scandale international, articles incendiaires dans la presse, interviews du monde savant, etc. : tout y passe. Qu'une centaine de chefs d'entreprise parisiens meurent en se soignant, cela n'a rien d'étrange, c'est même dans la logique des choses : la Nature les punit de s'être écartés des préceptes d'une vie saine. Mais qu'un Inuit, on ne peut plus proche de la nature, vivant de chasse et de pêche, puisse mourir en se soignant, c'est complètement inadmissible. Cela a des relents de néo-colonialisme. Si de plus il s'agit d'un handicapé, on a la preuve absolue de la vulnérabilité des populations les plus démunies face aux offensives bassement matérialistes des multinationales.

Que s'est-il passé ? Les Inuit consomment de la graisse de phoque, et cette graisse rend le médicament encore plus efficace, faisant ainsi descendre la pression sanguine au dessous du seuil fatidique TS. On avait oublié de tester la compatibilité à la graisse de phoque dans le plan d'expériences. Mais on ne peut pas penser à tout ! La graisse de phoque !

Le Laboratoire contre-attaque. Il explique que les origines du problème sont maintenant connues, et qu'il va commercialiser une version particulière du produit, destinées précisément aux populations à phoques. Il indemnise largement les victimes, et ajoute que les décès ne sont pas forcément imputables au médicament : au moment du drame, les victimes regardaient une série américaine à la télévision, et cela a pu contribuer à leur baisse de tension. Le Laboratoire crée en outre une exposition itinérante d'art Inuit (lequel vaut le détour, comme chacun sait) et fait entrer un Inuit dans l'un de ses conseils d'administration.

Auprès des Autorités Sanitaires, le Laboratoire plaide que, malgré ces accidents fâcheux, les critères fixés ont été respectés : la proportion de décès est très inférieure aux 5 % qui avaient été requis.

Bref, comme d'habitude, tout finit par s'arranger. Les Inuit ont leur médicament spécifique, les ventes reprennent et l'optimisme revient.

L'Europe est conquise, puis l'Amérique du Nord, l'Amérique du Sud, la Russie, l'Afrique du Nord. Tout semble aller pour le mieux ; les ventes sont planétaires. Il y a même des ruptures de stock, parce que le modèle de prévision des ventes avait été un peu bâclé.

La commercialisation atteint l'Afrique sub-saharienne, les Indes, le tour de l'Océan Indien, la Chine, l'Australie. Et là, les ennuis commencent : plusieurs décès suspects, puis en plus grand nombre, des plaintes, des associations de victimes, des explications embarrassées, jusqu'au retrait du produit et au dépôt de bilan final, en très peu de temps vu l'ampleur de la crise et le scandale. Ne nous attardons pas sur ces moments douloureux.

Que s'est-il passé ? Le médicament contient un principe actif, une huile extraite d'une plante tropicale, le poinsettia madagascariensis. Le Laboratoire est sérieux et, bien sûr, ce principe actif a été testé, du point de vue de sa réactivité, sur toute une population test ; et cette réactivité a été représentée par une loi uniforme entre 0 et 100. On a trouvé que certaines populations étaient plus réactives que d'autres ; on n'en savait trop rien ; on a mesuré le maximum et le minimum, et, faute d'informations précises, on a conclu à une loi uniforme entre les deux. C'est le choix naturel des Statisticiens quand ils ne savent pas. Cela arrive à tout le monde de ne pas savoir.

Oui mais voilà : il apparaît que les populations du pourtour de l'Océan Indien ont une réactivité particulière à cette huile, supérieure à 80 sur cette échelle. De ce fait, le produit est beaucoup plus actif chez elles, et les accidents se sont multipliés, bien au delà des chiffres statistiquement acceptables.

Que conclure de cette fable ? Qu'il faut supprimer les statisticiens ? Certainement pas : les statistiques sont utiles, et nous-mêmes en faisons. Mais, comme tout outil, elles ont un domaine de validité limité ; en sortir est dangereux. Nous verrons avec précision, dans ce livre, quel est ce domaine de validité ; il concerne essentiellement l'exploitation de longues séries de données, recueillies par des observations indépendantes : les mots « longues » et « indépendantes » sont essentiels. Si les séries ne sont pas longues, et si les observations ne sont pas indépendantes, on peut tout de même construire et exploiter des lois probabilistes : nous verrons comment procéder. Les probabilités sont une science exacte, où le hasard n'intervient pas. On peut construire des lois de probabilités conditionnelles, relatives à des situations spécifiques ; on ne peut pas extrapoler des statistiques de l'Europe à l'Océan Indien.

Mais le plus grand péché commis par ce Laboratoire, celui pour lequel il a finalement été puni, est d'avoir voulu se dispenser de connaissance, d'avoir cru que le hasard pouvait s'y substituer. Il n'était pas utile, croyait-il, d'essayer d'analyser et de comprendre les différentes configurations, il suffisait de tirer au hasard des échantillons ; le hasard, en quelque sorte, ferait bien les choses. Mais le hasard ne les a pas faites de la même manière pour l'Europe et l'Océan Indien, et ce qui a bien marché ici a échoué ailleurs ; la moyenne faite inconsidérément ne distinguait pas suffisamment les cas particuliers. L'erreur majeure qui a été commise est d'avoir voulu fixer les lois de probabilité initiales de manière empirique ; que ces lois soient fausses (comme c'était le cas) et c'est tout le résultat qui s'effondre. Autrement dit, le résultat « 999 pour mille de la population avec probabilité 0.999955 » signifiait en réalité « avec une probabilité 0.999955 relative à un ensemble qui ignore trois milliards d'être humains !». Simple oubli.

Si l'on cherche à étudier un processus dépendant de 30 paramètres, les statistiques sont de peu d'utilité. Il faut réduire l'espace des paramètres, comprendre que le 13ème intervient très peu, que le 18ème exerce une influence dans le sens croissant, le 22ème dans le sens décroissant, etc. : toutes choses qui n'apparaissent que lorsqu'on comprend comment le médicament fonctionne. En d'autres termes, le Laboratoire avait besoin de biologistes plus que de statisticiens.

Il est généralement facile d'éliminer un certain nombre de paramètres, et cela réduit la combinatoire d'autant. Pour d'autres paramètres, on réduit leur champ de variation : au lieu d'un intervalle large, on se ramène à un intervalle plus petit, parce que les valeurs extrêmes, pour telle ou telle raison, peuvent être éliminées.

Mais revenons à la question posée par l'Autorité Sanitaire : démontrez-nous que dans 95% des cas votre produit est sans danger. Nous nous apercevons maintenant qu'elle n'est pas claire. Signifie-t-elle que 95 % des malades doivent ressortir indemnes ? Signifie-t-elle que 95 % des configurations des paramètres sont sans danger ? La seconde est plus générale que la première, car, lorsqu'on fait varier les paramètres, on y inclut (comme expliqué au début) toutes les variabilités de poids, de taille, etc., liées aux patients, mais on y inclut aussi les variabilités de composition et de fabrication. Il y a plusieurs versions de la question, et il serait bon, en pareil cas, de demander des précisions à l'Autorité Sanitaire, étant bien entendu qu'en cas de difficulté elle rejettera immédiatement la responsabilité sur l'industriel.

Mais que la question porte sur 95 % des malades ou 95 % des configurations, le Laboratoire n'y avait pas répondu, et l'assertion bizarre « 999 pour mille de la population avec probabilité 0.999955 » n'a en définitive aucun sens prédictif. Elle ne répond pas à la question posée. Si l'on vous dit : « à l'issue du traitement, 95 % des malades doivent avoir une tension supérieure à TS », cela a un sens : vous comptez les malades au quotidien, et vous voyez à la fin de l'année combien ont une tension convenable. Mais si l'on vous dit « cela doit se produire avec probabilité 0.9999 », cela risque tout de même de ne pas se produire. Et sur quoi porte cette probabilité ? Qui l'a introduite ? De quel droit ?

Ce livre répond précisément à ces questions :

La Première Partie analyse les concepts du monde réel :

Qu'est-ce qui est aléatoire ? (chapitre 1) : dans une très grande majorité de cas, le hasard n'intervient pas réellement ; c'est le cas de la constitution du panel de malades choisis ici.

Acquisition, présentation et exploitation de l'information probabiliste (chapitres 2, 3, 4) : à partir d'observations réelles, construire des lois de probabilité réelles, et les exploiter, c'est à dire s'en servir pour prendre des décisions. C'est une science exacte. Le hasard n'y joue qu'un rôle très limité.

La Seconde Partie présente les outils nécessaires :

Les chapitres 5 à 11 construisent les outils probabilistes, en insistant sur les pièges que pose l'indépendance, qui est rarement réalisée en pratique.

Les chapitres 12 et 13 concernent la calibration des appareils de mesure et l'exploitation des résultats des mesures.

Le chapitre 14 s'intitule « Evaluation d'un taux de risque », et notre laboratoire aurait été bien inspiré de le lire.

Les chapitres 15 à 20 présentent toutes les méthodes pour prendre une décision à partir d'une information probabiliste, c'est à dire d'un échantillon de mesures. A partir des 10 000 malades testés, on pouvait tout de même prendre de bonnes décisions. Lesquelles et pourquoi ?

La Troisième Partie présente des exemples :

Les chapitres 21 à 28 présentent un certain nombre de modélisations réalisées par la SCM à propos de phénomènes réels : météorologie, renversement d'un train par un vent, guidage d'un missile, simulations technico-opérationnelles, etc.

Enfin, le chapitre 29 présente un certain nombre de techniques de modélisation : comment construire un modèle réel, en utilisant tous les outils vus précédemment ?

Nous nous sommes ainsi efforcés de réunir en un seul volume tous les outils probabilistes nécessaires à l'exploration des phénomènes réels. Nous commençons par une analyse critique des situations où les probabilités peuvent être utilisées, et leur emploi ne doit rien au hasard ! Nous développons ensuite les outils nécessaires, dans le cadre théorique approprié, sans formalisme inutile. Enfin, nous donnons des exemples concrets d'applications, mettant en évidence le gain que ces méthodes apportent, lorsqu'elles sont correctement mises en œuvre.