Gribouillis dans les marges

Normalisation de la déviance

En complément d’un résumé d’une réflexion de danah boyd sur la place de l’éthique dans les systèmes complexe, Hubert Guillaud évoque un article de Jerry Useem reprenant les travaux de la sociologue Diane Vaughan sur la « normalisation de la déviance ». Ce qui m’intéresse ici n’est pas tant les questions éthiques que l’étude de comment une organisation se fourvoie peu à peu jusqu’à prendre des décisions dramatiques et incompréhensibles avec le recul. C’est le cas par exemple du lancement de la navette Challenger, alors que ses problèmes de sécurité étaient connus. Ou du refus par Ford de rappeler un de ses modèles de voiture pour corriger un défaut potentiellement mortel.

Citation(s) extraite(s) de «  » par Hubert Guillaud

Comme le souligne également l’analyse des processus de décision de Volkswagen qui ont conduit au développement de logiciels tricheurs, cette “normalisation de la déviance” dont parle la sociologue Diane Vaughan, conduit bien souvent à prendre de mauvaises décisions suite à la démultiplication des compromis, explique Jerry Useem dans The Atlantic.

(…)

boyd fait également référence au travail d’Hannah Arendt sur la banalité du mal ou de Stanley Milgram sur l’obéissance, qui ont montré combien les gens pouvaient faire des choses inhumaines simplement parce qu’ils étaient invités à le faire.

(…)

quand les systèmes de calcul sont en cause, la responsabilité est de plus en plus confuse et indéterminée (…). En fait la capacité de réflexion ou l’éthique des individus importe peu. L’éthique dans les grands systèmes complexes, influencés par une multitude d’intentions et de motivations, façonnés par des politiques et des logiques organisationnelles et compliquées par des questions de pouvoir et de contrôle demeure complexe…

Citation(s) extraite(s) de «  » par Jerry Useem

The sociologist Diane Vaughan coined the phrase the normalization of deviance to describe a cultural drift in which circumstances classified as “not okay” are slowly reclassified as “okay.” In the case of the Challenger space-shuttle disaster, damage to the crucial O‑rings had been observed after previous shuttle launches. Each observed instance of damage was followed by a sequence “in which the technical deviation of the O‑rings from performance predictions was redefined as an acceptable risk.” Repeated over time, this behavior became routinized into what organizational psychologists call a “script.” Engineers and managers “developed a definition of the situation that allowed them to carry on as if nothing was wrong.” To clarify: They were not merely acting as if nothing was wrong. They believed it, bringing to mind Orwell’s concept of doublethink, the method by which a bureaucracy conceals evil not only from the public but from itself.

(…)

Denny Gioia (…), in the early 1970s, was the coordinator of product recalls at Ford. At the time, the Ford Pinto was showing a tendency to explode when hit from behind, incinerating passengers. Twice, Gioia and his team elected not to recall the car (…). Executives are bombarded with information. To ease the cognitive load, they rely on a set of unwritten scripts imported from the organization around them. You could even define corporate culture as a collection of scripts. Scripts are undoubtedly efficient. Managers don’t have to muddle through each new problem afresh, Gioia wrote, because “the mode of handling such problems has already been worked out in advance.” But therein lies the danger. Scripts can be flawed, and grow more so over time, yet they discourage active analysis. Based on the information Gioia had at the time, the Pinto didn’t fit the criteria for recall that his team had already agreed upon (a clearly documentable pattern of failure of a specific part). No further thought necessary.

(…)

The most troubling thing, says Vaughan, is the way scripts “expand like an elastic waistband” to accommodate more and more divergence.