Nel gennaio 2020, Robert Julian-Borchak, un uomo di colore, è stato arrestato a Detroit per un crimine che non aveva commesso e soltanto per un errore di un sistema IA di riconoscimento facciale. Questo, secondo il New York Times, è stato il primo caso conosciuto di un cittadino americano arrestato per un errore dell’algoritmo.
Il caso di Robert Julian-Borchak racconta la storia dei nostri tempi. Oggi, sempre di più, sistemi di intelligenza artificiale vengono utilizzati da forze dell’ordine e tribunali per monitorarci, tracciarci e profilarci in modo da determinare la nostra possibile innocenza o colpevolezza. Queste trasformazioni non riguardano solo gli Stati Uniti, ma anche in Europa la logica algoritmica è sempre più diffusa nei contesti di giustizia penale [1] o prevenzione del crimine [2].
L’errore umano dell’intelligenza artificiale: ecco perché dobbiamo imparare a conviverci
L’uso di queste tecnologie da parte di tribunali e forze dell’ordine può avere un impatto deleterio sui nostri diritti e le nostre libertà, come dimostra l’esempio di Robert Julian-Borchak, ed è per questo che questi sistemi devono essere capiti, studiati, collaudati e a volte proibiti.
In aprile 2021, la Commissione europea ha pubblicato la nuova Proposta di un regolamento sull’Intelligenza Artificiale in Europa, che cerca di far proprio questo. La nuova proposta stipula che i sistemi IA che vengono utilizzati per profilare gli individui – da parte delle forze dell’ordine, educatori, risorse umane ecc. – siano considerati ad alto rischio, e suggerisce la proibizione in Europa di pratiche come il social scoring o la sorveglianza biometrica “in tempo reale”. Il regolamento prevede anche maggiore responsabilità sull’uso di tutti i sistemi IA ad alto rischio e trasparenza sulle banche dati utilizzate per il loro training. Ciò che emerge chiaramente dalla proposta della Commissione UE è che i sistemi di IA volti alla profilazione umana sono esposti a diversi tipi di errori e bias impliciti (pregiudizi) e quindi possono amplificare le disuguaglianze nella nostra società e possono avere un impatto negativo sui diritti umani.
La proposta della Commissione Europea per un regolamento sull’intelligenza artificiale è – a mio parere – un passo avanti molto importante. Tuttavia, credo anche che dobbiamo essere realistici, imparare dall’esperienza del GDPR e ricordare che l’implementazione di proposte legislative come questa in Europa non è affatto facile. La verità è che la nostra vita quotidiana è ormai definita da una quantità incredibile di decisioni algoritmiche, che non sono facilmente controllabili o governabili.
La storia di Robert Julian-Borchak sembra assurda, distopica, e kafkiana. È un caso estremo. Nella sua estremità, però, ci mette di fronte ad una storia molto più banale, molto più ordinaria: ogni giorno veniamo giudicati da sistemi IA e ogni giorno i loro errori, i loro bias possono limitare le nostre libertà.
Vite intere giudicate dagli algoritmi?
I cambiamenti tecnologici degli ultimi anni, le innovazioni nel campo dei big data e intelligenza artificiale, ci hanno portato ad una situazione storica in cui i nostri dati personali, vengono utilizzati per decidere aspetti fondamentali della nostra vita quotidiana.
Quando cerchiamo un lavoro, stipuliamo una assicurazione, chiediamo un finanziamento, iscriviamo i nostri figli a scuola e in altre innumerevoli situazioni questi dati – decontestualizzati, sterilizzati e confrontati con benchmark e algoritmi standard – vengono usati per giudicarci. Per anni ho studiato questa trasformazione concentrandomi soprattutto sulla datificazione dei cittadini da prima della nascita e la racconto nel mio ultimo libro pubblicato da MIT Press e intitolato Child | Data | Citizen: How Tech Companies are Profiling Us from before birth (2020) e anche nel mio nuovo libro – intitolato I Figli dell’Algoritmo – che verrà pubblicato in Italia da LUISS University Press, quest’anno.
La mia ricerca mi ha portato alla conclusione che per la prima volta nella storia dell’uomo – stiamo creando una generazione di cittadini che vengono datificati dalla nascita. Dal momento in cui i bambini vengono concepiti, le loro informazioni mediche vengono spesso condivise sulle App di gravidanza o sui social media. Nella vita di tutti i giorni i loro dati personali vengono raccolti e archiviati da tecnologie domestiche e assistenti virtuali nelle loro case, da piattaforme educative nelle scuole, da documenti e portali online presso lo studio del medico, dai loro giocattoli connessi a Internet, dai loro giochi online e da molte, molte, molte altre tecnologie. Tutti questi dati personali vengono aggregati, scambiati, venduti e trasformati in profili digitali che possono seguirli per una vita.
Una delle idee principali della mia ricerca è la realizzazione che al giorno d’oggi non c’è più confine tra i dati del consumatore, che vengono raccolti per proporre pubblicità più mirate, e i dati del cittadino, che vengono raccolti per decidere se possiamo avere accesso o meno a determinati diritti (Barassi, 2020). Un esempio chiave che racconto in I Figli dell’Algoritmo viene dagli Stati Uniti.
Il 26 febbraio del 2021, il Washington Post ha riportato la notizia che ICE (il corpo di polizia che controlla l’immigrazione negli Stati Uniti) ha avuto accesso ad un database che si chiama CLEAR – di Thomson Reuters. Il database include più di 400 milioni di nomi, indirizzi e registri di utenti creati con i dati dei consumatori raccolti da più di 80 società che si occupano delle bollette dell’acqua, gas, elettricità, telefono, Internet e TV via cavo. Quando sono andata sul sito di CLEAR ho scoperto che il database è usato per diversi tipi di investigazioni governative e istituzionali che vanno ben oltre le violazioni dell’immigrazione. Infatti, il database viene usato per combattere la frode fiscale, sanitaria, il riciclo di denaro oppure per prendere decisioni riguardo l’affidamento dei bambini. Senza che gli utenti lo sappiano, i loro dati domestici vengono incrociati e condivisi, e vengono usati per decidere i loro diritti.
Stiamo vivendo una nuova realtà dove – sempre di più- le nostre informazioni che accettiamo di offrire come consumatori, vengono usate da sistemi IA di analisi predittiva e profilazione per determinare i nostri diritti umani. A differenza di altri paesi – come l’America e la Cina – l’Europa e l’Italia offrono maggiori protezioni per quanto riguarda l’uso dei nostri dati personali e la privacy. Eppure, anche in Italia e in Europa stiamo confrontandoci con una rapida digitalizzazione delle infrastrutture governative e un aumento dell’analisi predittiva a livello istituzionale. In Italia, un segno di questa trasformazione la troviamo nelle dichiarazioni programmatiche del Presidente Draghi.
La cosa che a me stupisce di più quando penso a queste trasformazioni, è la velocità con cui sistemi IA volti alla profilazione umana vengano addottati in diversi contesti, da scuole a ospedali, da forze dell’ordine a infrastrutture governative. Sembra quasi che nell’ultima decade ci siamo davvero convinti che le tecnologie usate per l’analisi predittiva, l’incrocio dei dati, il riconoscimento facciale, la classificazione dell’emozioni e tutte le altre tecnologie che vengono utilizzate da sistemi IA offrano una conoscenza più approfondita sui comportamenti e psicologia umana. La domanda che dobbiamo porci è: possiamo fidarci di queste tecnologie quando si tratta di leggere gli esseri umani? La mia risposta è no.
L’errore umano nei nostri dati
Nel 2018, mi sono seduta in un ristorante affollato a Los Angeles, dove ho incontrato Cara, uno dei genitori che ho intervistato per la ricerca per il mio libro Child Data Citizen. Il ristorante era rumoroso, e rifletteva tutta la vivacità sensoriale a cui eravamo abituati in un mondo pre-Covid 19. Durante l’intervista Cara ha definito le compagnie pubblicitarie su internet come dei “parassiti” e “pettegoloni”, e ha spiegato: “quando la gente sembra dedurre qualcosa su di te sulla base di una certa informazione o voce di corridoio, allora è sbagliato, sembra un pettegolezzo. Quando vengo presa di mira per una ricerca che ho fatto su Google mi sento esattamente così; come se qualcuno stesse spettegolando su di me”.
Nella sua semplicità, l’analogia di Cara mostra uno degli aspetti più problematici del profiling digitale. Ci ricorda che le tecnologie dei dati costruiscono immagini approssimative di chi siamo sulla base di pezzi di informazioni che aggregano e incrociano. Dobbiamo renderci conto che molte volte c’è una mancanza di legame tra le nostre pratiche digitali e i dati che produciamo. Le nostre pratiche digitali sono complesse, contraddittorie; riflettono diverse intenzioni, valori e situazioni, e non sono l’espressione di comportamenti precisi. A volte non usiamo le tecnologie come dovremmo, e le usiamo in modo tattico. Per esempio, nelle famiglie in cui ho lavorato, pratiche come l'”autocensura” o il “giocare con l’algoritmo” avevano proprio lo scopo di confondere il tracciamento di dati online.
Gli algoritmi non sono attrezzati per comprendere la complessità umana, e finiscono per fare ipotesi riduzioniste ed errate sull’intenzione dietro una specifica pratica digitale (una ricerca sul web, un acquisto o un post sui social media). Questo perché i dati che vengono raccolti dalle nostre pratiche digitali – e utilizzati per creare i nostri profili digitali – sono spesso privati dei sentimenti, dei pensieri e del contesto che li ha prodotti. Per fare luce su questo problema, nel 2018 ho scritto un rapporto firmato da Gus Hosein, CEO di Privacy International e supportato da Jeff Chester, direttore del Centre For Digital Democracy di Washington DC, dove parlo della complessità antropologica dei dati che vengono raccolti dalle nostre case (home life data). Nel rapporto mostriamo che i sistemi di IA come gli assistenti virtuali – che sono utilizzati da Big Tech per “profilare” gli individui, trovare “soluzioni personalizzate” o “mitigare i rischi futuri” (come nel caso della profilazione vocale per determinare uno stato mentale) – si basano su dati raccolti attraverso pratiche domestiche digitali che sono disordinate, incomplete e contraddittorie. Concludiamo quindi che essere profilati sulla base di queste tracce di dati porterebbe inevitabilmente a un’analisi riduzionista e imprecisa dei nostri comportamenti.
Il problema dei nostri sistemi IA, però, non è solo che imparano da dati umani che sono spesso separati dall’intenzione e decontestualizzati, ma anche che vengono molto spesso addestrati con banche dati pieni di errori e pregiudizi culturali e sociali. Nel 2019, per esempio, i ricercatori dell’AI Now Institute di New York hanno pubblicato un rapporto terrificante sugli usi delle tecnologie IA da parte della polizia negli Stati Uniti. Il rapporto ha rivelato che in diverse giurisdizioni, le tecnologie IA utilizzate dalla polizia per analisi predittiva si sono basate su “dati sporchi”, o in altre parole dati che erano stati raccolti durante un periodo storico in cui i corpi di polizia erano affetti da pratiche corrotte e ideologie razziste [4]. Questo è uno studio che io cito spesso, e che trovo particolarmente importante perché ci dimostra che se i sistemi di IA sono addestrati con set di dati che sono biased e imprecisi, finiscono per rinforzare e amplificare le disuguaglianze presenti nella nostra società. Quindi dobbiamo mettere in discussione i set di dati che vengono utilizzati per costruire i nostri sistemi di IA. Solo così possiamo cominciar a capire meglio perché questi sistemi sono molto spesso sbagliati e biased nella profilazione umana. In Italia, per esempio una domanda importante che dovremmo porci è perché nel database utilizzato dalle forze dell’ordine per il riconoscimento facciale (Sari), che comprende 16 milioni di cittadini, l’80% delle voci sono stranieri (2019 inchiesta Wired Italia).
Quando pensiamo agli errori e bias impliciti dei nostri database, dobbiamo renderci conto che purtroppo non esiste una vera soluzione. Le nostre banche dati non possono davvero essere corrette con dati “puliti e senza errori”, perché molti dei nostri dati personali – e come vengono raccolti – riflettono il contesto sociale e culturale che li ha creati, e quindi sono intrinsecamente biased. Abbiamo la responsabilità di ridurre i nostri errori e bias nella raccolta dati, ma non possiamo evitarli completamente. Questa per me è la chiave di lettura. Se vogliamo davvero capire e limitare l’impatto sociale dei sistemi IA, dobbiamo riconoscere l’errore umano dell’intelligenza artificiale. È per questo motivo che, nell’ultimo anno, ho lanciato un nuovo progetto di ricerca all’Università di San Gallo, che si intitola The Human Error Project: AI, Human Nature and the conflict over Algorithmic Profiling. Nella mia ricerca, io e il mio team usiamo il concetto di “errore umano” proprio per sfruttare la sua ambivalenza e ambiguità. Le tecnologie IA sono spesso utilizzate per rendere il processo decisionale più efficiente e oggettivo e per “evitare l’errore umano”. Eppure, paradossalmente, quando si tratta di leggere le persone queste tecnologie sono piene di “errori” sistemici, “bias” e “imprecisioni”. Credo che sia fondamentale studiare questi errori perché fanno luce sul fatto che la corsa all’innovazione dell’IA è spesso plasmata non solo da interpretazioni stereotipate e approssimative della natura umana, ma anche da teorie scientifiche problematiche che si basano su una lunga storia di riduzionismo umano.
L’errore umano nei sistemi IA: tra riduzionismo e pregiudizio scientifico
A febbraio del 2021, la CNN ha pubblicato la notizia di un software IA, chiamato 4 Little Trees, che viene usato in alcune scuole di Hong Kong per analizzare le espressioni facciali dei bambini, determinarne le emozioni e intervenire a livello pedagogico. Pochi giorni dopo Kate Crawford, fondatrice dell’AI Now Institute a New York ha scritto un articolo su Nature [5], usando proprio questo esempio. Nell’articolo, Crawford ci fa notare come la scienza dietro questo sistema IA (e dietro la maggior parte di sistemi di classificazione delle emozioni facciali) sia basata sulle teorie di Ekman secondo cui esistono 6 emozioni “universali” che sono innate, interculturali e coerenti – paura, rabbia, gioia, tristezza, disgusto e sorpresa – e che possono essere lette attraverso l’analisi delle espressioni facciali.
Crawford cita l’antropologa Margaret Mead evidenziando come la teoria di Ekman sia fallimentare perché non tiene in conto del contesto, della cultura e altri fattori sociali. Se pensiamo alla conoscenza antropologica, infatti, ci rendiamo conto che l’idea che le nostre emozioni siano universali e abbiano una corrispondenza oggettiva nel nostro corpo (come le espressioni facciali) è ancora tutta da provare. Qui non sto solo pensando al lavoro di Michelle Rosaldo sulla costruzione culturale dell’emozioni [6], ma anche al lavoro di Brian Morris sull’antropologia dell’io che dimostrano come psicologia e emozioni non sono solo determinate puramente da processi cognitivi ma da processi culturali [7].
L’idea che esistano 6 emozioni universali da mappare a espressioni facciali è stata screditata non solo dalla conoscenza antropologica ma anche dal lavoro di psicologi come Gendron et. al che hanno condotto uno studio comparato tra partecipanti americani e partecipanti della tribù dell’Himba facendo notare come le ricerche passate sull’universalità delle emozioni avessero usato metodi di ricerca non corretti [8]. Barrett et al., invece hanno dimostrato che ci sono ancora molte domande aperte sulla relazione tra espressioni e emozioni e che molte volte le persone non esprimono una sola emozione con l’espressione facciale [9]. La domanda, quindi, nasce spontanea: perché il mercato di IA di classificazione emotiva cerca validità scientifica nelle teorie di Ekman? La risposta secondo Crawford è ovvia: la teoria di Ekman è stata adottata perché si adatta a ciò che i sistemi IA possono fare [5]. Sei emozioni coerenti possono facilmente essere standardizzate e automatizzate su scala – a patto che i problemi più complessi siano ignorati.
La maggior parte dei nostri sistemi di IA sono basati sulla scienza occidentale, che è plasmata da una comprensione spesso distorta e riduzionista della natura umana. È per questo che i nostri sistemi non interpretano male solo le nostre emozioni, ma anche i nostri corpi. Negli ultimi 6 mesi io e la mia squadra sul The Human Error Project ci siamo resi conto che la maggior parte di esempi di errore algoritmico che venivano citati in più di 100 articoli di media internazionali in Europa prevedevano errori di lettura sul corpo umano e gli algoritmi venivano definiti razzisti o sessisti. Se vogliamo apprezzare davvero perché i sistemi IA e gli algoritmi sembrano sbagliare così tanto quando si tratta di leggere il corpo umano, dobbiamo guardare la storia del pregiudizio scientifico del pensiero occidentale (Poux-Berthe and Barassi, 2021). Nel 1981, Gould, per esempio, ha scritto un libro intitolato The Mismeasure of Man, dove dimostra come il pensiero scientifico occidentale si sia spesso basato su misure scientifiche che partivano dalle analisi biologiche modellate sull’uomo bianco [10]. Gould era particolarmente affascinato dai test su IQ e l’idea che l’intelligenza potesse essere misurata biologicamente (per esempio la misura del cranio) e dimostra come i benchmark di questi test usino l’uomo bianco come punto di riferimento. Una simile interpretazione la troviamo anche nel libro della sociologa Strings Fearing the Black Body che dimostra come i calcoli sull’indice di massa corporea, non sono stati raggiunti da studi che hanno misurato cosa voglia dire avere un peso-forma salutare in diverse etnie e contesti culturali, ma sono invece modellate su idee culturali e riduzioniste che prendono come riferimento il corpo caucasico [11].
Le tecnologie che stiamo creando si basano su dati e misure scientifiche che molto spesso portano con sé una lunga storia di riduzionismo umano e bias impliciti. Per questo non dobbiamo sorprenderci di tutti gli errori che stanno emergendo, quando si tratta della profilazione degli esseri umani. Un esempio chiave e particolarmente importante al momento che dimostra il riduzionismo umano dei nostri sistemi si trova nelle app di tracciamento dei contatti Covid-19. Nel suo affascinante lavoro, Milan ha dimostrato che la maggior parte di queste app si basa su un soggetto sperimentale “standard” che difficilmente permette di esplorare il ruolo di variabili come il genere, l’etnia, la razza o il basso reddito [12]. Milan mostra come le radici di questo riduzionismo, derivano dalla pratica stessa del design. È per questo motivo che si rifà all’antropologo Arturo Escobar che ha avanzato una nuova visione della teoria del design che tiene conto del pluriverso complesso e intersezionale in cui viviamo [13]. Pensare al pluriverso nel design delle tecnologie IA è sicuramente un passo avanti, come dice Escobar. Un altro passo importante, tuttavia, è quello di imparare a coesistere con l’errore umano dell’IA e riconoscere che questi sistemi saranno sempre in parte imprecisi e biased quando si tratta della profilazione umana.
Imparare a convivere con l’errore umano dell’intelligenza artificiale
Oggi si parla molto di bias dei sistemi IA, sempre più aziende tech stanno cercando di trovare soluzioni “etiche” per combattere i loro pregiudizi nei loro prodotti e tecnologie. È per questo motivo che stanno finanziando la ricerca e istituendo comitati consultivi che hanno lo scopo di esaminare gli impatti etici e politici delle loro tecnologie. Al centro di queste strategie e pratiche adottate dalle aziende, c’è la comprensione stessa che gli algoritmi sono distorti perché sono stati alimentati con “cattivi dati” e quindi, al fine di correggere il bias algoritmico, le aziende devono addestrare gli algoritmi con “dati equi” o “imparziali”. Le attuali strategie per ‘combattere il bias algoritmico’ nel settore sono profondamente problematiche perché spingono alla conclusione che gli algoritmi possano essere corretti, ed essere imparziali [14].
Le attuali strategie per ‘combattere i bias algoritmici’, a mio parere non sono solo problematiche, ma sembrano non centrare il problema. Non esiste un sistema informatico che non sia biased. Nel 1996, Friedman e Nissenbaum, per esempio, hanno identificato tre tipi di bias nei sistemi informatici: bias preesistenti (il bias degli esseri umani che progettano sistemi informatici e il bias prodotto dal contesto culturale che influenza il design) bias tecnico (spesso c’è una mancanza di risorse nello sviluppo di sistemi informatici, e gli ingegneri lavorano con limitazioni tecniche, basta pensare all’esempio del riconoscimento emotivo) bias emergenti (la società è sempre in cambiamento e quindi le tecnologie progettate in un dato momento o contesto culturale potrebbero diventare biased in un tempo e contesto diverso) [15].
Gli algoritmi e i sistemi di IA sono fatti dall’uomo, e saranno sempre modellati dai nostri valori culturali e condizioni tecniche e sociali che li hanno creati. Invece di cercare di risolvere il bias dei sistemi IA e il loro errore umano, dobbiamo trovare il modo di coesistere con esso. L’antropologia qui ci può aiutare molto. Gli antropologi hanno cercato a lungo di affrontare il fatto che gli individui interpretano necessariamente i fenomeni della vita reale secondo le loro credenze culturali e la loro esperienza [16], e che i pregiudizi culturali si traducono necessariamente nei sistemi che costruiamo, compresi quelli scientifici [17]. Da una prospettiva antropologica, non c’è niente che possiamo davvero fare per “correggere” o combattere il nostro pregiudizio culturale, perché sarà sempre lì. L’unica cosa che possiamo fare è riconoscere l’esistenza dei pregiudizi attraverso una pratica autoriflessiva e ammettere che i sistemi, le rappresentazioni e gli artefatti che costruiamo non saranno mai veramente “oggettivi”. Questa stessa comprensione dovrebbe essere applicata a tutti i nostri sistemi IA.
Bibliografia
[1] Završnik, Aleš. 2019. « Algorithmic Justice: Algorithms and Big Data in Criminal Justice Settings ». European Journal of Criminology: 1477370819876762.
[2] Figini, Silvia, et Vittoria Porta. 2019. « Algoritmi anti-crimine: tutte le tecnologie in campo ». Agenda Digitale. https://www.agendadigitale.eu/cultura-digitale/algoritmi-anti-crimine-tutte-le-tecnologie-in-campo/ (6 mai 2021).
[3] Barassi, Veronica. 2020. Child Data Citizen How Tech Companies Are Profiling Us from before Birth. MIT Press. https://mitpress.mit.edu/books/child-data-citizen (6 mai 2021).
[4] Richardson, Rachida, Jason Schultz, et Kate Crawford. « Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice ». NYU Law Review. https://www.nyulawreview.org/online-features/dirty-data-bad-predictions-how-civil-rights-violations-impact-police-data-predictive-policing-systems-and-justice/ (6 mai 2021).
[5] Crawford, Kate. 2021. « Time to Regulate AI That Interprets Human Emotions ». Nature 592(7853): 167‑167.
[6] Rosaldo, Michelle Zimbalist. 1980. Knowledge and Passion. Cambridge University Press.
[7] Morris, Brian. 1994. Anthropology of the Self: The Individual in Cultural Perspective. Pluto Press.
[8] Gendron, Maria, Debi Roberson, Jacoba Marietta van der Vyver, et Lisa Feldman Barrett. 2014. « Perceptions of Emotion from Facial Expressions are Not Culturally Universal: Evidence from a Remote Culture ». Emotion (Washington, D.C.) 14(2): 251‑62.
[9] Barrett, Lisa Feldman et al. 2019. « Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements ». Psychological Science in the Public Interest 20(1): 1‑68.
[10] Gould, Stephen Jay, Steven James Gold, et The Alexander Agassiz Professor of Zoology Stephen Jay Gould. 1996. The Mismeasure of Man. Norton.
[11] Strings, Sabrina. 2019. Fearing the Black Body The Racial Origins of Fat Phobia. NYU Press. https://nyupress.org/9781479886753/fearing-the-black-body (6 mai 2021).
[12] Milan, Stefania. 2020. « Techno-Solutionism and the Standard Human in the Making of the COVID-19 Pandemic ». Big Data & Society 7(2): 2053951720966781.
[13] Escobar, Arturo. 2018. Designs for the Pluriverse : Radical Interdependence, Autonomy, and the Making of Worlds. Durham: Duke University Press.
[14] Gangadharan, Seeta Peña, et Jędrzej Niklas. 2019. « Decentering technology in discourse on discrimination ». Information, Communication & Society 22(7): 882‑99.
[15] Friedman, Batya, et Helen Nissenbaum. 1996. « Bias in computer systems ». ACM Transactions on Information Systems 14(3): 330‑47.
[16] Clifford, James, et George E. Marcus. 1986. Writing Culture: The Poetics and Politics of Ethnography : A School of American Research Advanced Seminar. University of California Press.
[17] Latour, Bruno, et Steve Woolgar. 1986. Laboratory Life: The Construction of Scientific Facts. Princeton University Press.
