Statement on Pluralism in Existential Risk Studies

This statement was drawn up by a group of researchers from a variety of institutions who attended the FHI and CSER Workshop on Pluralisms in Existential Risk Studies from 11th-14th May 2023. It conveys our support for the necessity for the community concerned with existential risk to be pluralistic, containing a diversity of methods, approaches and perspectives, that can foster difference and disagreement in a constructive manner. We recognise that the field has not yet achieved this necessary pluralism, and commit to bring about such pluralism. A list of researchers who support the statement is included at the end. In the spirit of pluralism, whilst we signatories do not all necessarily endorse every point contained within the statement, we stand sufficiently behind the thrust of the statement that we think it is well worth making. 

We believe it is important that the community concerned with existential risk is well adapted to its purposes, and that pluralism is necessary for this community to achieve various  epistemic, ethical and pragmatic goals that each of us hold to be important.

Existential risk, as a concept, is defined in a multitude of ways in our community. Some in this group think it to be ‘risks of human extinction, societal collapse and other events associated with these’ [1], others conceptions involve ‘risk of permanent loss of humanity’s potential’ [2] or the risk of the loss of large amounts of expected value of the future [3]. Some see it as an inseparable part of the broader class of risks to the existence of individuals, communities or specific 'worlds' [4]. While differing definitions of existential risk can and do lead to relevant divergence,it also seems we (the signatories) regularly have enough of a shared interest in working together, learning from each other (even through our disagreements) that being part of the same, pluralistic community appears to be mutually beneficial. This needn’t mean we will come to the same conclusions, or always agree; rather it suggests that we would all benefit from the existence of a healthy, pluralistic intellectual ecosystem concerned with issues around the plurality of conceptions of existential risk. 

We disagree, or take different approaches, on a lot. We differ on the methods we think best for studying existential risk [5]. We differ on the epistemic aims of such research [6]. We differ on what should be accepted as evidence [7] and how this evidence ought to be interpreted [8], evaluated [9] and aggregated [10]. We differ on what core assumptions should underpin our visions of existential risk [11] and how to research them [12]. We differ on our visions of the future. We differ as to what is ethically important or acceptable [13]. We differ on our politics and how this relates to our thinking and practice with regards to existential risk. We have different methodologies, epistemologies and ethics. 

These differences do not emerge from nowhere; they are both a feature of intellectual differences between schools of thought and research cultures, as well as a feature of deeper global structural factors such as inequality and deep rooted cultural difference [14]. Indeed, one of the reasons these deep disagreements are often obscured is because the same global structures of inequality also lead to many important voices that give expression to such different perspectives not being present in the field. Thus, any movement towards pluralism ought to acknowledge these structural forces and the role they have played in the development of the field and the production of existential risk thus far. Preventing  the reproduction of these structures will be essential to broadening the conversation around existential risk; why such broadening is important in the aim of reducing existential risk will be discussed below. 

Differences are a strength. We think our community can be better by each of our own lights through a plurality of approaches, even those about which we disagree amongst ourselves. Further, we suggest that the power to confer support for different approaches should be distributed among the community rather than allocated by a few actors and funders, as no single individual can adequately manifest the epistemic and ethical diversity we deem necessary. This position is justified by the following reasons. 

Firstly, we recognise the high level of uncertainty [15] involved in studying a large class of existential risks. Much of our reasoning is based on novel ideas and unexplored models of the world, often with sparse or heavily contested evidence to support the assumptions that fundamentally underpin them [16]. Whilst it is possible to make evidence-based claims, evidence seems so sparse that no decisive case can be made for a single approach. It may be equally as reasonable, given the sparse evidence available, to base enquiry off a variety of different assumptions. As such, it is prudent to adopt a pluralistic approach, to allow us to ‘hedge our bets’ and develop a variety of lines of inquiry. Moreover, under such uncertainty, scientific creativity is important [17], which thrives better in pluralistic communities than in homogeneous ones. We are still uncertain with regard to which questions to ask, let alone the correct methods and assumptions to underpin the process of answering them, that taking many approaches appears to us the correct course of action.

Secondly, disagreement can be constructive, so a pluralistic community can allow us to make discoveries or develop ideas none of us individually would have reached. This is not to suggest that these new ideas come from convergence towards a singular truth, but rather that the process of disagreement, and the exposure to new concepts, can play a key role in the epistemic process.  Creating an intellectual ecosystem that encourages cross-fertilization through encounter and disagreement may help to clarify useful courses of action for mitigating existential risk, whilst avoiding premature convergence; indeed, convergence on a single course of action may be imprudent given our epistemic situation [18].

Thirdly, having a pluralistic community can be instrumentally useful, to allow us to understand how to reduce existential risk from several perspectives, and allow us to build coalitions to combat risk. Much of existential risk reduction is political [19], so diverse and broad based coalitions can give us a useful political basis for action. Many different types of existential risk may have similar political causes [20], and a pluralistic community may open up new avenues for collaboration with those whom we each have common cause [21]. This is not to say this will always happen; indeed, an important aspect of pluralism is its openness to a proliferation of possibilities; but having a pluralistic community will allow for fruitful possibilities for collaboration when unified political aims are present. Thus, in the conditions where it is possible, the pluralistic community would be the site for incompletely theorised agreements of necessary political action. 

Finally, there are also reasons to want a community where a plurality of normative ideas are represented. While many of us are deeply concerned with the idea of building futures consistent with each of our best ethical theories, we all have at least some degree of ethical uncertainty about what views are best. It may be that different ethical theorists are all “climbing the same mountain”, or it may be that they are deeply and irreconcilably divided. However, none of us are able to answer this question with certainty (indeed, many of us think this is unanswerable). Nevertheless existential risk, and how we should respond to it, is deeply bound up with our normative beliefs about what would be good and bad [22]. Highlighting, collaborating with or respecting people of different ethical viewpoints is therefore vital to working together within a pluralistic community. Indeed, having a variety of ethical perspectives heard and empowered may be vital to the achievement of justice within existential risk, an ethical priority that for many of us is crucial.

We want to acknowledge, draw benefit from, and support the existing pluralism of the community, and to actively cultivate a greater plurality of perspectives, methodologies, worldviews, and values. In the academic community, this will mean exploring and encouraging disciplines that are often neglected in studying existential risk, such as science and technology studies (STS), political science, peace and conflict studies, archaeology, anthropology and sociology. It may mean utilising existing methods from a wider range of disciplines and attempting to innovate our own methods. It also means genuine respect for and inclusion of those people who are outside of groups typically considered ‘experts’. This will also likely require more care put into publication practices for those engaged in research, including greater consideration and conversation of the appropriate role of different fora in the epistemic process, including peer reviewed publications, than has currently been the case to date. A greater focus on creating a research culture that actively promotes creativity and diversity of evidence-based thinking will be key. 

Moreover, all of this entails greater geographic, socio-economic, cultural, gender, racial and ability diversity, both in terms of those who may have interest in being a part of the community, and those whom the community may learn from. In particular, providing opportunities for those outside the traditional centres of the community concerned with existential risk (the USA and Northern Europe) to engage as part of or in dialogue with the community we are creating is vitally important. This diversification and increased inclusion would only be beneficial if engaged in a manner of mutual respect and equality rather than attempting to leverage existing power imbalances to allow for a particular perspective to dominate; it cannot just be on the terms of those of us with already entrenched privilege. Dialogue and openness towards those with different ethical perspectives, particularly non-Western ethical perspectives, different definitions of existential risk and different bases with which they start reasoning about existential risk from should also be a key priority; expanding the community such that we can learn and collaborate with those from a diverse range of perspectives is ethically and epistemically important. 

We recognise that this vision will have trade-offs. A community like this will take time, money and energy to help build and maintain that could be used for other purposes. A more diverse and pluralistic community would involve the ceding of some power within the community by those with the most influence and authority at present, and a ceding of the dominance of the present dominant viewpoints; such a process will be difficult. Engaging with a diversity of viewpoints will compromise some of the unity that exists in the field, which will inevitably lead to more conflict than at present, and reduce the ability of the field to rapidly converge on a set of similar viewpoints, including around prioritisation. Nonetheless, pushing the field in the direction of greater pluralism is worth such a cost given the benefits for the epistemic and ethical health of the community in achieving its plurality of purposes. 

We thus declare our support for moving the existential risk community towards greater pluralism, and acknowledge our responsibility in trying to bring this about. We have only given a rough sketch of what pluralism must entail, and hope that the process of building such a community will help concretise what it means in practice. We don’t wish to merely respect each other at a distance, but desire more active engagement, sharing ideas and disagreement with people from across the community, and empowerment of each other to take different approaches. We don’t merely wish for the perspectives of those of us with the most power to dominate, but rather to create a culture where a genuine proliferation of evidence-based insights can occur. This requires support in many different forms from different actors in the community, which we are optimistic can happen; if we are to bring about a less endangered world, it must. 

Signed by:

Gideon Futerman (University of Oxford, Coordinator and principal author of this statement)

SJ Beard (Senior Research Associate, Centre for the Study of Existential Risk, University of Cambridge)

Anders Sandberg (Senior Research Fellow, Future of Humanity Institute, University of Oxford)

Paul N Edwards (Director, Stanford Existential Risk Initiative, Stanford University)

Erica Thompson (Associate Professor, Department of Science, Technology, Engineering and Public Policy, University College London)

Thomas Meier (Director, Centre for Apocalyptic and Post Apocalyptic Studies, University of Heidelberg)

Paul Ingram (Senior Research Associate, Centre for the Study of Existential Risk, University of Cambridge)

Matthijs Maas (Senior Research Fellow, Law and AI and Head of AI Research at the Legal Priorities Project)

Florian Ulrich Jehn (Senior Researcher, Alliance for Feeding the Earth in Disasters)

David Thorstad (Postdoctoral Research Fellow, Global Priorities Institute, University of Oxford)

Karim Jebari (Institute for Futures Studies)

Mónica A. Ulloa Ruiz (Policy Transfer Officer, Riesgos Catastroficós Globales)

Bill Anderson-Samways (AI Governance Researcher)

Ximena Barker Huesca (Kings College London)

Lin Bowker Lonneker (University of Oxford)

Nadia Mir-Montazeri (University of Bonn)

Phillip Spillman (University of Cambridge)

Noah Taylor (Peace Studies Researcher)

 

[1] Beard, S., Rowe, T. and Fox, J. (2020) ‘An analysis and evaluation of methods currently used to quantify the likelihood of existential hazards’, Futures, 115, p. 102469.

[2] Bostrom, N. (2002) ‘Existential risks: analyzing human extinction scenarios and related hazards’, Journal of evolution and technology / WTA, 9. Available at: https://ora.ox.ac.uk/objects/uuid:827452c3-fcba-41b8-86b0-407293e6617c (Accessed: 22 June 2023).

[3] Cotton-Barratt, O. and Ord, T. (2015) Existential risk and existential hope: Definitions. Available at: http://files.tobyord.com/existential-risk-and-existential-hope.pdf (Accessed: 22 June 2023).

[4] Mitchell, A. and Chaudhury, A. (2020) ‘Worlding beyond “the” “end” of “the world”: white apocalyptic visions and BIPOC futurisms’, International relations, p. 004711782094893.

[5] Such as the different methods laid out in: Beard, S., Rowe, T. and Fox, J. (2020) ‘An analysis and evaluation of methods currently used to quantify the likelihood of existential hazards’, Futures, 115, p. 102469.

[6] Including how important generating probabilistic forecasts are, the importance of specific causal-chain threat models, the utility of speculation and more.

[7] For example, how far individual case studies can be taken as evidence.

[8] For example, whether worries of tipping points and unknown feedbacks can be taken as evidence for existential risk or not.

[9] For example, how important peer review should be in evaluating evidence.

[10] For example, how far we should rely on the updating of  individual credences by a small number of decision-makers.

[11] For example whether we can or should adequately differentiate between GCR and XRisk, or how likely we are to identify correct threat models and hazards in advance.

[12] For example whether looking at sub-existential catastrophes as evidence of cascades dominating will appropriately scale to existential catastrophes.

[13] For example, with regards to how much we agree with strong longtermism.

[14] Ibid 4.

[15] Currie, A. (2019) ‘Existential risk, creativity & well-adapted science’, Studies in history and philosophy of science, 76, pp. 39–48.

[16] Sundaram, Lalitha, Matthijs M. Maas, and S. J. Beard. ‘Seven Questions for Existential Risk Studies’, 25 May 2022. https://doi.org/10.2139/ssrn.4118618.

[17] Ibid 15.

[18] Ibid 15.

[19] In the sense of being involved in addressing and utilising power in public life.

[20] Cotton-Barratt, O., Daniel, M. and Sandberg, A. (2020) ‘Defence in Depth Against Human Extinction: Prevention, Response, Resilience, and Why They All Matter’, Global policy, 11(3), pp. 271–282.

[21] Such has been discussed within the space of people discussing the risks and harms of AI: Stix, C. and Maas, M.M. (2021) ‘Bridging the gap: the case for an “Incompletely Theorized Agreement” on AI policy’, AI and ethics, 1(3), pp. 261–271.

[22] Cremer, Carla Zoe, and Luke Kemp. (2021). ‘Democratising Risk: In Search of a Methodology to Study Existential Risk’. https://papers.ssrn.com/abstract=3995225.

Declaración sobre el Pluralismo en los Estudios del Riesgo Existencial

Esta declaración fue traducida por Mónica A. Ulloa Ruiz

Esta declaración fue elaborada por un grupo de investigadores de diversas instituciones que asistieron al taller de FHI y CSER Pluralisms in Existential Risk Studies, llevado a cabo del 11 al 14 de mayo de 2023. Expresa nuestro apoyo a la necesidad de que la comunidad interesada en el riesgo existencial adopte un enfoque pluralista que abarque una diversidad de métodos, enfoques y perspectivas que promuevan constructivamente la diferencia y el desacuerdo. Reconocemos que aún no se ha alcanzado el nivel de pluralismo necesario en este campo y nos comprometemos a trabajar para lograrlo. Al final de la declaración, se incluye una lista de los investigadores que la respaldan. En aras del pluralismo, aunque como firmantes no estamos completamente de acuerdo en cada uno de los puntos de la declaración, nuestro respaldo al propósito de la misma es lo suficientemente sólido como para considerar que vale la pena expresarlo.

Creemos que es de gran importancia que la comunidad dedicada al estudio del riesgo existencial se adapte de manera adecuada a sus propósitos, y creemos que el pluralismo es fundamental para que esta comunidad alcance los objetivos epistémicos, éticos y pragmáticos que cada uno de nosotros considera relevantes.

El riesgo existencial, como concepto, está definido de múltiples maneras. Algunos en este grupo lo consideran como "riesgos de extinción humana, colapso social y otros eventos asociados", otras concepciones implican "riesgo de pérdida permanente del potencial de la humanidad" o riesgos que afectan a grandes cantidades de valor esperado futuro. Algunos incluso lo consideran como parte inseparable de la categoría más amplia de riesgos que amenazan la existencia de individuos, comunidades o "mundos" específicos. Aunque las diferentes definiciones de riesgo existencial pueden conducir a divergencias relevantes, también es evidente que nosotros, los firmantes, compartimos un interés en trabajar juntos y aprender unos de otros, incluso a través de nuestros desacuerdos; esto hace que formar parte de la misma comunidad pluralista sea mutuamente beneficioso. Lo anterior no implica que llegaremos a las mismas conclusiones o que siempre estaremos de acuerdo; en cambio, sugiere que todos nos beneficiamos de la existencia de un ecosistema intelectual saludable y pluralista que aborde de las diversas concepciones del riesgo existencial.

Existe una amplia discrepancia y diversidad en nuestras posturas y enfoques. Diferimos en los métodos que consideramos más apropiados para estudiar el riesgo existencial. Diferimos en cuanto a los objetivos epistémicos de dicha investigación. Diferimos en lo que debería ser aceptado como evidencia y cómo esta evidencia debe ser interpretada, evaluada e integrada. Diferimos en los supuestos básicos que sustentan nuestras visiones del riesgo existencial y en cómo investigarlos. Diferimos también nuestras visiones del futuro, en lo que consideramos éticamente importante o aceptable, así como en nuestras posturas políticas y cómo estas se relacionan con nuestro pensamiento y práctica en relación con el riesgo existencial. Tenemos metodologías, epistemologías y éticas diferentes.

Estas diferencias no son casuales; son resultado de divergencias entre escuelas de pensamiento y corrientes de investigación, y de factores estructurales globales más profundos, como la desigualdad y las marcadas diferencias culturales. De hecho, una de las razones por las cuales estos desacuerdos a menudo pasan desapercibidos es que las mismas estructuras globales de desigualdad excluyen a muchas voces importantes que expresan perspectivas diferentes en el campo. Por lo tanto, cualquier progreso en dirección al pluralismo debe tener en cuenta estas fuerzas estructurales y el papel que han desempeñado en el desarrollo del campo y en la generación de riesgo existencial hasta ahora. Evitar la reproducción de estas estructuras será esencial para ampliar la conversación sobre el riesgo existencial; el por qué esta ampliación es importante en el objetivo de reducir el riesgo existencial se discutirá a continuación.

Las diferencias son una fortaleza. Creemos que nuestra comunidad puede mejorar mediante la adopción de una pluralidad de enfoques, incluso aquellos sobre los que discrepamos entre nosotros. Además, sugerimos que el poder para respaldar diferentes enfoques debe ser distribuido entre los miembros de la comunidad en lugar de ser controlado por unos pocos actores y financiadores, ya que ninguna persona puede representar de manera adecuada la diversidad epistémica y ética que consideramos necesaria; esta postura se justifica por las siguientes razones.

En primer lugar, reconocemos el alto nivel de incertidumbre que implica el estudio de una amplia clase de riesgos existenciales. Gran parte de nuestro razonamiento se basa en ideas novedosas y modelos inexplorados del mundo, a menudo respaldados por evidencia limitada o fuertemente cuestionada. Si bien es posible hacer afirmaciones basadas en evidencia, esta parece lo suficientemente escasa como para que no se pueda argumentar de forma decisiva a favor de un único enfoque. También puede ser razonable, dada la escasez de pruebas disponibles, basar la investigación en una gran variedad de supuestos diferentes. Por lo tanto, es prudente asegurar el pluralismo para permitirnos "cubrir nuestras apuestas" y desarrollar diversas líneas de investigación. Además, bajo tal incertidumbre, la creatividad científica juega un papel crucial, y prospera mejor en comunidades pluralistas que en comunidades homogéneas. Aún no estamos seguros de qué preguntas formular, y mucho menos cuáles son las hipótesis y métodos correctos para responderlas, por lo que adoptar múltiples enfoques nos parece el curso de acción más adecuado. 

En segundo lugar, el desacuerdo puede ser constructivo, y una comunidad pluralista nos brinda la oportunidad de realizar descubrimientos y desarrollar ideas a las que ninguno de nosotros habría llegado individualmente. Esto no quiere decir que estas nuevas ideas surjan a partir de una convergencia hacia una única verdad, sino más bien que el proceso de desacuerdo y la exposición a nuevos conceptos desempeñan un papel fundamental en el proceso epistémico. La creación de un ecosistema intelectual que fomente la interacción y el desacuerdo puede contribuir a clarificar los cursos de acción más útiles para mitigar el riesgo existencial, al tiempo que evitaría una convergencia prematura. De hecho, dada nuestra situación epistémica, sería imprudente llegar a una única línea de acción convergente.

En tercer lugar, desde un punto de vista pragmático, contar con una comunidad plural puede permitirnos comprender cómo reducir el riesgo existencial desde muchos ángulos y crear coaliciones para hacerle frente. Gran parte de la reducción del riesgo existencial tiene un componente político, por lo que contar con alianzas diversas nos proporciona una base política amplia y sólida para actuar. Es posible que muchos tipos de riesgos existenciales tengan causas políticas similares, y una comunidad pluralista puede abrir nuevas vías de colaboración con aquellos con los que compartimos un objetivo común. En situaciones en las que sea factible, la comunidad pluralista puede ser el lugar para lograr acuerdos incompletamente teorizados para la acción política.

Finalmente, también existen razones para desear una comunidad en la que estén representadas diversas ideas normativas. Aunque a muchos de nosotros nos preocupa la idea de construir futuros coherentes con nuestras mejores teorías éticas, todos tenemos al menos cierto grado de incertidumbre sobre cuáles son las visiones más acertadas. Puede ser que los diferentes teóricos de la ética estén "escalando la misma montaña", o puede ser que estén profunda e irreconciliablemente divididos; sin embargo, ninguno de nosotros puede responder esta pregunta con certeza —de hecho, muchos de nosotros creemos que es irresoluble—. No obstante, el riesgo existencial y cómo debemos responder a él están estrechamente vinculados a nuestras creencias normativas sobre lo bueno y lo malo. Por ende, destacar, colaborar con, y respetar a personas con diferentes puntos de vista éticos es crucial para trabajar en conjunto dentro de una comunidad pluralista. De hecho, permitir que se escuchen y empoderen diversas perspectivas éticas es fundamental para lograr justicia en relación al riesgo existencial, una prioridad ética que para muchos de nosotros es fundamental. 

Queremos reconocer, aprovechar y respaldar el pluralismo existente en nuestra comunidad, fomentando activamente una mayor diversidad de perspectivas, metodologías, cosmovisiones y valores. En el ámbito académico, esto implica explorar y promover disciplinas que a menudo se pasan por alto en el estudio del riesgo existencial, como los estudios de ciencia y tecnología, la ciencia política, los estudios de paz y conflicto, la arqueología, la antropología y la sociología. Esto implica la utilización de métodos existentes de diversas disciplinas e incluso innovar en nuestros propios enfoques. Además, será necesario respetar e incluir a aquellos que están fuera de los grupos considerados tradicionalmente como "expertos". Esto requerirá prestar más atención en las prácticas de publicación por parte de aquellos involucrados en la investigación, incluyendo una mayor consideración y conversación sobre el papel de diferentes lugares en el proceso epistémico, como las publicaciones revisadas por pares, algo que hasta ahora no se ha tenido en cuenta de manera adecuada. Será fundamental enfocarse en crear una cultura de investigación que promueva activamente la creatividad y la diversidad del pensamiento basado en la evidencia.

A su vez, esto conlleva la necesidad de una mayor diversidad geográfica, socioeconómica, cultural, de género, racial y de capacidades, tanto en términos de quienes deseen formar parte de nuestra comunidad, como de aquellos de quienes podemos aprender. Es importante brindar oportunidades a aquellos que se encuentran fuera de los centros tradicionales de estudio del riesgo existencial (Estados Unidos y Europa del Norte), para que participen como miembros activos o en un diálogo constructivo con la comunidad que estamos estableciendo. Esta diversificación e inclusión ampliada sólo serán beneficiosas si se abordan con respeto mutuo y equidad, evitando aprovechar los desequilibrios de poder existentes que podrían hacer que una perspectiva en particular domine; no puede darse únicamente en los términos de aquellos que ya cuentan con privilegios consolidados. Es prioritario fomentar el diálogo y la apertura hacia perspectivas éticas diferentes, especialmente aquellas no occidentales, y considerar diferentes definiciones de riesgo existencial y diversos fundamentos desde los cuales se razona sobre ello. Es ética y epistémicamente relevante expandir nuestra comunidad para aprender y colaborar con personas que tienen una amplia variedad de perspectivas.

Reconocemos que esta visión implica compromisos significativos. La construcción y el mantenimiento de una comunidad como esta requerirán tiempo, recursos y energía. Una comunidad más diversa y plural implica que los más poderosos cedan parte de su poder y renuncien al dominio de las perspectivas hegemónicas en la actualidad. Este proceso será desafiante. Al comprometernos con la diversidad de perspectivas, es posible que se vea afectada la unidad y homogeneidad que actualmente existe en nuestro campo, lo que generará inevitablemente más conflictos y reducirá nuestra capacidad de llegar rápidamente a puntos de vista similares, incluída la priorización. No obstante, consideramos que vale la pena impulsar el campo hacia un mayor pluralismo debido a los beneficios para la salud epistémica y ética de nuestra comunidad en la consecución de sus múltiples objetivos.

Por lo tanto, declaramos nuestro apoyo para fomentar un mayor pluralismo en la comunidad del riesgo existencial, reconociendo nuestra responsabilidad de contribuir a este proceso. Hasta ahora sólo hemos dado un esbozo de lo que debe implicar el pluralismo, y esperamos que el proceso de construcción de dicha comunidad ayude a concretar lo que significa en la práctica. No queremos limitarnos a respetarnos mutuamente a distancia, sino que deseamos un compromiso más activo, compartir ideas y desacuerdos con personas de toda la comunidad, y empoderarnos mutuamente para adoptar enfoques diferentes. No deseamos que las perspectivas de aquellos con mayor poder dominen, sino crear una cultura en la que pueda producirse una auténtica proliferación de ideas respaldadas por evidencia. Para lograrlo, necesitamos el apoyo de todos los actores de nuestra comunidad en diversas formas, y somos optimistas respecto a la posibilidad de que esto suceda; de hecho, si queremos un mundo menos amenazado, debe ser así.

Gideon Futerman (University of Oxford, Coordinator and principal author of this statement)

SJ Beard (Senior Research Associate, Centre for the Study of Existential Risk, University of Cambridge)

Anders Sandberg (Senior Research Fellow, Future of Humanity Institute, University of Oxford)

Paul N Edwards (Director, Stanford Existential Risk Initiative, Stanford University)

Erica Thompson (Associate Professor, Department of Science, Technology, Engineering and Public Policy, University College London)

Thomas Meier (Director, Centre for Apocalyptic and Post Apocalyptic Studies, University of Heidelberg)

Paul Ingram (Senior Research Associate, Centre for the Study of Existential Risk, University of Cambridge)

Matthijs Maas (Senior Research Fellow, Law and AI and Head of AI Research at the Legal Priorities Project)

Florian Ulrich Jehn (Senior Researcher, Alliance for Feeding the Earth in Disasters)

David Thorstad (Postdoctoral Research Fellow, Global Priorities Institute, University of Oxford)

Karim Jebari (Institute for Futures Studies)

Mónica A. Ulloa Ruiz (Policy Transfer Officer, Riesgos Catastroficós Globales)

Bill Anderson-Samways (AI Governance Researcher)

Ximena Barker Huesca (Kings College London)

Lin Bowker Lonneker (University of Oxford)

Nadia Mir-Montazeri (University of Bonn)

Phillip Spillman (University of Cambridge)

Noah Taylor (Peace Studies Researcher)

 

 

[1] Beard, S., Rowe, T. y Fox, J. (2020) ‘An analysis and evaluation of methods currently used to quantify the likelihood of existential hazards’, Futures, 115, p. 102469.

[2] Bostrom, N. (2002) ‘Existential risks: analyzing human extinction scenarios and related hazards’, Journal of evolution and technology / WTA, 9. Available at: https://ora.ox.ac.uk/objects/uuid:827452c3-fcba-41b8-86b0-407293e6617c (fecha de consulta: 22 de junio de 2023).

[3] Cotton-Barratt, O. y Ord, T. (sin fecha) Existential risk and existential hope: Definitions. Disponible en: http://files.tobyord.com/existential-risk-and-existential-hope.pdf (fecha de consulta: 22 de junio de 2023)

[4] Mitchell, A. y Chaudhury, A. (2020) ‘Worlding beyond “the” “end” of “the world”: white apocalyptic visions and BIPOC futurisms’, International relations, p. 004711782094893.

[5] Como los distintos métodos expuestos en: Beard, S., Rowe, T. y Fox, J. (2020) ‘An analysis and evaluation of methods currently used to quantify the likelihood of existential hazards’, Futures, 115, p. 102469.

[6] Incluyendo la importancia de generar pronósticos probabilísticos, de los modelos específicos de amenazas basados en cadenas causales, la importancia y utilidad de la especulación, entre otros.

[7] Por ejemplo, hasta qué punto los estudios de casos individuales pueden tomarse como evidencia.

[8] Por ejemplo, si las preocupaciones acerca de los puntos de inflexión y las retroalimentaciones desconocidas pueden tomarse como evidencia del riesgo existencial o no.

[9] Por ejemplo, qué tan importante debería ser la revisión por pares en la evaluación de la evidencia.

[10] Por ejemplo, cuánto debemos depender de la modificación de las creencias individuales por parte de un pequeño grupo de tomadores de decisiones.

[11] Por ejemplo, si podemos o debemos diferenciar adecuadamente entre riesgos catastróficos globales y riesgos existenciales, o hasta qué punto es probable que identifiquemos correctamente y con antelación los peligros y los modelos de amenaza.

[12] Por ejemplo, si considerar las catástrofes sub-existenciales como evidencia de que los efectos en cascada predominan, se escala adecuadamente a las catástrofes existenciales.

[13] Por ejemplo, en relación a nuestra postura frente al largoplacismo fuerte.

[14] Ibid 4.

[15] Currie, A. (2019) ‘Existential risk, creativity & well-adapted science’, Studies in history and philosophy of science, 76, pp. 39–48.

[16] Sundaram, Lalitha, Matthijs M. Maas, y S. J. Beard. ‘Seven Questions for Existential Risk Studies’, 25 May 2022. https://doi.org/10.2139/ssrn.4118618.

[17] Ibid 15.

[18] Ibid 15.

[19] En términos de involucrarse en abordar y utilizar el poder en la vida pública.

[20] Cotton-Barratt, O., Daniel, M. y Sandberg, A. (2020) ‘Defence in Depth Against Human Extinction: Prevention, Response, Resilience, and Why They All Matter’, Global policy, 11(3), pp. 271–282.

[21] Así se ha debatido dentro del ámbito de personas interesadas en los riesgos y daños de la IA: Stix, C. y Maas, M.M. (2021) ‘Bridging the gap: the case for an “Incompletely Theorized Agreement” on AI policy’, AI and ethics, 1(3), pp. 261–271

[22] Cremer, Carla Zoe, y Luke Kemp. (2021). ‘Democratising Risk: In Search of a Methodology to Study Existential Risk’. https://papers.ssrn.com/abstract=3995225.