ボストロムの論文「地球規模の優先事項としての存亡リスクの防止」[ 1] 天文学的苦痛のリスク [ 2] [ 3] 苦痛リスク またはSリスク とも呼ばれる）とは、これまで地球上で発生したすべての苦痛よりもはるかに多くの苦痛 を伴うリスクである[ 4] 存亡リスク のサブクラスとして分類される場合もある。
考えられるSリスクの発生源には、具現化された人工知能 [ 5] 超知能 [ 6] 宇宙移民 が含まれる。「一般的に短く悲惨な、時には最も残酷な苦しみで満ちた人生を送る」野生動物を、意図的または非意図的に他の惑星に導入することによって、「恒常的で壊滅的な戦争」[ 7] [ 8]
AI倫理 研究者のSteven Umbrelloは、生物学的コンピューティングによってシステム設計 がSリスクを起こしやすくなる可能性があると警告している[ 5]
閉じ込められた意識を持つAIや、脳オルガノイド のような特定のAIに隣接する生物学的システムにおけるSリスクを軽減する方法として、誘発された健忘症 が提案されている[ 9]
David Pearceは、遺伝子工学 は潜在的なSリスクであると主張している。快楽と苦痛の軸に対する技術的支配と意識の難しい問題 の解決は、苦痛の根絶 の可能性につながる可能性がある一方で、知覚を持つ存在が経験できる快楽的範囲のコントラストのレベルを高める可能性もある、とPearceは主張する。彼は、これらの技術によって、人間の範囲を超えた苦痛のレベルを経験する「超苦痛」または「ドルリウム」を作り出すことが可能になるかもしれないと主張している。彼はまた、量子力学の多世界解釈 によってもたらされるものなど、より突飛な他の潜在的なSリスクもあると主張している[ 10]
^ Bostrom, Nick (2013). “Existential Risk Prevention as Global Priority” . Global Policy 4 (1): 15–3. doi :10.1111/1758-5899.12002 . オリジナル の2014-07-14時点におけるアーカイブ。. https://web.archive.org/web/20140714183725/http://www.existential-risk.org/concept.pdf 2024年2月12日閲覧。 . ^ Daniel, Max (2017年6月20日). “S-risks: Why they are the worst existential risks, and how to prevent them (EAG Boston 2017) ” (英語). Center on Long-Term Risk . 2023年10月8日時点のオリジナルよりアーカイブ 。2023年9月14日閲覧。 ^ Hilton, Benjamin (2022年9月). “'S-risks' ” (英語). 80,000 Hours . 2024年5月9日時点のオリジナルよりアーカイブ 。2023年9月14日閲覧。 ^ Baumann, Tobias (2017年). “S-risk FAQ ” (英語). Center for Reducing Suffering . 2023年7月9日時点のオリジナルよりアーカイブ 。2023年9月14日閲覧。 ^ a b Umbrello, Steven; Sorgner, Stefan Lorenz (June 2019). “Nonconscious Cognitive Suffering: Considering Suffering Risks of Embodied Artificial Intelligence” (英語). Philosophies 4 (2): 24. doi :10.3390/philosophies4020024 . hdl :2318/1702133
^ Sotala, Kaj; Gloor, Lukas (2017-12-27). “Superintelligence As a Cause or Cure For Risks of Astronomical Suffering” (英語). Informatica 41 (4). ISSN 1854-3871 . オリジナル の2021-04-16時点におけるアーカイブ。. https://web.archive.org/web/20210416092116/http://www.informatica.si/index.php/informatica/article/view/1877 2021年2月10日閲覧。 . ^ Torres, Phil (2018-06-01). “Space colonization and suffering risks: Reassessing the "maxipok rule"” (英語). Futures 100 : 74–85. doi :10.1016/j.futures.2018.04.008 . ISSN 0016-3287 . オリジナル の2019-04-29時点におけるアーカイブ。. https://web.archive.org/web/20190429025953/https://www.sciencedirect.com/science/article/pii/S0016328717304056 2021年2月10日閲覧。 . ^ Kovic, Marko (2021-02-01). “Risks of space colonization” (英語). Futures 126 : 102638. doi :10.1016/j.futures.2020.102638 . ISSN 0016-3287 . https://www.sciencedirect.com/science/article/pii/S0016328720301270 . ^ Tkachenko, Yegor (2024). “Position: Enforced Amnesia as a Way to Mitigate the Potential Risk of Silent Suffering in the Conscious AI” (英語). Proceedings of the 41st International Conference on Machine Learning (PMLR). https://openreview.net/forum?id=nACGn4US1R 2024年6月11日閲覧。 . ^ “Quora Answers by David Pearce (2015 - 2024) : Transhumanism with a human face ”. 2024年10月7日閲覧。
Baumann, Tobias (2022) (英語). Avoiding the Worst: How to Prevent a Moral Catastrophe ISBN 979-8359800037 . https://centerforreducingsuffering.org/books/avoiding-the-worst-how-to-prevent-a-moral-catastrophe-by-tobias-baumann/
Metzinger, Thomas (2021-02-19). “Artificial Suffering: An Argument for a Global Moratorium on Synthetic Phenomenology” (英語). Journal of Artificial Intelligence and Consciousness 08 : 43–66. doi :10.1142/S270507852150003X . ISSN 2705-0785 .
「The grim fate that could be 'worse than extinction' 」『BBC Future』2020年10月15日。2021年2月11日閲覧。
Baumann, Tobias (2017年). “S-risks: An introduction ” (英語). Center for Reducing Suffering . 2021年2月10日閲覧。
Althaus, David; Gloor, Lukas (2016年9月14日). “Reducing Risks of Astronomical Suffering: A Neglected Priority” (英語). https://longtermrisk.org/reducing-risks-of-astronomical-suffering-a-neglected-priority/ 2021年2月10日閲覧。
概要 形而上学 社会学 生物学 物理学 核・原子力 フィクション
