段伟文｜如何应对前沿科技的核心伦理风险？

【摘要】当前，科技和人工智能等前沿科技的伦理风险引发国际社会的高度关注，我国的科技伦理治理正在走上制度化的发展道路。为了更好地推进我国科技伦理生命治理工作，我们必须切实把握作为科技伦理治理重点的前沿科技的特征，揭示其所承载出的一系列深层次伦理风险，从而进一步加强对科技社会系统的结构性特征的理解、探索和重构风险认知的基础其一，充分认识新兴科技驱动的科技社会系统的革命性变化，从而理解前沿科技深层次伦理风险的结构性实质。其二，立足前沿科技治理的伦理实践，将科技伦理的开放性实践风险认知和规范被视为相关群体不断更新的集体认知和工作假设。其三，强调前沿科技风险认知的系统性与可塑性，赋予科技和创新更大的可能空间。由此，我们形成树立科学认知的道德边界、设置合理的道德法律框架、形成具有开放性和整体性的治理机制、促进公众科技道德素养以及遵循相性原则等面向深层次科技道德风险的预控和应对之道。

【关键词】科技伦理 科技伦理治理 深度 科技化 深层 伦理风险 系统思维

问题的提出

2023年11月初，全球人工智能安全峰会在英国首次召开，来自美、英、欧盟、中、印等多方代表就人工智能迅猛发展引发的风险与机遇进行了深入探讨。其间，我们提出了《全球人工智能安全峰会》。《人工智能治理倡议》系统阐述了人工智能治理的中国方案，会议发布的《布莱奇利宣言》凸显了对前沿人工智能的超强技术能力和未来风险的担忧。

事实上，对于提出中的前沿科技可能导致人类生命安全与伦理风险的关注至少可以推迟至1975年生物学家暂停基因重组研究的。尤其是21世纪以来的决定，纳米、人工智能、基因科技、合成生物学等创新性科技方兴未艾，科技已融入人类须臾离的不可忽视的强大力量，但同时也带来了越来越多的亟待解决的科技伦理风险。因此，世界各国对科技伦理问题及其治理高度重视，我国从国家层面制定了《关于加强科技伦理治理的指导意见》和《科技伦理审查办法（试行）》等规范性文件，明确了迈向科技自立自强之高水平·应遵循的伦理原则、治理框架和审查机制。

纵观由近年来出现的基因编辑、人类动物嵌合体、人脸识别、算法推荐、脑机接口、深度合成以及ChatGPT等生成式人工智能所引发的伦理争议，并不罕见，前沿科技的风险不单是技术能力的增强所引发的违背伦理和法律的技术伦理等问题，更需要新能力的支撑对原有技术社会系统的冲击所导致的结构性冲突和深层次风险。所谓深层次的伦理风险是指，由于前沿科技的研发越来越多地涉及对人、自然和社会的根本性、全局性的改变，前沿科技的发现和创新必然引起各种复杂的价值伦理矛盾，由由此造成的伦理风险是结构性的，往往既无法通过一般的风险收益比较建立权衡，也不能诉诸简单的伦理原则进行有效规范。因而科技伦理治理要真正实现“伦理先行”，必须对前沿科技风险研发活动对深层次伦理有较强的系统认知，首先要从科技创新的整体层面分析其原因，寻求具有全局性和预见性的应对之道。

前沿风险科技研发中的几个深层次伦理

相对而言，当前风险突破性发展并伴随着巨大的伦理科技前沿，主要集中在生命科学、医学、信息科技与人工智能等领域，它们也是我国在国家层面推动科技伦理治理的主要关切。2019年以来，我国先后通过一系列的举措启动科技伦理治理体系建设：一是成立国家科技伦理委员会及科学、医学和人工智能分委会，从而推动了区域、部门和机构的科技伦理委员会的科技伦理治理体系建设二是中共中央办公厅、国务院办公厅印发《关于加强科技伦理治理的意见》，提出伦理先行、依法依规、切实治理、立足国情、开放合作等治理要求，明确促进了人类福祉、尊重生命权利、坚持公平公正、合理控制、保持公开透明等伦理原则；三是，生命科学、医学和人工智能分委会分别提出领域伦理高风险科技活动清单，如对人类生命健康、价值理念、生态环境等具有重大影响的新物种合成研究，侵入式脑机接口用于神经、精神类疾病治疗的临床研究，对人类融合行为、心理情绪和健康等影响的生命系统四是，加强科技伦理审查工作，2023年2月，国家卫生健康委、教育部、科技部、国家中医药局四部委联合印发了《涉及人的生命科学和医学研究伦理审查办法》 》，10月，科技部等十部门联合发布《科技伦理审查办法（试行）》，两项措施将推动开展高校、科研与医疗卫生机构、企业等层面的科技伦理（审查）委员会科技活动建立、在经常审查的同时建立需要专家复核的科技活动清单制度，对可能加大产生伦理风险挑战的新兴科技活动实施清单管理；五是，中国科协会同相关部门、机构、群体正在发起筹建中国科技伦理学会，以加强我国的科技伦理研究和政策咨询工作；六是，在数字治理领域积极有为，进一步算法备案、深度合成管理等办法之后，国家互联网信息办公室联合国家发展改革委员会等六当然，数字技术和人工智能法律规制和监管如何应对人工智能开放性伦理挑战需要在实践中不断展开系统研判，还有待通过试验性的治理实践不断探索前行。

当前，我国风险科技伦理治理的策略主要是，坚持促进创新与防范相统一，侦查评估和审慎对待科技风险伦理，强化对科技活动全生命周期的风险评估和监督管理，预见和预警可能出现的为更有效地贯彻落实这一政策，还针对以下7个方面的深层次科技伦理风险进行认识。

由科学认知活动缺乏伦理边界意识所造成的突发风险。由此普遍的观点是，“科学无禁区、技术有边界”，但这一观念已经跟不上认知、智能等前沿科技领域伦理风险的引发在合成生物学、基因编辑、脑机接口等领域，科学研究和实验本身就涉及对和智能过程的干预，基础研究和转化应用研究类似于“旋转门”而难以绝对生命区分，特别是认知与神经等前沿科学研究可能会极大地影响人的自主、认知、隐私必然精神等生命权利。例如，涉及对青少年群体的心理和行为的干预和感应的研究，其伦理风险不仅仅如此此类研究是否对青少年的身体造成显着的伤害、由此获得的知识不会被剥夺和恶意利用，更底层无法认识到此类研究本身是否合乎伦理（换言之，是否会侵犯不合）尤其是在运用全新的技术干扰人的和精神时，纵使对其中所涉及的伦理问题缺乏系统深入的认知，生命中断至少应该有一个伦理规则意识和边界意识。由此，相关主体才可以从一般科技伦理和原则伦理出发，通过讨论和对话制定具体科技活动中的防护措施和措施。更重要的是，在遇到生命科技伦理敏感问题时，这种规则和边界意识会促责任与权利问题也可随之而来。例如，随着脑机接口等神经与认知技术的发展，在此类技术中评估神经认知系统尚在发育和非阶段的青少年时就会有更多严格的边界。另外要注意的有，可记录大脑活动的神经技术会不会影响人的精神与思想隐私等问题，作为应对应该不相应地赋予人们思想隐私权等权利，[1]或者规划神经技术对人的精神干预的必要底线。而实际上，这种边界意识和底线意识的缺失在科研人员中并不罕见。

当前，伦理高风险科技活动清单的制定和复核机制固然为涉及伦理道德的科技活动设定了具体的边界，但如果科研人员和管理者不能在认识上形成伦理意识，那么高风险清单所设确定的边界具体很可能只是被认定合规的标准；如果相关人员不在研究中主动认识和探索应有的伦理边界，科技界可能会再次发生基因编辑事件之类严重践踏伦理底线和值得关注的是，所谓边界意识并非简单的禁区意识，而是在认识上强调：一方面，应将当前存在高风险伦理的科学研究限定有科学认知和技术手段可控的范围内，为科技风险设定安全边界；同时，要充分认识到前沿科技领域涉及的伦理敏感问题，在认真认真清除可能的伦理争议的基础上，划清界限显然，对前沿科技伦理边界积极、主动、全面和动态的探讨，是坚持推进创新与防范风险相统一的关键，也是实现敏捷治理的基础。

前沿科技对生命权利的必然影响所引发的不可逆风险。在大数据、人工智能、元宇宙、深度合成等前沿科技研发应用中，经常出现数据泄露、隐私侵犯等伦理风险，危及人的生命、隐私、隐私以及其他合法权益；大量数据的掠夺具有攻击性，海量数据一旦出现信息安全和伦理问题，很难通过删除数据等方法对相关伦理违背和法律的研发应用造成的后果进行纠正。例如，ChatGPT等生成式人工智能通过采集海量的网络数据训练大模型，产生大量文字、图片和视频内容，其中存在争议的相关行为，但由于其机制的复杂性和过程的不透明性，很难逐一确认对这种具有全局影响的创新性创新所带来的不可逆风险，现有的伦理法律规范和监管措施难以应对。而这种伦理困境表明，前沿科技的伦理和法律研究应建立在更加紧密的基础上系统深入的科技哲学、历史、文化、社会学和人类学等跨学科研究之上。

类似地，在生命医学领域，基因编辑和人类动物嵌合体研究虽然具有十分美好的前景，但也高度存在不确定性的风险。特别是在涉及人类种系的生殖技术和赋予接近人类的动物方面认识到这些不可逆的风险，一方面，有利于相关研发和应用更加负责任、透明和可标准化，走向更加负责任增加伦理性和社会性的研究与创新；另外，有助于对具体的不可逆风险展开系统深入的研究，推进理论、方法和工具创新，探寻更加安全、更符合人类长与的共同利益的研究路径。

前沿科技研发目标与人的权益的结构性冲突导致伦理杀戮两难。近年来，在内容推荐、金融风控、生物特征识别等领域出现了过度采集数据、挖矿行为、信息茧房、大数据熟成、算法管制等在伦理和法律方面存在争议的问题，相关部门在数字平台治理和金融科技治理方面推出了一系列规范和监管措施，从而起到了较好的治理效果。但值得注意的是，其背后存在着驱动数据的智能技术原理与现有社会伦理法律之间的结构性冲突。一方面，内容推荐等必须建立在对大数据的采集与分析之上；另外，这些数据所反映的是人群的行为记录和生物特征。彼此之间的冲突是结构性的，必然会导致伦理上的两个难题。例如，元宇宙和自动驾驶技术必然以采集和场景中的相关数据为前提，这将在一定程度上与隐私保护和信息安全相冲突。结构性的冲突使得由此造成的伦理风险难以从根本上得到治理。如果不深入探讨如何解决这些结构性的矛盾、如何通过形成新的伦理和法律规范突破了这一伦理两难，则难以想象，随着情感识别等新应用的普及，类似的结构性冲突也由此造成伦理两难将持续存在，而且加剧了争议。

值得指出的是，当前人工智能的发展正在推动生成一场知识生产方式的革命，文字、图片、视频不再仅仅作为网络和创意内容，而成为自动化大规模知识生产的原料。由此就带来了来了知识产权保护与发展新的知识生产引擎之间的结构性冲突，对内容的不同理解——作为知识生产原料的人工智能生成内容与作为信息安全监管对象的网络创意内容——正在导致一类似地，不难预见，运用自动化智能系统提高效率和“机器换人”之间的冲突，可能会成为未来几年必须应对的科技社会问题。

物理世界与数字世界界限模糊所引发的“真相”消失的伦理困境。近年来出现的虚拟现实、元宇宙、深度合成和生成式人工智能，使得物理世界（真实）与数字世界（虚构）的界限当今的逐渐模糊，特别是虚拟图像的度越来越高，引发了“真相”消失的社会伦理困境。从现实世界的角度来看，随着这些技术的发展，它们很容易被用来混淆的格式内容和真实的事实，甚至可用于虚构对特定事件和历史的意象集体记忆，从而影响社会认知，操纵人们的意识和精神，即可能导致大规模的虚假真相和意识操纵等社会认知知伦理和精神伦理领域的创新性影响。

然而，数字技术的发展又是未来科技社会的趋势，从对象认知到认知过程的虚拟化趋势越来越显着，虚拟的生活和实践越来越多地可以与物理世界的生活相互替代，虚拟世界中的“不良”行为对现实世界中人的伦理和道德的影响日益迫切，但又必须直面的现实问题。同时，越来越多的内容将由计算机和人工智能生成，因此，很难再通过“真实”和“关切”的严格区分来消除“真相”的伦理困境。更复杂的是，在科学研究和金融科技等实际应用中，合成数据既可以用于造假，也可以用于造假修正样本不足等带来的数据偏差，已经很难用真假来区分真实数据与合成数据的合伦理性。

智能社会系统中的人机信任问题及伦理风险。当前，在智能客服、自动驾驶和医疗人工智能应用中出现的人机信任问题值得关注。在标准化早期，自动化和标准化系统的技术问题而服务质量问题可能会导致安全事故和人身伤害的发生，引起人们对技术的不信任感，而这显然会影响前沿科技发展的社会认可和接受。人们对机器解除信任显然不利于科技更好地赋能社会发展，但如何增进人们对机器的信任，则一方面需要数字和智能技术不断提升其透明度和可解释性，另一方面要从社会学、心理学、人类学和哲学等多学科入手，加强对人机行为和心理的研究，从而探寻增进人机信任和人机共生的综合性的技术和社会步伐。

但同时，对机器的过度信任也存在深层次的伦理，特别是人们在面对机器人等存在拟人化倾向的智能设备时，会误认为是有意识的主体。随着数字人、对话机器人技术的进步，这种拟人化的情感联系变得更加强烈，有可能导致人们出现认知上和心理上对自动化智能系统的过度依赖。例如，生成式和人工智能对话式很容易被忽视因此，特别是在将人工智能用于青少年的陪伴、学习和心理引导时，必须考虑到由此可能引发的道德风险。

由科技社会系统的难以实现所带来的伦理风险。随着生命医学与人工智能等前沿科技的发展，整个社会日逐渐发展为一个整体性的复杂的科技社会系统，从个人医疗、就业到了国家的战略决策，各项事务越来越多地取决于一个包括机器在内的复杂的决策系统。一旦出现某些问题，因为存在人类和机器多种智能体的参与，往往追得难以想象例如，某个自动化智能系统因为误判而决定对某个区域采取不必要的限电措施，或者某个智能评分系统对某些候选试卷的自动化评分出现了差错，最后很难找到狩猎随着自动化智能决策系统的普及，很可能会出现数字官僚主义和化官僚主义等新的官僚主义的表现形式。

国际科技霸权主义所带来的国际政治伦理风险。近年来，美国在科技领域形成对中国采取的“脱钩”“禁售”等所谓“去风险”等霸压策略正在一股国际科技霸权主义的逆流值得关注的是，在生成式人工智能的发展过程中，中国地区的用户在很多应用软件（包括自动翻译软件）上无法注册，这无疑是科技霸权主义的表现。近期，在芯片、量子计算方面和核聚变领域，美国明显存在抢占制高点、巩固计算霸权并形成新的能源霸权的盘算。在21世纪前20年全球化作为世界主流时期，我国科技在一段时间内采取了紧随与合作的战略，西方一方面存在将中国视为没有规则的“生长的东方”的偏见，但另外也出现了将不合规范伦理的研究得到了当时科技伦理监管制度尚不坚固的中国和其他地区的“伦理倾销”在美国《芯片与科学法案》、不断采取“小院高墙”等政策的影响下，美国对民族在价值观和伦理上的偏见和质疑将进一步扩大，并会与担忧纠缠在一起。为此，我们应该有清晰的认识，应立足人类命运共同体和更加美好的科技未来的大视角，从事实和学理出发注意必要的应对。

新兴科技驱动的科技社会系统的革命性变化

在现代社会中，科学、技术和工程从来都不是孤立存在的子系统，而是在整个社会中无远弗届地存在和生存。前沿科技并不是一种存在于社会之外的力量或动力，其创新发展本质上是在科技与社会乃至文化相互结合的科技社会系统中进行的。无需庸俗置疑，为了进一步认识前沿科技可能引发的一系列深层次伦理风险，需要进一步从系统论、整体论的维度把握前沿科技所驱动的新兴科技社会系统正在发生的革命性变化。尤其值得关注的有以下几点。

技术空间与技术圈的出现。随着前沿科技的发展，一个全新的技术空间和技术圈正在形成。技术空间不仅包括由技术拓展或介入的物理空间与生命结构，如可设置宇宙、纳米尺度、基因组等，更重要的是在物理空间之外形成了虚拟的信息空间和数字空间，如网络空间、赛博空间以及近期生成式人工智能所的生成空间等。由此，技术在地球自然生态圈上面正在构建自然过程中不存在的信息圈、知识圈那么智慧圈，这些圈层都是由技术作支撑的，可以统称为技术圈。自然生态圈与技术圈的交缠互构决定了世界和人的存在与境况，决定了经济社会发展和国家竞争的总体空间。

虚拟认知与实践方兴未艾。如前所述，通过数据采集和信息计算，用数据来刻画世界和人本身，进行模拟、分析和干预，使认知、制造其实生活与平行实践超越物理空间因此，应该从这一趋势出发重新认识数据的内涵，重新认识“真”与“假”、“虚”与“实”，在拥抱数据世界化和虚拟认知的同时，充分考虑其伦理风险。

技术成为无形的自动化过程。技术系统的实时化、泛化和微型化，使得技术在、无所不在及地嵌入到物理、生命之中社会空间与过程处理，越来越隐而不现当我们渴望生活在技术世界的时候，无疑需要提升整个科技社会系统的可靠性，防范系统性的科技伦理风险。

人与机器间的差异日渐缩小。随着人与机器的交互不断加深，出现了人的机器化和机器的拟人化这种人机化同质化，但又存在内在冲突的趋势。生成式人工智能所带来的最根本性的挑战，即人类可能最终无法区分机器人和人类。应该看到，人们在未来所获取的信息和知识将越来越多地通过机器自动生成，尤其是随着人工智能的越来越多强大的，人们可能最终无法分辨出人类和人工智能各自的信息与知识之间的差异，甚至人工智能的表达和说服能力将战胜人类。

在这些革命性的变化的推动下，构建技术社会系统的人类社会正在经历一场革命性的变化。这些变化主要发生在生命医学、数字与智能技术等领域，其主要表现是天然自然与人工自然的融合、智能与机器智能的整合。以合成生物学为例，正在研究中的回收工业废物的“化学机器人”将插入人类现有图纸来产生所需的反应反应。刺激到DNA的变化方向意味着，通过合成生物技术，分子生物学的中心法则变成了化学分子世界的部分真理。随着时间的推移，化学机器人将利用生物化学的调节可以驱动DNA的变化事实上，将所需反应的指令强制写入图纸。这种对生物学中信息流的科学思考方式的变革使我们在碳捕集、固氮和塑料退化等紧迫课题方面取得巨大飞跃，这进一步意味着整个行星正在迈向全新的人工化时期。[2]而生成式人工智能也正在从根本上改变人类的社会生活和生产劳动，从导航、健康监测、日常写作到科学研究，人工智能助手可能成为人类须臾不可离的“技术伙伴”。虽然大多数技术专家认为目前还谈不上奇点，但确实是时候认真思考我们究竟需要一个怎样的人机共生的未来。

充分认识创新性前沿科技对技术社会系统的革命性影响，有助于发现结构性的支撑特征，也是评估新兴科技伦理未知风险的关键。一般而言，大多数科技伦理分析往往关注对个人或群体的创新例如，在20世纪50、60年代，美国对州际公路系统的预期伦理分析可能会权衡快速个人交通的价值与致命车辆碰撞的危险，但然而没有看到对汽油的旺盛需求将为美国在中东扩大军事能力提供理由，从而导致强大的军工复合体的进一步建设。而智能手机、短视频和自动化等技术在整体上所导致的社会生活层面的改变也与此类似。由此可见，新的对社会基本结构的影响通常是形成不相关的技术复合体与我们良好响应的产物。因此不仅要研究单一技术的伦理和社会影响，还应进一步关注各种技术综合体在整个技术社会系统中产生的良好效应。[3]近期，在有关前沿人工智能的风险的讨论中，人工智能带来的生物、化学军民两用技术大楼降低了所带来的跨领域复合材料风险关注。

前沿科技风险认知的底层逻辑

从国家战略的层面来讲，对前沿科技伦理风险及深层次伦理风险的认知事关重大，是相关科技、产业、社会、教育、环境、卫生健康等各方面政策选择和导向实施的基础。展望未来，人类将进入深度科技化时代，科技影响的复杂性迫切呈指数级上升，我们的智慧和意识能够跟上这一进程，正在成为本世纪文明演进的解决这一问题的解决方案的关键，不应仅仅依赖事后的反省，也不应是简单的禁止，而应不断总结和反思前沿科技的风险预见、评估和审查中的方法和经验，不断地发现、探索和重构前沿科技风险伦理认知的底层逻辑。

作为科技伦理研究和风险伦理认知的政策工具。前沿科技所导致的价值冲突和抉择往往是前沿的，是传统的道德哲学和理论伦理所没有遇到或处理过的问题。前沿科技伦理研究和风险认知并非纯粹的伦理学或应用伦理学研究（尽管为之前提供了重要的学理基础），也广泛地作为了政策工具和问题导向的跨学科的主流思想。学科研究，是参与科技伦理治理的相关群体的集体认知——而这也是当前各方推动科技伦理与治理真正的面临者。

针对前沿科技伦理问题与风险，基本的认知策略是，根据目前所掌握的科技风险伦理相关事实及其未来的可能性，运用伦理、法律、社会、政治、经济、公共管理等领域已有的理论资源，对其中涉及伦理、法律等方面的价值问题（如权利、责任、公平等）展开分析，对利益相关者的具体风险和收益进行权衡。

为了加强对科技活动的伦理规范，政府部门、行业、产业和科技社区制定了科技伦理、规范、标准和指南，其中包括通用性和通用性，而更多的是针对生命医学、人工智能虽然这些文件是规范性的，但它们只是科技伦理问题的跨学科群体和集体认知的第一步，因此它们可启动科技活动的伦理评估和伦理审查的参考框架和工作设想。换言之，科技伦理与创新一样也应该有一个从0到1的过程，相关规范的实际内涵和认知需要通过科技伦理评估、审查实践等才能得到落实、丰富、调整和发展。

科技前沿伦理风险的系统性和可塑性。对前沿科技伦理风险的全面与深入的认知建立在系统思维之上，不是纯粹的科学、技术、伦理认知的组合，而是一种综合性与系统性的认知。

其一，包括纯科学入口的现代科技活动都是在科技军工复合体和科技复合金融体等复杂的科技社会系统中进行的，这些复合体或科技社会系统决定了科技活动的目标，特别是如果科技军工复合体占据主导，地位两用研究势必强化，科技伦理风险会变得更加复杂。

其二，前沿科技所改变或创新的并不仅仅是简单的科学事实或技术现实，对前沿科技所带来的全新事实或现实的认知和理解，应该建立在科技社会系统与自然生态系统（生物圈） ）、信息传播系统（信息圈）、社会政治经济文化系统（文明圈）和正在形成的物化系统（心智圈）的相互联系和影响。

其三，科技伦理风险与法律、安全、安全等风险紧密相连，要从系统性的方面对此进行把握。可以说，前沿科技风险认知的最大障碍是科技专家、伦理法律公共专家政策和科技政策制定者的认知主要集中在领域知识，而这些领域知识难以与前沿科技带来的系统性的全新现实相匹配。由此难免导致系统性无知，而无法识别科技、自然与人类系统之间复杂的互动纠缠。

其四，前沿科技的伦理价值需要关注相关的科技文化背景，对其进行深入研究和了解是前沿科技风险伦理认知的必要基础。指出值得关注的是，当前生命科技和人工智能等例如，超人类主义认为人类可以通过科学和技术达到一种新的存在状态——更聪明、更坚强、更长寿。，而有关人工智能长期风险和生存风险与高效加速主义之争的背后是科技末世论与科技乐观主义的对峙。

因此，前沿科技伦理风险认知的宗旨是立足系统思维，超越简单的技术乐观主义和技术悲观主义，赋予科技创新更大的可塑性。首先，通过对前沿科技所带来的系统性新现实的科技伦理分析，最大限度地克服由系统性无知所引发的过度乐观的幻想和过度悲观的恐惧，从而使前沿科技的潜在风险得以相对理性地阐述，也使得其中的不确定性和未知前景得以表述。

其次，通过对前沿科技伦理风险的系统性分析和认知，认知政策与制定者应据此更全面、更明确地认识前沿科技伦理争议中的关键问题，重点关注这些问题，在本周的时机最大限度地减少潜在科技伦理风险的政策选择。一方面，中断与政策制定者应运用系统认知，在前沿科技伦理风险的问题定义和解决方案中提出中掌握主动权，使科技伦理治理舞台媒体炒作、新反对群体的激进分析以及大科技公司游说的负面影响；另一方面，内心和政策制定者应该充分认识到前沿科技风险往往涉及的是伦理两难或道德陷入困境，应诉诸诸权衡、审度、调适等实践智慧，而不是非善即恶的简单抉择。

最后，更为重要的是，前沿科技伦理研究和风险认知赋予科技创新更大可塑性的关键在于预设和政策制定者的系统认知能力与整体调控能力。美国大选等事件表明，对新技术的过早担忧（如脸书等被指责为“全景监狱”可能会干扰科技伦理风险的系统认知和理性对话）使社会公众和政策制定者难以理解问题[4]在其他一些情况下，媒体对丑闻的过度关注和人们对科技可能性的过度想象（如人工智能终结者）可能会转移问题的焦点，不当放大因此，当前和政策制定者要保持对伦理风险的认知定力，对伦理风险的夸大及由此造成的恐慌心理，并正在探讨伦理问题与风险区分开来，致力针对明确的具体科技活动中利益相关者的利害关系，在不同的价值观之间（如隐私与安全）进行权衡与调节。

强调前沿科技风险塑造认知的系统性与可性，意味着理想的科技风险防范和科技伦理治理并不仅仅是人们常说的脚步和话语，而更是建立在系统权衡之上的战略性简单地说，就是要认识到前沿科技伦理风险以及我们本身认识的系统性、复杂性和未定性。而科技伦理治理的关键策略是从相称性原则出发，在预防科技伦理高风险并促进有益的科技创新之间保持必要性的张力，为前沿科技构造应有的创新空间。因此，为了走向增加可塑性的科技伦理治理，增益的创新既要最大限度地减少前沿科技可能的伦理风险，又要避免过度科技风险，阻断最有利的前沿科技创新。而这无疑需要相关主体在实践探索中反复磨合，不断凝练智慧。

深层次科技伦理风险的预控和应对之道

当前，前沿和新兴科技的发展迫切走向一个我们尚未能把握其全貌的深度科技化时代，必须是其中所表述的深层次的伦理风险，还是新兴科技变化驱动的科技社会的革命性，都表明我们采用一种更加开放和审慎的态度来认识、预控和应对可能出现的科技伦理风险。

第一，要从树立科学认知的伦理边界意识入手加强科技伦理意识建设，通过科技、伦理、法律等交叉学科研究，探索前沿科技的伦理边界和标准，自主的话语权。为此，要进一步加强对科技伦理风险的研究和评估，把这方面的研究能力作为前沿科技创新的核心认知相关关键能力包括三个方面：一是通过跨学科协调，对生命科技和人工智能前沿的具体研究的社会影响和风险复合展开系统研究；二是通过跨领域探索，聚焦可能出现的跨领域不确定性风险，如前沿人工智能与生命科学结合可能带来的机遇与风险等，其程度和范围做出相对准确的预见和评估；三是整合各学科和各领域，从领域、机构和研究者等不同前沿科技风险地图，从而从总体上提升对前沿科技风险的系统认知。

第二，全面提升道德规范、法律监管和技术解决方案三个维度结合起来，设置合理的道德结构，分层分类管理，构建前沿科技道德软着陆机制，对深层次科技道德展开风险系统性和值得关注的是，对人工智能等可能出现生产力革命的前沿科技领域的监管，应尊重科技规律和科技管理规律；对信息安全和内容监管设置的伦理法律结构应分级分类，除此之外少数具有大规模社会激励和重大舆论影响的内容应该从容错性的角度使得监管适应人工智能的超速发展；同时需要加强与科技和产业部门的良性治理，共同构建前沿科技软伦理着陆机制。应该看到，在ChatGPT的开发过程中，OpenAI运用“人机价值伦理工程”在原理上解决了伦理冲突的调整和修正，为前沿科技的深层次伦理问题的治理指出了一个可行的方向—— ——人机和人类与技术的价值审视工程化。

第三，为了不让各种科技伦理原则规范束之高阁，应通过技术、管理和制度方面的解决方案，形成一套治理机制。其一，通过广泛的调研和预见性研究与评估，建立和不断更新风险科技前沿领域的科技伦理高清单。应通过这些清单的发布和审查复核，让科技社区、管理者和整个社会认识到具体的科技风险和伦理可以边界所在。其二，从开源创新和开放科学风险的维度，要求科技伦理的研究和创新活动在启动阶段公开注册，通过数据开放存储与共享，在研究实验的全生命周期中保持研究数据的透明性和可引入性，以便及时接受其三，要从制度上设计不同部门之间不同规定的接口，如不同伦理审查办法机制以及伦理委员会之间建立互操作、互认可等相互衔接和良好的机制。

第四，推进科技伦理研究、推动科技伦理传播和教育的关键不仅在于科技伦理学、应用伦理学和伦理学方面的研究、教育和传播，更关键的是促进科技工作者和全民的系统思维与系统风险认知能力，尤其是加强科学、技术、哲学、历史、文化、政治、经济、社会等方面的交叉学科和跨学科研究，全面提升科技人员和社会公众对系统性科技的认知伦理素养。

第五，科技伦理治理要注重遵循相称性原则，既要避免松懈，也要防止过度严格。国际科技伦理治理中非常重视相称性原则，其基本内涵既不忽视问题，也不夸大问题，相反要根据科技理论风险的程度展开治理的治理。包括联合国教科文组织新近发布的《人工智能伦理问题建议书》等在内的国际科技伦理指引中都强调了这一原则。原则出发，一方面，科技发展不要“冲”得过快，科技的主体应该认识到使科技风险伦理可控，需要及时做出伦理回调；另外，在对科技企业的伦理治理、法律监管与行政监管中，应通过适当的监管促使其及时做出必要的道德，同时应避免过度严苛的处罚。

（论文系国家社会科学基金重大项目“智能革命与人类深度科技化前景的哲学研究”的阶段性成果，项目编号：17ZDA028）

注释

[1]珍妮·戴尔：《拉斐尔·尤斯特：“我们必须尽快采取行动”》，2022年，https://www.unesco.org/zh/articles/lafeieryousitewomenbixujinzaocaiquxingdong?hub=83294。

[2]C.普雷斯顿，“苏格拉底无终身教职：综合时代的伦理、专家和公众”，科学技术问题，2020(3)。

[3]“技术评估中的伦理”，科学技术问题，2020（2）。

[4]萨姆·吉尔伯特：《好的数据：乐观的数字未来指南》，孟雁北译，上海人民出版社，2023年，第145～156页。

前沿科技深层次伦理风险及其应对

段伟文

摘要：当前，生命科技、人工智能等前沿科技的伦理风险日益引起国际社会的高度关注，我国科技伦理治理正走上制度化发展之路。更好地推进我国科技伦理治理，需要有效把握前沿科技的特点作为科技伦理治理的重点，揭示其所呈现的一系列深层次伦理风险。因此，有必要进一步加强对社会技术系统结构特征的认识，探索和重构风险感知的底层逻辑。首先，我们要充分认识新兴科技驱动的社会技术系统的革命性变化，认清新兴科技深层次伦理风险的结构性本质。其次，基于前沿科技伦理治理的开放实践，将科技风险认知和伦理原则视为相关群体不断更新的集体认知和工作假设。三是强调前沿科技风险认知的系统性、可塑性，赋予创新更大的可能性空间。因此，我们可以通过建立科学认知的伦理边界、设置合理的伦理法律门槛、形成开放的整体治理机制、提高公众科技伦理素养等方式来防范、控制和应对科技深层次伦理风险。，并坚持比例原则。

关键词：科技伦理、科技伦理与治理、深度技术化、深度伦理风险、系统思维 

来源：  《人民论坛·学术前沿》2024年1月上