版權歸原作者所有，如有侵權，請聯(lián)系我們

在俄羅斯和烏克蘭的沖突中，最近爆出的一段視頻引人關注：烏克蘭無人機深入到距離邊境1000多公里的俄羅斯境內，摧毀了俄方石油和天然氣基礎設施。專家分析稱，這很可能是人工智能在指揮無人機攻擊目標。烏方軍事指揮官也表示，烏克蘭“已經(jīng)在沒有人工干預的情況下，開展完全機器人化的行動”。

也就是說，這類人工智能武器系統(tǒng)可以在沒有人類干預的情況下，自主選擇和攻擊目標。事實上，人工智能在戰(zhàn)爭中的應用遠比我們想象中簡單得多：現(xiàn)有的人工智能和機器人技術完全可以提供合適的物理平臺，這類系統(tǒng)找到人類目標并殺死他們的技術難度，甚至比開發(fā)自動駕駛汽車要容易得多，是研究生就能搞定項目。

因此一些觀察家擔心，未來任何派別都可能派遣成群的廉價人工智能無人機，利用面部識別技術消滅特定的人。更要命的是，如果我們把殺戮按鈕交給機器，將徹底改變戰(zhàn)爭的性質。也因此，致命性自主武器系統(tǒng)被認為是繼火藥和核武器之后的第三次戰(zhàn)爭革命。

4月29日，在維也納舉行的關于自主武器系統(tǒng)的首次國際會議上，奧地利聯(lián)邦歐洲和國際事務部長亞歷山大·沙倫貝格（Alexander Schallenberg）強調，“我相信，這是我們這代人的奧本海默時刻。”

撰文 | Ren

戰(zhàn)爭，就像人類文明永遠無法擺脫的陰影。如今，這場一直由人類當主角的血腥游戲，正在被人工智能（AI）所接管。

無論是俄烏沖突，還是以巴以沖突為首的中東地區(qū)戰(zhàn)亂，AI的影子都依稀可見：它（在人類的監(jiān)督下）操控著無人機、導彈、槍械、地雷等武器，識別打擊目標并發(fā)動攻擊。

這是我們第一次深刻地體會到AI的兩面性，它既能造福人類，也能在瞬息之間奪走人類的生命。很遺憾，我們來不及為逝者哀哭，在軍事領域，這種規(guī)模的AI應用只是一個開始。

我們即將看到的是，一場AI軍備大賽正緩緩拉開大幕，武器將變得越來越智能和自主，人類將慢慢退出它們的決策過程，直到致命自主武器系統(tǒng)（Lethal Autonomous Weapons systems，LAWs）出現(xiàn)并被部署到戰(zhàn)場上。

我們并未準備好面對這一切。當有一天AI武器能夠自主出擊，當無數(shù)人的生死僅憑一行代碼就能決定，你是否能接受自己的命運被交由冰冷的算法做出判決？

所有人都應該明白，讓算法決定一個人的生死是一個糟糕透頂?shù)闹饕?。幸運的是，我們還有時間來阻止這一切變成現(xiàn)實；不幸的是，時間不多了。

遠程操作VS自主決策

按照美國國防部的定義，根據(jù)人類所發(fā)揮作用的不同，武器的自主級別可以分為“人在環(huán)中”“人在環(huán)上”“人在環(huán)外”三種：

人在環(huán)中，武器的行動完全由人來決策和控制；

人在環(huán)上，武器激活后可以按照指令自主決策和行動，人可以監(jiān)督并按需隨時介入接管決策權和控制權；

人在環(huán)外，武器激活后會被指定行動目標，之后完全自主決策和實施行動。

好消息是，就目前已知的情況來看，還沒有真正意義上的“（人在環(huán)外的）致命自主武器系統(tǒng)”被投入使用。根據(jù)聯(lián)合國的說法，它們是“在沒有人類監(jiān)督的情況下定位、選擇和攻擊人類目標的武器”。

這里所討論的不是由人類遠程操控的武器，比如大名鼎鼎的美國“捕食者”無人機，或者烏克蘭前線士兵自制的投彈無人機，可以在人類的操控下遠程投擲手榴彈。

隨著人們對這些武器的認知逐漸加深，加上電子干擾技術的進步，它們的打擊效果將變得越來越弱。因此，一些國家和企業(yè)將目光投向了無人機等自主武器的研發(fā)。

美國國防部高級研究計劃局（DARPA）曾經(jīng)公布過兩項計劃，透露了其自主武器系統(tǒng)的計劃用途：快速輕量級自主（FLA）和干擾環(huán)境中的協(xié)同操作（CODE）。前者將對微型旋翼機進行編程，使其能夠在無人輔助的情況下在城市地區(qū)和建筑物內高速飛行。后者的目標是開發(fā)自主飛行器小組，在敵方信號干擾導致無法與人類指揮官通信的情況下，執(zhí)行打擊任務的所有步驟——發(fā)現(xiàn)、確定、跟蹤、瞄準、交戰(zhàn)、評估。

其他國家也有相關的武器研發(fā)。自2017年以來，土耳其一家名為STM的公司一直在銷售Kargu無人機，該無人機只有餐盤大小，可攜帶1公斤炸藥。根據(jù)該公司 2019 年的網(wǎng)站描述，該無人機能夠“自主且精確”地打擊車輛和人員，“在圖像上選擇目標”并“跟蹤移動目標”。

以色列的Harpy 無人機可以在一個地區(qū)上空飛行數(shù)小時，尋找與視覺或雷達信號相匹配的目標，然后用爆炸物摧毀它們。美國海軍和國防部高級研究計劃局也研發(fā)了“海上獵手”號無人駕駛軍艦，可以從事反潛跟蹤等任務。

放眼全球，實驗性的潛艇、坦克和艦船也已經(jīng)制造出來，全都可以利用AI進行自動駕駛和射擊。根據(jù)目前披露的信息，這些武器既可以遠程操控，也可以在激活后自主執(zhí)行任務。很難分辨人類究竟在多大程度上介入了其決策過程。

AI申請出戰(zhàn)

某種自主武器至少已經(jīng)存在了幾十年，包括熱尋導彈，甚至可追溯到美國內戰(zhàn)時的壓力觸發(fā)地雷（如果將自主性的定義放寬）。然而現(xiàn)在，AI算法的開發(fā)和使用正在擴展它們的能力。

事實上，AI在戰(zhàn)爭中的應用遠比我們想象中簡單得多。

加州大學伯克利分校的計算機科學家、反對AI武器的著名活動家斯圖爾特·拉塞爾（Stuart Russell）表示，“系統(tǒng)找到人類并殺死他們的技術能力比開發(fā)自動駕駛汽車要容易得多。這是一個研究生項目?！?/p>

現(xiàn)有的AI和機器人技術完全可以提供合適的物理平臺、感知、電機控制、導航、地圖、戰(zhàn)術決策和長期規(guī)劃。武器制造商要做的就是將它們按需結合起來。例如，使用DeepMind 的 DQN 算法學習人類的戰(zhàn)術策略，再加上已有的自動駕駛技術，一套自主武器系統(tǒng)完全可以完成城市搜索和摧毀任務。

我們很難知道AI武器在戰(zhàn)場上的表現(xiàn)如何，很大程度上是因為軍方不輕易發(fā)布此類數(shù)據(jù)。

2023年，英國戰(zhàn)略司令部副司令湯姆·科平格·賽姆斯（Tom Copinger-Symes）在英國議會調查中，曾被直接問及AI武器系統(tǒng)，他表示不方便透露太多信息，只是說英國軍方正在開展基準研究，以比較自主武器系統(tǒng)與非自主系統(tǒng)。

盡管現(xiàn)實世界的戰(zhàn)場數(shù)據(jù)很少，但研究人員指出，AI具有卓越的處理和決策能力，理論上可以提供巨大優(yōu)勢。例如，在快速圖像識別領域，近十年來算法的表現(xiàn)一直優(yōu)于人類。這為它精準識別圖像中的打擊目標做好了鋪墊。

早在2020 年，AI模型就在一系列模擬空戰(zhàn)中擊敗了經(jīng)驗豐富的 F-16 戰(zhàn)斗機飛行員，這主要歸功于其“咄咄逼人的精確操縱，人類飛行員無法匹敵”。要知道，AI可以在極短時間內，圍繞如何執(zhí)行特定動作、與對手的飛行距離和攻擊角度做出非常復雜的決定。

今年4月，美國軍方宣布完成了一次開創(chuàng)性試驗，讓一架AI控制的F-16戰(zhàn)機與人類駕駛的戰(zhàn)機完成了真實的空中格斗。AI操控的飛機實現(xiàn)了進攻和防御演練，距離人類駕駛的戰(zhàn)機最近只有610多米。

這架經(jīng)過改裝的F-16戰(zhàn)斗機，被稱為X-62A，由人工智能駕駛。

來源：資料

這標志著美國軍方在AI控制飛機自主作戰(zhàn)領域的一次突破。如果這項技術未來在戰(zhàn)場上出現(xiàn)，空戰(zhàn)的瞬息萬變難以遠程操控，因此它必然屬于致命自主武器的范疇。

理論上，AI還可以用于戰(zhàn)爭的其他方面，包括制定潛在打擊目標清單。此前有媒體報道稱，以色列使用AI創(chuàng)建了一個包含數(shù)萬名可疑武裝分子姓名的數(shù)據(jù)庫。但以軍方予以否認。

管控AI武器，做起來難

AI的強大讓人們不得不思考如何更好地管控它的使用，無論是從實際應用層面，還是從道德層面。

人類控制和規(guī)范武器使用的努力可以追溯到數(shù)百年前。例如，遵守紀律的中世紀騎士同意不用長矛瞄準對方的馬。1675年，法國和神圣羅馬帝國同意禁止使用毒彈。

如今，國際上對武器的主要限制是通過《聯(lián)合國特定常規(guī)武器公約》（CCW），該公約于 1983 年簽署，用于禁止致盲激光武器等。

研究人員多年來一直致力于控制致命自主武器系統(tǒng)帶來的新威脅。聯(lián)合國秘書長安東尼奧·古特雷斯去年7月表示，他希望在2026年之前禁止在無人監(jiān)督的情況下使用武器。

阻止殺手機器人運動。來源：網(wǎng)絡

2023年12月，聯(lián)合國通過了一項關鍵決議，將AI武器的問題納入了2024年9月聯(lián)合國大會議程中。

專家表示，此舉為各國對AI武器采取行動提供了首個現(xiàn)實途徑。但這說起來容易，做起來難。

一些人認為，AI輔助武器可能比人類制導武器更準確，有可能減少所謂的附帶損害（Collateral damage），例如平民傷亡和住宅區(qū)破壞，以及士兵死亡和致殘的數(shù)量，同時幫助弱小的國家和群體保護自己。

但這種想法的漏洞在于敵對國家也會擁有此類武器，而且軍事實力更強的國家很可能擁有更強大的自主武器，它們只會造成更大的傷害，而非更少。

至于依靠自主武器來減少附帶損害，這要建立在兩個前提的基礎上，而這兩個前提很難實現(xiàn)。

一是，AI不會犯錯，或者說AI比人類犯錯概率更低。但現(xiàn)在沒人能打包票說AI就不會犯下跟人類一樣的錯誤，比如將平民識別成打擊目標。

二是，自主武器的使用場景與人類控制的武器（例如步槍、坦克和“捕食者”無人機）基本相同。這也未必站得住腳，因為一旦新武器出現(xiàn)，作戰(zhàn)方法和打擊目標也會隨之變化，其使用場景難以預測，也無法控制。

因此，大多數(shù)AI專家認為，在自主武器的道路上猛踩油門可能會犯下災難性錯誤。讓AI自主選擇打擊目標并做出決策，許多人對該行為背后的道德問題深感擔憂。

2007年，英國軍方曾被迫匆忙重新設計了用于阿富汗的自主硫磺導彈，因為擔心它可能會將一輛載著兒童的巴士誤認為是一卡車叛亂分子。

這是因為雖然AI擅長識別圖像，但它并不是萬無一失的。我們都聽說過圖像識別的荒謬錯誤，比如把貓和狗搞混，但在戰(zhàn)爭中，把兒童和恐怖分子搞混就會導致災難性的后果。

此外，AI系統(tǒng)可能會被黑客攻擊，做出違背指令的行動，或者出現(xiàn)誤判等意外事件，導致沖突升級或降低戰(zhàn)爭門檻。

研究人員和軍方普遍提出的一項原則是，自主武器必須考慮 “人在環(huán)”。但人應該或必須在哪里以及如何介入仍有爭議：人是否應當在授權打擊之前目視驗證目標？是否必須能夠在戰(zhàn)場條件發(fā)生變化（例如平民進入戰(zhàn)區(qū)）時取消打擊？

同時，AI自主武器也讓問責機制變得復雜而混亂。一旦出現(xiàn)問題，承擔責任的顯然不是武器本身，那是授權打擊的人？還是武器制造商？抑或是AI系統(tǒng)的開發(fā)者？

鑒于AI自主武器的復雜性和破壞力，許多人（很可能是地球上的絕大多數(shù)人）認為最好的解決方案就是禁止致命的自主武器。但所有這些問題都要在國際層面（聯(lián)合國）認可、討論、爭吵、談判和妥協(xié)。如此有爭議的話題和龐大的工作量，決定了我們還要花上數(shù)年的時間才能邁出實質性的第一步。

但民間組織可以現(xiàn)在行動，AI和機器人領域的專業(yè)協(xié)會應制定并執(zhí)行禁止致命自主武器工作的行為準則。在這方面有很多先例，例如美國化學會制定了嚴格的化學武器政策，美國物理學會要求美國批準《全面禁止核試驗條約》，反對對無核國家使用核武器，以促進和平與安全。

總而言之，AI驅動的自主武器注定會出現(xiàn)，無論致命與否，它都將重塑未來戰(zhàn)爭的形態(tài)。

人類不應讓這項“利器”失控，必須正視它帶來的風險和挑戰(zhàn)，抓緊一切時間和機會，確保我們能夠及時地控制住它的發(fā)展。只有如此，它才不會從“終結者”變?yōu)椤叭祟惤K結者”。

參考資料：

[1] https://www.nature.com/articles/d41586-024-01029-0

[2] https://www.nature.com/articles/d41586-023-00511-5

[3] https://www.nature.com/articles/521415a

[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/

本文受科普中國·星空計劃項目扶持

出品：中國科協(xié)科普部

監(jiān)制：中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

特 別 提 示

1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關注公眾號，回復四位數(shù)組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。

版權說明：歡迎個人轉發(fā)，任何形式的媒體或機構未經(jīng)授權，不得轉載和摘編。轉載授權請在「返樸」微信公眾號內聯(lián)系后臺。

歡迎掃碼關注深i科普！

我們將定期推出

公益、免費、優(yōu)惠的科普活動和科普好物！