Đây là quan ngại của giới chuyên gia nghiên cứu về AI hiện nay do việc ứng dụng AI cho phép các hệ thống vũ khí tự động lựa chọn và tấn công mục tiêu đã gây nhiều tranh cãi về mặt đạo đức. Nhiều ý kiến chỉ trích cho rằng hệ thống này sẽ đe dọa đến an ninh quốc tế và báo trước một cuộc cách mạng thứ ba trong chiến tranh sau súng đạn và bom nguyên tử.
Theo nghiên cứu của tổ chức phi chính phủ Pax của Hà Lan, Amazon, Microsoft và Intel nằm trong số nhóm 50 công ty công nghệ đang đẩy thế giới vào một cuộc chạy đua vũ trang nguy hiểm với việc phát triển các robot thông minh có khả năng hủy diệt. Pax xếp hạng khoảng 50 công ty công nghệ theo 3 tiêu chí: phát triển công nghệ liên quan đến AI nguy hiểm, tham gia triển khai dự án quân sự và có hay tham gia chạy đua vũ trang AI trong tương lai hay không. Trong số này, có 21 công ty ở mức quan ngại cao, bao gồm Amazon, Microsoft và Intel. Lý do là Amazon và Microsoft đang tìm cách có mặt trong dự án trị giá 10 tỷ USD của Bộ Quốc phòng Mỹ cung cấp cơ sở hạ tầng điện toán đám mây cho quân đội Mỹ. Ngoài ra, Palantir, doanh nghiệp có liên hệ với tổ chức đầu tư do Cơ quan Tình báo Trung ương Mỹ (CIA) hậu thuẫn, đã nhận được hợp đồng trị giá 800 triệu USD để phát triển hệ thống AI có thể giúp các binh sĩ phân tích khu vực chiến đấu kịp thời.
Theo nhận định của Giáo sư Khoa học máy tính của Đại học California, Berkeley (Mỹ) Stuart Russell, các vũ khí tự động chắc chắn sẽ trở thành vũ khí hủy diệt hàng loạt, vì một cá nhân có thể “kích hoạt” hàng triệu, thậm chí là trăm triệu vũ khí cùng lúc. Ngoài ra, AI cũng có thể thay đổi mục tiêu và kỹ thuật với tốc độ mà con người không thể bắt kịp mà không đòi hỏi việc phân tích quá phức tạp. Thực tế cho thấy các tập đoàn sẽ nghiên cứu và phát triển các loại vũ khí tự động và chính những tập đoàn này sẽ đóng vai trò lớn trong việc ngăn các vũ khí tự động trở nên phổ biến.
Việc phát triển AI vì mục đích quân sự đã gây tranh cãi và phản đối ngay trong chính ngành công nghiệp này. Năm ngoái, Google đã từ chối gia hạn hợp đồng Maven với Lầu Năm Góc, trong đó sử dụng máy móc để phân biệt con người và vật thể trong các đoạn video của máy bay không người lái. Google cũng không tham gia đấu thầu dự án Cơ sở hạ tầng quốc phòng doanh nghiệp chung (JEDI) về điện toán đám mây mà Amazon và Microsoft muốn thực hiện. Ngay chính các nhân viên của Microsoft cũng lên tiếng phản đối hợp đồng của tập đoàn với quân đội Mỹ về kính thực tế ảo mang tên HoloLens để tăng tính sát thương trên chiến trường.
Trước diễn biến phát triển AI theo hướng quân sự hóa, ngày càng xuất hiện nhiều cảnh báo đề cập đến việc mọi loại vũ khí hiện nay đều có thể được chuyển sang phiên bản tự động, từ các loại súng thông thường tới xe tăng, chiến đấu cơ hay tàu ngầm. Có ý kiến cho rằng quốc tế cần đưa ra lệnh cấm sử dụng AI vì mục đích gây sát thương, nói cách khác là cấm phát triển, triển khai và sử dụng những cỗ máy thông minh có thể tư duy và ra quyết định này.
