Những thách thức đến từ chủ nghĩa khủng bố, đặc biệt là khủng bố mạng đã bắt buộc các cơ quan phản gián phải áp dụng các hệ thống Big Data Dữ liệu lớn để nâng cao hiệu quả của các hoạt động giám sát. Nhưng phương pháp mà các cơ quan phản gián khai thác Big Data hiếm khi được công bố công khai, việc giám sát của cộng đồng đối với những hoạt động này vì thế khó đạt được hiệu quả.
Ưu điểm của Big Data
Hai thập kỷ trước, tình báo Mỹ cùng với các tổ chức tình báo phương Tây khác đã bắt đầu những nỗ lực thu thập thông tin về các mối đe dọa trên các bang của Mỹ cũng như trên phạm vi toàn cầu nhằm dập tắt các âm mưu khủng bố từ trong “trứng nước”. Điều này được thực hiện phần lớn nhờ vào một chính sách mới của chính quyền Tổng thống George W. Bush mang tên gọi là Cuộc chiến chống khủng bố Toàn cầu. Những điều luật mới đã trao cho Chính phủ Mỹ rất nhiều quyền hạn và thu hẹp đáng kể các mức độ tự do dân sự.
Dựa theo đó các nước khác cũng ban hành những điều luật tương tự nhằm tăng cường an ninh, chủ quyền và các lợi ích của công dân nước mình. Khả năng thu thập thông tin tình báo nguồn mở được tăng tốc phát triển để phù hợp với sự chuyển đổi sang các hệ thống truyền thông kỹ thuật số. Kết quả: Ngay lập tức một lượng thông tin khổng lồ đã được tích lũy, việc khai thác các dữ liệu này cho phép xác định các nghi phạm khủng bố tiềm năng hiệu quả hơn.
Cũng trong thời kỳ này, các hoạt động trong lĩnh vực công nghiệp và thương mại cũng đòi hỏi phải nâng cấp mạnh mẽ hệ thống thông tin. Cho đến tận giữa những năm 2000, các tổ chức thương mại thường có nhiều kênh thông tin khác nhau, mỗi kênh nhằm phục vụ một thực thể khác nhau trong tổ chức.
Tuy nhiên, thông tin thu thập được trong các hệ thống này không được khai thác đúng cách, nguyên nhân không chỉ vì khó khăn trong việc vận hành mạng, mà chủ yếu là do các hệ thống này hoạt động độc lập. Do đó, nhu cầu phát triển các hệ thống có thể xử lý lượng thông tin khổng lồ được lưu trữ và cung cấp bởi các bộ phận khác nhau của tổ chức đã xuất hiện.
Nhu cầu đó nhanh chóng được các công ty hàng đầu như Oracle, IBM, SAS, SAP (và nhiều công ty khác) đáp ứng, cái nền tảng mà những công ty này thiết lập sau đó được đặt cái tên chung là Big Data. Các công cụ mới này cho phép xử lý mọi loại dữ liệu: văn bản, âm thanh, video, thông tin vị trí. Hiệu quả của việc thu thập và xử lý thông tin của những hệ thống mới này được nâng cao rõ rệt, giúp cho việc đưa ra quyết định vừa nhanh chóng vừa chính xác hơn rất nhiều.
Big Data và công tác phản gián
Thời gian đầu hầu như không có một nghiên cứu mang tính hệ thống nào về việc áp dụng dữ liệu lớn trong công tác tình báo - phản gián. Sự chậm trễ này có nhiều nguyên nhân: Sự bảo thủ về thể chế và quy tắc hoạt động, sự ngần ngại khi phải dấn thân vào một lĩnh vực mới; sự thiếu hiểu biết về lĩnh vực kinh doanh nơi mà các công cụ dữ liệu lớn khác nhau, do nhu cầu cạnh tranh, đang phát triển nhanh chóng; mối lo ngại về tính bảo mật của các hệ thống thông tin mới.
Điểm cuối cùng: thiếu các chuyên gia đủ khả năng cải tiến các hệ thống dữ liệu lớn đang được sử dụng trong lĩnh vực thương mại thành các hệ thống chuyên biệt đáp ứng các yêu cầu đặc thù của các hoạt động tình báo - phản gián. Phải nhiều năm sau khi việc áp dụng các hệ thống dữ liệu lớn tiên tiến đã gặt hái được những thành công vang dội trong lĩnh vực kinh doanh, các cơ quan tình báo - phản gián cuối cùng mới nhận ra những tiềm năng vô cùng to lớn của các công cụ này một khi nó được áp dụng vào trong các hoạt động của họ.
Theo Edward Snowden, người đã đào thoát khỏi Cơ quan An ninh Quốc gia Hoa Kỳ (NSA) vào năm 2013, các nỗ lực thu thập thông tin tình báo toàn cầu của các cơ quan tình báo Mỹ và Anh, chủ yếu nhắm vào chống khủng bố, cũng đã đạt được những bước tiến lớn trong lĩnh vực Big Data.
Những tiết lộ của Snowden đã cho thấy sự mở rộng nhanh chóng quy mô của các hệ thống thu thập và lưu giữ thông tin sau vụ tấn công khủng bố ngày 11-9-2001, thông qua việc sử dụng các công cụ dữ liệu lớn. Snowden nhấn mạnh tới hai khía cạnh trong công việc mà các cơ quan phản gián thực hiện liên quan đến việc chống khủng bố: lượng thông tin khổng lồ đã được thu thập và lưu trữ nhờ vào hệ thống dữ liệu lớn và khả năng truy xuất hiệu quả của nó.
Theo Snowden, các hệ thống dữ liệu lớn được sử dụng trong phản gián hiện nay có khả năng thu thập hàng nghìn byte dữ liệu mỗi giây và với các công cụ phân tích đã trang bị, các tổ chức an ninh đã có khả năng phân tích nhanh chóng lượng thông tin khổng lồ này để chọn ra những kẻ tình nghi và đưa ra cảnh báo về các sự kiện khủng bố có khả năng xảy ra cao nhất .
Bản thân Snowden không sử dụng thuật ngữ dữ liệu lớn khi nói đến đến các phần mềm công cụ đang được NSA sử dụng để thu thập và truy xuất thông tin. Nhưng những gì anh ta đã trải nghiệm trong công việc của mình đã cho thấy NSA thực tế đã sử dụng rộng rãi các hệ thống dữ liệu lớn.
Với những gì Snowden đã tiết lộ, khái niệm “Dữ liệu lớn và Giám sát” đã xuất hiện trong các lĩnh vực hoạt động tình báo Mỹ. Khái niệm này chứng minh một cách rõ ràng rằng việc giám sát hiệu quả con người, nhóm và các tổ chức đặc biệt là việc định danh và nhận dạng một cá nhân trong một quần thể lớn sẽ không thể thực hiện được nếu không sử dụng dữ liệu lớn và các công cụ phân tích tiên tiến đi kèm.
Dữ liệu lớn cho phép các cơ quan an ninh nhanh chóng xác định được các cá nhân tạo ra những nguy cơ và đưa ra những quyết định nhanh chóng liên quan đến các biện pháp cụ thể để chống lại họ. Snowden cũng nhiều lần đề cập đến “siêu dữ liệu”, một khái khái niệm liên quan tới việc “đánh chặn các liên lạc kỹ thuật số”, ví dụ Co-Traveler là một chương trình do NSA phát triển cho phép thiết lập mối liên kết giữa các điện thoại di động của các nghi phạm, lập bản đồ các mối quan hệ giữa chúng và giám sát mọi thông tin liên lạc được truyền qua lại giữa chúng.
Thông tin mà Snowden cung cấp cũng cho thấy các công ty viễn thông Mỹ, cụ thể là Yahoo, Skype, Microsoft, Google, Facebook, Apple và YouTube cũng như các nhà cung cấp Internet đã tự nguyện hợp tác chặt chẽ với các tổ chức tình báo ngay cả khi họ có quyền từ chối làm như vậy. Đó là điều trước đây chưa bao giờ được các phía liên quan công bố.
Những thông tin mà Snowden cung cấp cũng cho thấy các hoạt động thu thập thông tin của các cơ quan tình báo đã xâm hại với mức độ khá nghiêm trọng tới quyền riêng tư của nhiều người ở Mỹ, Anh và các nơi khác trên thế giới, dẫu rằng những người đó hoàn toàn không liên quan tới khủng bố. Sau những tiết lộ của Snowden, trong công chúng Mỹ đã xuất hiện những tiếng nói phản đối kịch liệt sự lạm quyền này của các cơ quan tình báo.
Các ủy ban tình báo của Quốc hội Mỹ đã phải tổ chức các phiên điều trần và sau đó đã ban hành những điều luật yêu cầu các cơ quan tình báo phải tiến hành xin được cấp ủy quyền đặc biệt trước khi tiến hành thu thập thông tin của công dân, điều này sẽ hạn chế việc NSA tiến hành các hoạt động thu thập thông tin sâu rộng đối với các công dân không phải là đối tượng điều tra.
Việc áp dụng kỹ thuật số nói chung và dữ liệu lớn nói riêng là một bước ngoặt lớn lao trong các hoạt động tình báo của các quốc gia phương Tây. Giờ đây rất khó hình dung một hoạt động thu thập thông tin tình báo, chẳng hạn từ nguồn truyền thông xã hội mở với mục đích chống khủng bố và dự đoán trước các mối đe dọa tiềm tàng lại không sử dụng đến các công cụ dữ liệu lớn.
Tuy nhiên việc lạm dụng các công cụ dữ liệu lớn đôi khi đã dẫn đến việc xâm phạm đến quyền công dân ở một số nước phương Tây như ở Mỹ và Israel và đã dấn đến một số phản ứng gay gắt trong công chúng. Giải pháp tối ưu đó chính là một sự cân bằng và hài hòa giữa các yêu cầu về an ninh, quyền công dân và tính hiệu quả của việc giám sát các quyền lực lớn lao đã được trao cho các cơ quan tình báo phương Tây sau vụ tấn công khủng bố ngày 11-9.
NSA đứng đầu thế giới trong việc triển khai các phần mềm gián điệp 
Đức sẵn sàng cho cuộc chiến trong không gian 
