빅 데이터

빅 데이터

빅 데이터란 큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통차링나

새로운 형태의 가치를 추출해내는 일이다. 

그리고 이 과정에서 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를

가져오는 일이다.

하지만 이것은 시작에 불과하다. 빅 데이터 시대는 우리가 사는 방식,세상과 소통하는

방식에 도전한다. 그중에서도 가장 두드러진 부분은 사회가 인과성 casuality 에 대한

그동안의 집착을 일부 포기하고 단순한 상관성correlation에 만족해야 할 것이라는

점이다.

즉 '이유'는 모른 채 '결론'만 알게 되는 것이다. 이것은 수백 년간 이어져온 관행을

뒤집는 일이며 , 우리는 의사 결정 방식이나 현실에 대한 이해 방식을 아주 기초적인

부분부터 다시 생각해야 할지도 모른다.

- 빅 데이터가 만드는 세상 / 21세기 북스 / 19쪽

...인간인 우리는 원인을 찾도록 길들여져 있었다. 인과관계를 찾는 일은 어려울 때도

많고 잘못된 길로 인도할 때도 있지만 말이다. 반면 빅데이터 세상에서는 인과관계에

얽매일 필요가 없어진다. 그 대신 우리는 패턴이나 상관성을 찾아내어 새로운 이해와

귀중한 통찰을 얻을 것이다. 상관성은 어떤 일이 정확히 왜 벌어 지고 있는지

설명하지 못할 수도 있다. 하지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다.

- 30~31쪽

지금은 말하자면 보물찾기가 진행 중이다. 사람들은 데이터에서 추출할 수 있는 통찰과

인과관계를 상관관계로 바꾸었을 때 드러날 잠재적 가치를 찾아 나선다.

보물은 한 개가 아니다. 어떤 데이터 집합이든 각각 아직 발굴되지 못한 고유한 가치를

숨기고 있을 가능성이 높다. 그 모든 게 숨은 보물인 것이다. - 33쪽

빅 데이터의 핵심은 아주 최근까지도 우리가 온전히 이해하기 힘들었떤 정보들 사이의

관계를 파악하고 이해하는 것이다. - 41.

사회적 맥락에서 예측 대용물을 찾는 것은 빅 데이터 기술을 이용하는 한 가지 방법에 

불과하다. 일상적 요구를 해결하기 위해 새로운 유형의 데이터에서 상관성을 찾는 것

역시 매우 강력한 방법이다. - 111.

빅 데이터는 우리가 세상을 이해하고 탐험하는 방식을 바꾼다. 스몰 데이터의 세상에는

세상이 작동하는 방식에 대해 가설을 세운 다음 데이터를 수집하고 분석하여 그 

가설을 검증하려고 했다. 하지만 미래에는 세상에 대한 이해를 주도하는 것은 가설보다는

풍부한 데이터가 될 것이다. - 132.

빅 데이터 그 자체도 이론 위에 세워져 있다. 예컨대 빅 데이터는 통계 이론과 수학 이론을

채용하고 있고 때로는 컴퓨터 과학 이론도 사용한다. 물론 이것들은 중력과 같은 특정

현상에 대한 인과적 역학에 관한 이론은 아니다. 그래도 여전히 이것들 역시 이론이다.

그리고 앞에서 보았듯이 이런 이론에 기초한 모델은 매우 유용한 예측력을 지닌다.

사실 빅 데이터가 신선한 시각과 새로운 통찰력을 제공할 수 있는 것은 빅 데이터가

특정 분야의 이론에 내포된 인습적 사고나 어쩔 수 없는 편향으로부터 자유롭다는 바로

 그 이유 때문이다. -134.

1세기가 넘는 기간 동안 물리학자들은 이 점을 암시하고 있었다.

존재하는 모든 것의 기반은 원자가 아니라 정보라고 말이다. 난해하게 들리라는 것을 안다.

하지만 우리는 이제 데이터화를 통해 존재의 물리적 측면과 무형적 측면을 훨씬 더

종합적이니 규모로 포착하고 계산할 수 있게 됐다. 그리고 그것에 기초해 행동할 수 

있게 됐다. 세상을 정보로 보게 되면, 다시 말해 훨씬 더 깊고 넓게 탐험할 수 있는 데이터의

바다로 보게 되면 우리는 이전에 보지 못했던 관점으로 현실을 보게 될 것이다.

이것은 삶의 모든 영역을 간파하는 정신적 눈이 될 것이다. 지금 우리는 수리적 사회에

살고 있다. 세상을 숫자와 수학으로 이해할 수 있다고 생각한다.지금 우리는 시공간을

넘어 지식을 전달할 수 있는 것을 당연하게 여긴다. 문자라는 것이 우리에게는 너무나

익숙하기 때문이다. 미래에 다가올 ㅅ대들은 '빅 데이터 의식'을 갖게 될지도 모른다.

그들은 우리가 하는 모든 일에 수량적 구성 요소가 있고 데이터가 있으면 사회는 

무엇이든 파악할 수 있다고 여길지도 모른다. 현실의 수많은 측면을 데이터로 바꾼다는

것이 지금 사람들에게는 참신하게 보일수도 있다. 하지만 미래에는 분명 이것을 당연히

주어져 있는 것으로 여길 것이다. -180.