빅데이터는 왜
‘문송’을 필요로 할까?

---

가상공간의 호더, 빅데이터

10여 년 전부터 빅데이터는 IT 산업의 키워드로 굳건히 자리 잡고 있다. 최근에는 데이터(Data), 네트워크(Network, 5G), 인공지능(AI)을 하나로 묶은 D.N.A라는 용어도 자주 사용된다. 빅데이터는 단어의 라임 때문에 왠지 빅브라더를 연상시키기도 하지만, 개념적으로는 ‘IT 산업의 호더’라 볼 수 있다. 이것저것 막 모으다 보면 엄청난 양의 빅데이터가 되는 것이다. 호더가 물건의 객관적 혹은
주관적 가치를 따지지 않듯, 빅데이터도 데이터의 가치나 용도를 따지지 않고 일단 모으는 경우가 많다. 호더들의 수집품 중에는 아무리 좋게 봐주려 해도 결국 쓰레기인 것들이 적잖은데, 빅데이터를 지칭하는 다른 말 중에 ‘쓰레기(Garbage) 데이터’도 있다.
빅데이터의 출현은 어디까지나 ‘무어의 법칙’으로 상징되는 ‘컴퓨팅 비용의 극적인 인하’에 의해 가능했다. 2000년대 중반까지만 해도 데이터를 물리적으로 저장하는 서버나, 데이터를 분류하고
관리할 수 있게 도와주는 소프트웨어인 데이터베이스관리시스템(DBMS)의 가격이 무척 비쌌다. 서버 하나, DBMS 하나에만도 수억 원이 들어가니 웬만한 대기업이 아니면 들여놓지를 못했다.
들여놓는다고 해도 저장해 놓고 활용할 수 있는 데이터의 양이 고작 몇 기가바이트밖에는 되지 않았다. 십수 년이 지난 지금은 1GB 저장 용량을 300원이면 구입할 수 있다.
데이터 저장 가격이 비싸고 용량도 크지 않다면, 데이터의 수집은 가장 중요하다고 생각되는 몇몇 항목 중심으로만 이루어질 수밖에 없다. 서버와 DBMS의 가격이 내려간다면 그에 비례해 수집할 수 있는 데이터 항목도 늘게 된다. 가격이 0에 수렴할수록 수집할 수 있는 데이터는 무한에 가까워지는데, 이렇게 해서 탄생한 것이 빅데이터다. 집을 더 늘리지 못하면 생활공간을 물건에
내줌으로써 불행에 직면해야 하는 호더와 달리, 저장 공간의 제약을 사실상 받지 않는 빅데이터는 온 우주를 담을 수도 있다.

---

쓰레기섬과 보물섬 사이

빅데이터의 특성이 단지 다양성과 양에만 있는 것은 아니다. 최근에는 데이터를 모으는 속도, 즉 실시간성이 강조되는 추세다. 다양성(Variety)과 양(Volume), 그리고 속도(Velocity)를 빅데이터의 ‘3V’라 부르기도 한다. 여기에 가치(Value)와 시각화(Visualization)을 붙여 5V라 부르기도 하지만, 뒤의 두 가지 V는 빅데이터가 실제로 활용되었을 때를 가정한 것이므로 기본 특성이라기보다는
빅데이터의 목적에 가깝다.
가령 도로교통안전 분야에서 빅데이터의 3V와 5V를 생각해 보자. 이십여 년 전이라면 교통사고 건수, 발생시간, 사상자 수, 발생 장소와 시간, 사고차량 유형, 교통위반 단속 건수 등의 데이터만
사후적으로 집적하고 관리할 수 있었다. 지금은 곳곳에 설치된 센서와 CCTV를 통해 특정 장소의 교통량과 교통의 흐름, 신호등의 작동상태 등을 실시간으로 파악할 수 있다. 다른 기관으로부터 행사 정보나 공사 정보 등 교통안전과 관련된 정보를 즉각 받을 수도 있다.
이렇게 방대한 데이터를 모으고 나면 그다음 할 일은 거기서 가치를 발견하고, 보기 좋게 시각화하여 이용자에게 제공하는 것이다. 이것을 하지 못하면 아무리 저장 비용이 싸다 한들 빅데이터는
보물섬이 아닌 쓰레기섬에 불과하게 된다. 온종일 들여다보아도 그저 차량들이 끊임없이 오가는 것만 나올 뿐인 CCTV 화면을 보고 난 후, ‘출근시간과 퇴근시간에는 교통체증이 발생하는 것 같다’는 결론밖에 못 내놓는다면 빅데이터는 정말로 ‘호더’가 되는 것이다.
도로교통안전 분야에서 빅데이터의 활용을 보여주는 사례 중에 일본의 ‘범프레코더(BumpRecorder)’ 앱이 있다. 운전자들이 이 앱을 켠 후 주행을 하면, 달리는 도로 표면의 높낮이 정보가 실시간
으로 서버에 전송된다. 이렇게 모은 빅데이터를 분석하면, 도로 표면이 울퉁불퉁하거나 갑자기 꺼지는 싱크홀이 있는 구간 등의 정보를 지도 데이터에 표시할 수 있게 된다. 와인 같이 병에 담긴 액체를 운송해야 하는 트럭 기사들은 울퉁불퉁한 구간을 피해 주행경로를 설정할 수 있다. 싱크홀이 있는 도로를 달리다 차가 튀어 올라 와인병이 깨지며 발생하는 손실을 고려하면 약간 돌아가는 것이 훨씬 이익이기 때문이다. 운전이 서툰 사람들 역시 울퉁불퉁하거나 위험한 도로는 우회함으로써 혹시 모를 사고를 미연에 방지할 수 있다.

---

---

‘문송’과 AI의 동찰력 대결

‘범프레코더’ 활용이 본격화된 계기는 2011년 동일본 대지진이다. 일본은 도로 인프라가 노후화된 데다가 자연재해로 크고 작은 파손이 발생한 도로가 곳곳에 많지만, 당국은 총연장 길이 120만km에 달하는 도로의 상태를 일일이 파악해 알려줄 수 없었다. 이 문제의 해결책으로 개발된 것이 범프레코더 앱인데, 당국이 하지 못한 일을 모바일 앱과 시민들의 참여로 이루어낸 것이다.
범프레코더 사례는 빅데이터가 무엇이고 어떻게 활용해야 가치가 만들어지는지에 대한 시사점을 준다. 무슨 문제를 해결할 것인지, 해결을 위해 어떤 데이터가 필요한지, 그 데이터는 어떻게 해서 모을 수 있는지 순서로 생각하면 가치 있는 빅데이터를 만들 수 있다. 이미 모아 놓은 방대한 데이터가 있다면, 어떤 가설을 세운 다음, 모의실험을 통해 데이터들 사이의 연관성을 발견해 낼 수도
있다. 한마디로 빅데이터는 ‘직관과 통찰력’을 필요로 하는 것이다.
빅데이터가 주목받으며 선망의 대상으로 떠오른 직업이 ‘데이터 과학자(Data Scientist)’다. 실리콘밸리에서 데이터 과학자의 연봉은 20만 달러가 넘어가는데, 흥미로운 것은 그 명칭과 달리 공학이나 과학, 수학 전공자가 아닌 인문학 전공자들이 적잖이 채용된다는 사실이다. 기술을 잘 몰라도 데이터를 다룰 수 있는 도구들이 쏟아지고 있기에, 필요한 것은 기술이 아니라 방대한 데이터 간의
보이지 않는 관계를 밝혀내는 통찰력이라고 보기 때문이다. ‘문송(문과라서 죄송하다)’이라는 말로 대표되는 우리 사회의 풍조와 달리, 빅데이터는 그 ‘문송’들을 격하게 원하고 있는 것이다.
그럼 이제 빅데이터와 함께 핍박받던 문송들의 시대가 열리는 걸까? 쉽게 답하기 어려운데 문송들의 강력한 경쟁자, 바로 인공지능(AI) 때문이다. 알파고에서 보았듯 AI의 통찰력은 점차 인간을 넘어서고 있다. 빅데이터는 앞으로 문송과 AI를 계속 비교하다 결국 한쪽을 선택하게 될 것이다. 만일 AI가 이기게 된다면 그때는 사람이어서 죄송한 ‘사송’의 시대가 될지도 모르겠다.