빅데이터 분석이라는게 정말 의미있는 것일까요?
- 글쓴이
- 햇님
- 등록일
- 2014-11-03 18:21
- 조회
- 6,812회
- 추천
- 0건
- 댓글
- 4건
관련링크
빅데이터 분석의 몇몇 사례들은 정말이지 놀라웠습니다.
구글의 독감트렌드 분석이나,
sns를 이용해 감성을 분석하여 펀드를 굴린다던지 등등요
그런데 특히 우리나라에는 빅데이터 분석을 도입하는 기업들이 많이 업는 실정입니다. 처음에는 왜 안하는걸까 이해되지 않았는데 요즘은 조금 이해가 갑니다.
1. 빅데이터 분석으로 얻을 수 있는 결과는, 전문가를 통해서도 얻을 수 있다.
: 상권분석을 통한 유망업종을 추천해주는 빅데이터 활용사례(중소기업중앙회였던가 그랬습니다.) 는 컨설팅 전문가라던지.. 아니면 심지어 그 부분에 사는사람들을 만나 얘기를 나눠보면 사이즈가 나오지 않을까요?
또한, 범죄예방의 경우 그간의 범죄율이나 경범죄율? 또는 뭐 주변 집값 등을 토대로 어느 지역에 범죄가 많이 발생하겠다를 알려준다는데 이것 역시 그 주변에서 일했던 경찰관이라면 아니 10대 아이들도 이부분은 위험한 곳이다 알지 않을까요?
위의 사례뿐만 아니라 아직 많은 부분에서 전문가 vs 빅데이터분석을 놓고 봤을 때, 전문성이라던지 비용효율 측면에서 전문가가 앞서있는 것 같습니다.
2. 정확성이 담보되지 않는다.
: 인과성이 아니라 상관성을 분석하여 예측결과를 알려주는 빅데이터 분석이므로 이것은 어쩔 수 없는 부분이라고 생각됩니다.
예를 들어 어떤 건물에 화재가 발생할지 예측하는 빅데이터 분석 시스템을 만들었다고 해봅시다.
그러면 건물주 변동내역이라던가 주변 경범죄율, 공과금 체납기록, 건물년식, 구조, 유동인구(구할수있을지 의문이나) 등등
지금 모을 수 있는 데이터는 아마 저런 것들이 전부일 것이라고 생각되지만.. 얼마나 정확한 예측결과를 알려줄지 의문입니다.
부부싸움 후 방화라던가, 방화범이 저지르는 불 등은 못잡겠죠
이렇게 아직 모을 수 있는 데이터들에서는 빅데이터 분석이 정확하지 않다고 봅니다..
제가 빅데이터를 까려고 까는것은 아닙니다.
지금 빅데이터를 어떻게 활용할 수 있을까 생각을 하다보니 자꾸만 이것이 무슨의미가 있을까..... 그런 회의가 들면서 이런 글을 남깁니다.
지금의 기술들이 많이 부족해서(IoT가 아직 활성화되지 않아) 부족한 것일까요?
아니면 빅데이터라는 개념 자체가 허상이었을까요?
아니면 제가 너무 비관적으로 보는것일까요?
어떤의견이라도 감사하겠습니다..
다른 사람들 의견
-
세아
()
"이것 역시 그 주변에서 일했던 경찰관이라면 아니 10대 아이들도 이부분은 위험한 곳이다 알지 않을까요?"에서처럼 누군가 특정인의 노하우가 아닌 "숫자"로 주어지는 자료를 사람들이 더 신뢰하기 때문 아닐까요? 감에 의한 수사가 아닌 과학에 의한 수사를 지향하듯이요.
서울시 올빼미 버스의 경우에도 몇 사람이 밤나절 이곳 저곳 돌아다녀보면 대충 감이 잡혀 어떤 노선이 필요하겠다는 대략적인 안은 만들어 낼 수 있겠습니다만, "숫자"로 주어지는 근거자료가 더욱더 신뢰를 받는 세상이니까요.
그러는 와중에 미처 보지 못하는 것까지도 볼 수 있는 것이 빅데이터가 아닌가 합니다. 수많은 자료들 속에 숨어서 유유히 흘러가고 있는 구체적인 특징들을 잡아내어 수치로 표현해 주는 것이 빅데이터일테니까요. -
햇님
()
세아/ 숫자로 표현한다는 말씀 어느정도 공감합니다. 하지만 세아님 글에도 있듯이 도출되는 숫자는 어떤 번뜩이는 직관이나 경험의 근거만 (이것역시 정확도가 그다지 담보되지 않을수도..) 되는건가요?
-
햇님
()
freude/ 네 맞습니다. 3번으로 추가해야겠네요.. 기존에 해오던거다.
마치 우리가 '비가 오면 부침가루가 잘 팔린다'를 아는것도 이것에 속하겠네요 -
달
()
구글에서는 왜 음성인식기를 개발할까요? 사람이 듣고 이해하면 되는데. 자동 통역은 왜하죠? 통역사가 있는데?
스케일이 커지면 비용 대비 효율의 차이는 넘사벽이됩니다. 상권 분석을 데이타 넣어서 돌리는것이 전국의 모든 지역의 전문가를 불러서 물어보는것보다 가격이 싸지면 기계를 쓰겠죠.
비가오면 부침가루가 많이 팔리는건 동네 수퍼에서도 할 수 있는 일입니다. 비가 오는 날 대형 마트에서 카운터 옆에 우산을 놓을지 부침가루를 놓을지 결정해야한다면 감에 의존할 수도 있겠지만 데이타를 사용하는 방법도 있겠죠. 그리고 이런 결정을 전국의 마트에서 수백, 수천가지 아이템에 대해 매일매일 해야한다면 왜 데이타를 쓰고 기계학습 기반으로 접근해야하는지는 명확합니다.
우리나라에서 안쓰는 이유는 (제가 보기엔) 우리 나라의 많은 산업이 내수 기반이고 아직 세계수준의 경쟁력을 갖추지 않아도 먹고살만하기때문입니다. 아마존과 지마켓의 아이템 추천을 비교해보세요.
