단어를 긍정/부정으로 나누는 규칙(알고리듬)을 세울 수 있을까요?
- 글쓴이
- ggyo
- 등록일
- 2013-05-18 18:32
- 조회
- 7,129회
- 추천
- 0건
- 댓글
- 5건
관련링크
예를 들면.. 좋습니다, 행복, 과 같은 말뭉치는 긍정으로 분류하고,
싫다, 못하다, 부족, 어려움 과 같은 단어는 부정으로 분류하고 싶어요..
또한, 자동차, 생각한다 같이 긍정/부정의 없는 것은 기타로 분류하려고 해요..
긍정/부정을 나누는 규칙만 세우면 되기 때문에 사전을 이용해도 되고, 다른 어떠한 정보를 이용해도 상관없습니다.다만, 객관적으로 분류 되는 규칙이 있어야 해요 ㅜㅜ
이에 대해 간단한 아이디어가 있으면 알려주세요 ㅜㅜ 부탁드립니다 ㅜ
다른 사람들 의견
-
파란맘
()
호기심에 묻습니다.
잘먹고 잘살아라는 긍정으로 인식해야 하는 건가요? 부정으로 인식해야 하는 건가요.
아닌게 아니라 그렇군은 긍정인가요? 부정인가요.
단순히 단어만으로는 구멍이 많습니다. 뉘앙스나 상황, 문맥까지 고려해야 할텐데요. -
avaritia
()
숙제는 스스로
-
좋은하루
()
구체적인 규칙이라고 말씀 하셨는데, 제가 볼때는 긍정, 부정 이 자체가 그것들을 가르는 규칙이라고 생각합니다. 혹시 원하시는 것이 상승적 이미지 --> 긍정, 하강의 이미지 --> 부정 과 같이 언어학적인 기준을 원하시는 것이라면, 직접 국어국문학과 분야의 전공자들에게 조언을 받는 것이 Scieng보다 더 전문적인 대답을 얻으실 수 있으리라 생각됩니다.
-
이상윤
()
인터넷이 범국민적으로 보급되기 시작했을 무렵 제가 아는 어떤분이 1년동안 머리를 싸매고 청소년 유해 사이트 차단 알고리즘을 개발하려 했습니다.
'특정 단어(SEX, 마약, 폭행 etc.)를 필터링 해야하나?'
'이미지를 분석해서 '살색'이 많으면 필터링 해야하나?'
'IP주소를 추적해서 전과(?)가 있는 지역 서버는 일단 차단할까?'
등등..
별의 별 생각을 다해도 도통 마땅한 아이디어가 떠오르지 않고 구현하기 힘든 아이디어들 뿐이었다고 하더군요.
그런데 몇달 뒤 모 인터넷 제공 업체에서 유해사이트 차단 서비스를 상용화 한겁니다.
그분이 대체 어떤 알고리즘을 썼는지 너무나 궁금한 나머지 무작정 개발자를 찾아가 힌트만이라도 달라고 했다더군요. 그냥 너무 궁금할 뿐이라고. 1년동안 머리를 싸매도 난 생각해내지 못했다고..
답은 간단했습니다. 알바생을 써서 하루 종일 음란사이트를 찾아다니며 사이트 주소를 필터링 항목에 넣는것이었죠...
때론 노가다가 필요한 단순한 방법이 최고일 때가 있습니다.
국어사전에서 사람들이 많이 쓰는 단어들을 추려내고 하나하나 긍정과 부정의 의미를 부여하는것도 방법입니다. 소요되는 시간이 너무 길고 말도 안된다고 생각할 수 있지만 그 자체로 유용한 DB가 될 수 있고 오류도 적을듯 합니다.. -
좋은하루
()
실제로 음성 인식 기술의 경우, 한국말의 경우 인식률을 높이기 위해서 단어들을 실제로 읽은 데이터들을 라이브러리로 만들어서 사용한다고 들은 기억이 나는군요. 이 단어 라이브러리가 그 당시 2만개 이상을 직접 만들었다며 자랑스러워 하시던 연구원분이 떠오릅니다. 이상윤 님의 의견에 공감하는 바 입니다.
