다른 사람들 의견

• 루목유 (12-10-13 15:45)

    estimate가 biased하지 않고 정확히 같다는 얘기는 상태 추정 오차가 0라는 얘기고 그만큼 모델을 신뢰할 수 있다는 얘기겠죠. 그런데 Random variable일 경우에는 정확히 같을 수는 없을테고 그럴 때는 State와 Estimate와의 차이를 최소화시키는 작업을 해야겠죠. 칼만 필터를 공부하고 계신 것 같은데 그 경우에는 state와 estimate와의 차이의 공분산 행렬을 최소화 시키면 됩니다. 공분산 행렬을 최소화하게끔 칼만 게인을 이용하는 것이구요.
  
  칼만 게인은 그런데 State 모델의 transition matrix와 measurement matrix와 관계있는 값입니다. 보통 A,C라는 기호로 쓰는데요, Noise의 covariance도 필요합니다. 이건 시간과는 관계가 없습니다. covariance update가 state update와는 사실 따로 계산되는 것인데요, 이의 값을 이용해 estimate하고 state 차이를 최소화하는 것이 bias를 최소화하는 것입니다.
  
  처음에 질문하는 추정치와 실측치와의 차이는 보통 모델의 정확성과 random noise로 표현되는 noise에 따라 생깁니다. 따라서 bias는 반드시 생길 수밖에 없구요, 그래서 이를 최대한 최소화 시키는 작업이 필요합니다. 시스템이 linear할 경우에는 칼만필터가 가장 좋은 필터구요. 제어공학에서 쓰이는 이러한 개념들도 다 통계적인 개념이라고 할 수 있겠죠.

  estimate가 biased하지 않고 정확히 같다는 얘기는 상태 추정 오차가 0라는 얘기고 그만큼 모델을 신뢰할 수 있다는 얘기겠죠. 그런데 Random variable일 경우에는 정확히 같을 수는 없을테고 그럴 때는 State와 Estimate와의 차이를 최소화시키는 작업을 해야겠죠. 칼만 필터를 공부하고 계신 것 같은데 그 경우에는 state와 estimate와의 차이의 공분산 행렬을 최소화 시키면 됩니다. 공분산 행렬을 최소화하게끔 칼만 게인을 이용하는 것이구요. 칼만 게인은 그런데 State 모델의 transition matrix와 measurement matrix와 관계있는 값입니다. 보통 A,C라는 기호로 쓰는데요, Noise의 covariance도 필요합니다. 이건 시간과는 관계가 없습니다. covariance update가 state update와는 사실 따로 계산되는 것인데요, 이의 값을 이용해 estimate하고 state 차이를 최소화하는 것이 bias를 최소화하는 것입니다. 처음에 질문하는 추정치와 실측치와의 차이는 보통 모델의 정확성과 random noise로 표현되는 noise에 따라 생깁니다. 따라서 bias는 반드시 생길 수밖에 없구요, 그래서 이를 최대한 최소화 시키는 작업이 필요합니다. 시스템이 linear할 경우에는 칼만필터가 가장 좋은 필터구요. 제어공학에서 쓰이는 이러한 개념들도 다 통계적인 개념이라고 할 수 있겠죠.
• 꼬맹이 (12-10-15 10:05)

    답변 감사합니다.
  제가 아직 내공이 부족해서 이런 질문을 드려도 될지 모르겠지만, 토론이라 생각하시고 비판없이 들어주세요.
  
  Dynamic모델과 Measurement모델에 잡음(Noise)를 넣고 State를 Estimate를 합니다. 이 잡음은 시스템에서 발생하는 외/내부 잡음일 뿐 아니라, 모델의 비정확성에 따라 발생하는 error의 영향에 따라 실측치와 추정치는 거의(같다면 deterministic의 완벽한 모델링 상태) 다릅니다. 여기까지는 같은 같은 생각을 공유하고 있다고 고려하겠습니다.
  -----
  답변을 읽고 곰곰히 생각하면, 실측치와 추정치의 차이가 있다는 것이 시스템이 biased되어있다라고 생각되어집니다.
  -----
  그리고, 제가 혼란을 가져왔던것이 KF는 Unbiased Estimator이라는 것입니다. 저는 이게 적용되는 시스템은 Unbiased이어야 한다라고 생각했었습니다. 그래서 혼란이 왔었어요.
  지금 루목유님 글을 보고 생각한게 Unbiased시스템이면 최고이고 시스템이 Biased되면 Biased된 만큼 성능이 떨어진다라고 생각을 고쳤어요.
  그러면, Biased Estimator는 무엇일까라는 생각이 드네요;;;

  답변 감사합니다. 제가 아직 내공이 부족해서 이런 질문을 드려도 될지 모르겠지만, 토론이라 생각하시고 비판없이 들어주세요. Dynamic모델과 Measurement모델에 잡음(Noise)를 넣고 State를 Estimate를 합니다. 이 잡음은 시스템에서 발생하는 외/내부 잡음일 뿐 아니라, 모델의 비정확성에 따라 발생하는 error의 영향에 따라 실측치와 추정치는 거의(같다면 deterministic의 완벽한 모델링 상태) 다릅니다. 여기까지는 같은 같은 생각을 공유하고 있다고 고려하겠습니다. ----- 답변을 읽고 곰곰히 생각하면, 실측치와 추정치의 차이가 있다는 것이 시스템이 biased되어있다라고 생각되어집니다. ----- 그리고, 제가 혼란을 가져왔던것이 KF는 Unbiased Estimator이라는 것입니다. 저는 이게 적용되는 시스템은 Unbiased이어야 한다라고 생각했었습니다. 그래서 혼란이 왔었어요. 지금 루목유님 글을 보고 생각한게 Unbiased시스템이면 최고이고 시스템이 Biased되면 Biased된 만큼 성능이 떨어진다라고 생각을 고쳤어요. 그러면, Biased Estimator는 무엇일까라는 생각이 드네요;;;
• 루목유 (12-10-15 15:22)

    제가 bias라는 잘 쓰지 않아서 Unbiased estimator가 정확히 어떤 의미인지는 잘 모르겠습니다. 제가 이해한 대로 말씀을 드려보겠습니다.
  
  보통 제어기에서는 에러를 최소화하게 하는 입력을 결정하게 되죠. 이것으로  인해 출력값이 결정되게 되고 이 값과 설정값 set point의 차이가 에러가 되죠. 에러가 제로가 되지는 않을 것이기 때문에 앞에서 언급한 입력값을 보통 u_bias라고 지칭합니다. 이러한 제어 오차를 0으로 만들기 위해서 적분 제어 동작을 가한다면 언젠가 제어 오차가 0에 가까워질테고 그 시점에서의 u(t)가 바로 출력값 = 설정값이 되는 정확한 u_bias가 되겠죠. noise가 있을 경우에는 최대한 정확하게 u_bias를 구하기 위해서 칼만 필터를 적용하는 것이구요. 저는 그러한 의미에서 칼만 필터가 Unbiased estimator가 되는 건가 하고 이해했습니다.

  제가 bias라는 잘 쓰지 않아서 Unbiased estimator가 정확히 어떤 의미인지는 잘 모르겠습니다. 제가 이해한 대로 말씀을 드려보겠습니다. 보통 제어기에서는 에러를 최소화하게 하는 입력을 결정하게 되죠. 이것으로 인해 출력값이 결정되게 되고 이 값과 설정값 set point의 차이가 에러가 되죠. 에러가 제로가 되지는 않을 것이기 때문에 앞에서 언급한 입력값을 보통 u_bias라고 지칭합니다. 이러한 제어 오차를 0으로 만들기 위해서 적분 제어 동작을 가한다면 언젠가 제어 오차가 0에 가까워질테고 그 시점에서의 u(t)가 바로 출력값 = 설정값이 되는 정확한 u_bias가 되겠죠. noise가 있을 경우에는 최대한 정확하게 u_bias를 구하기 위해서 칼만 필터를 적용하는 것이구요. 저는 그러한 의미에서 칼만 필터가 Unbiased estimator가 되는 건가 하고 이해했습니다.
• 루목유 (12-10-15 15:47)

    구글링을 해보니, biased estimator와 unbiased estimator의 차이가 나오네요. estimated parameter의 평균값과 estimator's distribution의 평균이 일치하면 unbiased estimator이고 아니면 biased estimator 이군요.
  
  칼만 필터를 적용할 때 optimal한 kalman gain를 사용하지 않고 다른 값을 사용한다면 biased estimator가 될 수도 있겠네요. 

  구글링을 해보니, biased estimator와 unbiased estimator의 차이가 나오네요. estimated parameter의 평균값과 estimator's distribution의 평균이 일치하면 unbiased estimator이고 아니면 biased estimator 이군요. 칼만 필터를 적용할 때 optimal한 kalman gain를 사용하지 않고 다른 값을 사용한다면 biased estimator가 될 수도 있겠네요.
• 꼬맹이 (12-10-16 09:01)

    루목유님 감사합니다.
  복잡한 생각이 정리되네요. 그리고 깨닫고 보니까 약간 당연한 사실을 물어본것 같은 느낌이 드네요...항상 그렇듯이
  KF는 당연히 u_bias여야하죠..거기다가 optimal하니까요. 안그러면;;;
  ----
  정리하면 시스템에 bias가 없는 한 출력도 bias가 없는 estimate가 KF네요. 거기다가 random variable을 처리할 때 집단선택에 따른 estimate 차이도 발생하지 않으니까요. 덕분에 많이 배우게 됬습니다.
  항상 좋은 날 되세요 루목유님.

  루목유님 감사합니다. 복잡한 생각이 정리되네요. 그리고 깨닫고 보니까 약간 당연한 사실을 물어본것 같은 느낌이 드네요...항상 그렇듯이 KF는 당연히 u_bias여야하죠..거기다가 optimal하니까요. 안그러면;;; ---- 정리하면 시스템에 bias가 없는 한 출력도 bias가 없는 estimate가 KF네요. 거기다가 random variable을 처리할 때 집단선택에 따른 estimate 차이도 발생하지 않으니까요. 덕분에 많이 배우게 됬습니다. 항상 좋은 날 되세요 루목유님.
• 루목유 (12-10-16 11:42)

    미천한 지식이 도움이 되었다면 다행입니다. 항상 좋은 하루 되세요. ㅎ

  미천한 지식이 도움이 되었다면 다행입니다. 항상 좋은 하루 되세요. ㅎ
• 워터스 (12-11-05 15:44)

    논문찾아보면 기본적인 시그마 공식 나올텐데요. 답답...

  논문찾아보면 기본적인 시그마 공식 나올텐데요. 답답...