Главная Новости Галерея Вопросы Библиотека Контакты

cross entropy 예제

엔트로피, 크로스 엔트로피, KL-발산에 대한 짧은 소개 그래서, 모델의 예측은 얼마나 잘? 다음과 같이 교차 엔트로피를 계산할 수 있습니다. 일반적으로 교차 엔트로피는 다음과 같이 H를 사용하여 표현됩니다: 예를 들어, 크로스 엔트로피를 분류 비용 함수로 사용하는 것은 모델을 더 잘 훈련하여 줄이는 것에만 신경을 쓰는 것으로서 여전히 의미가 있습니다. 교차 엔트로피를 측정해야 하지만 p {displaystyle p}의 분포를 알 수 없는 상황이 많이 있습니다. 예를 들어 언어 모델링을 예로 들수 있는데, 여기서 모델은 학습 세트 T {displaystyle T}를 기반으로 생성되고 그 교차 엔트로피는 테스트 세트에서 측정되어 모델이 테스트 데이터를 예측하는 데 얼마나 정확한지 평가합니다. 이 예제에서 p {displaystyle p}는 모든 코퍼스에서 단어의 실제 분포이며 q {displaystyle q}는 모델에서 예측한 단어의 분포입니다. 실제 분포를 알 수 없으므로 교차 엔트로피는 직접 계산할 수 없습니다. 이러한 경우에, 크로스 엔트로피의 추정은 다음과 같은 수식을 사용하여 계산됩니다 : 이미 익숙하지 않은 경우 엔트로피 개념의 이해를 하는 데 도움이 될 것입니다 기사 Demystifying 엔트로피가있다. 위의 그림 6에서 10을 기억하십니까? 각 점의 실제 클래스와 관련된 확률 위에 교차 엔트로피를 계산해야 합니다. 양수 클래스의 점에 녹색 막대(y=1)와 음수 클래스의 점에 대한 빨간색 매달려 막대(y=0) 또는 수학적으로 말하자면: 분류자는 학습 중 학습 세트의 각 N 포인트를 사용하여 크로스 엔트로피 손실, 효과적으로 분포 p (y)를 피팅! 각 점의 확률이 1/N이기 때문에 교차 엔트로피가 주어집니다: 분포 q {displaystyle q}를 고정 참조 분포 p {displaystyle p}와 비교할 때, 교차 엔트로피 및 KL 발산은 가산 상수와 동일합니다(p { 이후) 디스플레이 스타일 p} 고정: p = q {디스플레이 스타일 p=q} KL 발산에 대 한 0 {디스플레이 스타일 0} 및 H (p) {디스플레이 스타일 mathrm {H} (p)} 크로스 엔트로피에 대 한 때 둘 다 최소 값에 걸릴. [1] 엔지니어링 문헌에서 KL 발산을 최소화하는 원칙(Kullback의 «최소 차별 정보 원칙»)을 최소 교차 엔트로피(MCE) 또는 Minxent의 원칙이라고 합니다. 교차 엔트로피 손실 또는 로그 손실은 출력이 0과 1 사이의 확률 값인 분류 모델의 성능을 측정합니다. 교차 엔트로피 손실은 예측된 확률이 실제 레이블과 분기됨에 따라 증가합니다. 따라서 실제 관측 값 1이 면 .012의 확률을 예측하면 불량이 되어 손실 값이 높습니다.

완벽한 모델은 로그 손실이 0입니다. 이진 분류에서(M)클래스수가 2와 같을 때 교차 엔트로피는 다음과 같이 계산할 수 있습니다: 예상 확률 분포 Q가 예상 및 인코딩 크기 추정모두에 영향을 미치므로 추정 엔트로피가 매우 잘못될 수 있습니다. 사실, 우리가 이것에 대한 로그를 사용하는 이유는 크로스 엔트로피의 정의에서 온다, 자세한 내용은 아래의 «나에게 수학 보기»섹션을 확인하시기 바랍니다. 그래서, 실제 엔트로피와 추정 된 엔트로피를 비교 하는 것은 아무것도 의미 하지 않을 수 있습니다. 우리는 우리가 예 / 아니오 대답이 이진 분류에 대한 이진 크로스 엔트로피를 사용할 수 있습니다. 예를 들어 이미지에는 개나 고양이만 있습니다. 크로스 엔트로피는 기계 학습 및 최적화에서 손실 함수를 정의하는 데 사용할 수 있습니다. 실제 확률 p i {displaystyle p_{i}는 실제 레이블이며, 지정된 분포 q i {displaystyle q_{i}}는 현재 모델의 예측 값입니다.