[논문리뷰]-ComKD-CLIP, 대조적언어이미지모델사전학습을통한포괄적지식증

https://chatgpt.com/s/t_6964a2e2530481918b22e378f66314f6

expotential 의 약자이다. 저 공식은 soft max

머신러닝 / AI에서의 ensemble 🤖 (이게 제일 중요)

여기서 ensemble은 이렇게 이해하면 돼:

여러 모델을 동시에 쓰는 방법

왜 쓰냐면?

모델 하나는:

• 실수할 수도 있고
• 편향될 수도 있음

그래서 👇
여러 모델의 판단을 종합하면 더 정확해짐

---

예시 (아주 직관적으로)

• 모델 A: “고양이야”
• 모델 B: “고양이야”
• 모델 C: “강아지야”

➡️ 다수결 → 고양이

이게 바로 ensemble

---

4️⃣ 대표적인 ensemble 방식

① Voting (투표)

• 각 모델이 결과 하나씩 냄
• 가장 많은 선택이 최종 답

② Averaging (평균)

• 확률을 평균내서 결정

③ Bagging

• 데이터 조금씩 다르게 학습한 모델들 묶기

④ Boosting

• 틀린 것에 집중하면서 모델을 점점 강화

---

5️⃣ 한 문장으로 요약 ✨

ensemble은
여러 개를 모아서
하나보다 더 좋은 결과를 만드는 방식

결론부터 말하면

dark knowledge = 어두운 지식이 맞아.
그런데 “무섭다 / 비밀이다”라는 뜻은 아니야.

👉 겉으로는 잘 안 보이는, 숨겨진 지식이라는 의미야.

 

 

여기서 '딥러닝 모델 지식의 증류기법, Knowledge Distillation' 이란걸 쓰는데 모르겠어서 찾아보다 좋은 블로그를 찾았다.

 

https://baeseongsu.github.io/posts/knowledge-distillation/

딥러닝 모델 지식의 증류기법, Knowledge Distillation