본문 바로가기

전체 글32

what is LLAMA 출처: https://www.youtube.com/watch?v=vfHC7H2jtyw&list=PLTaizp6_spZo5OPXEpR6GGU4mdxAzKl7I&index=1 https://www.youtube.com/@Talkitonair LLAMA 논문: https://arxiv.org/abs/2302.13971 LLaMA: Open and Efficient Foundation Language Models We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possibl.. 2023. 9. 24.
CV 개념 Graphics 3d 모델. 어떤 물체의 본질이 있을 때 영상으로 만들어낸 것. Computer Vision 사진이나 영상 정보로부터 장면의 본질을 파악하는 것. = Inverse Graphics Image Classification Annotation Efficient Learning Image Detection etc. 딥러닝의 시작이라고 볼 수도. 패러다임 시프트도 처음. 시기별 기술로 흐름 파악 및 다음 기술을 맞을 준비. 영어 강의자료 활용. 2023. 9. 19.
생성모델 수식 오토인코더(Autoencoder)의 손실 함수 입력 데이터와 재구성된 데이터 간의 차이를 최소화하도록 설계 일반적으로 평균 제곱 오차(Mean Squared Error, MSE)를 사용하여 이 차이를 측정 오토인코더의 목표는 입력 데이터를 잘 복원하는 방식으로 중요한 특징을 학습하는 것이므로, 손실 함수는 이러한 재구성 능력을 향상시키는 방향으로 학습됨 수식 N은 학습 데이터의 개수 x i ​ 는 입력 데이터 중 하나 x ^ i ​ 는 해당 입력 데이터 x i ​ 를 오토인코더로 인코딩한 후 디코딩한 결과, 즉 재구성한 데이터 ∥ ⋅ ∥ ∥⋅∥는 벡터의 크기를 나타내는 L2 노름(norm)을 의미 각 데이터 샘플의 재구성 오차를 계산하고, 이를 평균한 값으로 계산. 학습 과정에서 모델은 이 손실 함수를 .. 2023. 8. 20.
생성모델 Ref. 딥러닝 파이토치 교과서 Ch.13 생성 모델(generative model) 주어진 데이터를 학습하여 데이터 분포를 따르는 유사한 데이터를 생성하는 모델 판별자 모델 vs 생성 모델 판별(자) 모델(discriminative model) 이미지 분류, 이미지 검출 등 입력 이미지(x)가 있을 때 그에 따른 정답(y)을 찾는 이미지를 분류하는 것 일반적으로 이미지를 정확히 분류(구별)하고자 해당 이미지를 대표하는 특성들을 잘 찾는 것을 목표로 함 (개의 귀, 꼬리 등) 생성(자) 모델(generative model) 판별자 모델에서 추출한 특성들의 조합을 이용하여 새로운 개와 고양이 이미지를 생성하는 것. 입력 이미지에 대한 데이터 분포 p(x)를 학습하여 새로운 이미지를 생성하는 것을 목표로함... 2023. 8. 6.