Machine Learning

논문 의 내용을 정리한 글입니다.논문 출처: 아카이브, Code이 논문은 Facebook Research(현 Meta AI)에서 공개한 논문이며, 저자 중 William Peebles는 OpenAI에서 Research Scientist로 일하고 있으며, 영상 생성 AI Sora의 개발을 공동으로 리드하고 있다고 한다.DiT 아키텍처에 관한 관심은 OpenAI의 Sora 공개 이후 뜨거워진 것 같으며, 최근에 공개된 이미지 생성 모델인 Stable Diffusion 3, PixArt 계열의 모델에도 적용되어 더욱 각광받고 있다고 생각한다.개괄적인 논문 요약개요이 연구는 이미지 생성을 위한 새로운 접근 방식으로 트랜스포머 기반 확산 모델을 제안한다. 기존의 U-Net 구조를 대체하는 트랜스포머 아키텍처를 사..

최근 회사에서 허깅페이스 디퓨저를 많이 활용하고 있습니다. 허깅페이스의 디퓨저란 스테이블 디퓨전을 webui로 사용하지 않고, 파이프라인 형식으로 조립할 수 있는 오픈소스 라이브러리인데요. sdxl, sd1.5, sd2.1, sdxl-turbo 등의 새로운 기술을 손쉽게 코드 몇 줄로 사용할 수 있게 해주는 아주 편리한 툴(개발자 기준) 입니다. 로컬 우분투 데스크탑에서, 도커 컴포즈를 통하여, 컨테이너 환경내에, CUDA를 이용하는 이미지를 실행하려는게 목표였습니다. 우분투 포맷 및 재설치 우분투 20.04 버전을 쓰던 컴퓨터를 우분투 22.04 버전으로 업데이트하기로 결정하고, 맥북에서 우분투 설치용 USB 이미지를 만들었습니다. Mac의 디스크 유틸리티를 통해 USB를 포맷한다.(MS DOS, FA..

Feasibility of Learning (Part 5) Ultimate goal of learning 처음 보는 데이터에 대해서도 잘 예측하는 것, 처음 보는 문제도 잘 푸는 것 learning produces a hypothesis g to approximate unknown f 만약 성공적이면, g should approximate f well E_out(g) = 0에 가까워야 함. 하지만 이것은 우리가 ascretain 하기 어려움 하지만 지금까지 E_out(g) = E_in(g)에 대해서 배워왔음.(호에프딩 부등식) => 이 과정이 잘 안 되는 경우가 오버 피팅 => regularizer, more data로 해결 E_in(g)를 0으로 보내야 함! => 이 과정이 잘 안 되는 경우 언더 피팅..

Topic 2 (PART 2) Learning Unknown Target Function Learning Unknown Target Function: Introduction 제한된 데이터셋에서 타깃 함수를 찾아낼 수 있을까? Learning the target function Inference outside training data 학습과정에서 학습 결과를 신뢰할 수 있을까? 학습되지 않은 새로운 데이터에서도 결과를 잘 도출할 수 있어야 feasible 그래서 다른 해결 방법이 없느냐? => deterministic, Rescue Plan: probabilityA 'bin' experiment 항아리가 모집단, 항아리에서 샘플을 추출해서 mu hat을 구하여 통계적인 method를 이용한 모집단의 mu를..

서울대 딥러닝 유튜브 채널의 강의(윤성로 교수님)를 보고 정리한 내용들. Topic 1. Introduction: Learning from Data What is a tree? - Learning from data Example: predicting how a viewer will rate a movie Example: human-level control (game play) Example: autonomous vehicles The essence of learning from data - Exercise Introduction: Problem Setup Running example: credit approval Components of learning: formalization Example - Com..