https://kdj1018.tistory.com/entry/%EA%B8%B0%EC%88%A0-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%9D%BC%EB%B2%A8%EB%A7%81-%ED%88%B4-for-Machine-Leraning 마크다운모드

1. 전처리 과정 1)코퍼스(Corpus, 말뭉치) 수집 코퍼스란 자연어 연구를 위해 특정한 목적을 가지고 언어의 표본을 추출한 집합이다. 코퍼스가 많고 오류가 없을 수록 자연어 처리 모델은 더욱 정교해지고 정확도가 높아진다. 2)정제 - 정규화(Normalization) 텍스트를 사용하기 위한 필수 과정이다. 원하는 업무, 문제, 응용 분야에 따라 필요한 정제의 수준, 깊이가 상이하다. 예시 음성 인식을 위한 언어 모델: 괄호, 기호, 특수문자 등 포함 금지 개인정보, 민감한 정보: 제거 또는 변조해서 모델링 전각 문자 제거 중국어, 일본어 문서는 대부분 전각 문자로 표기된다. 한국어 문서의 일부는 전각 문자로 표기된 기호, 숫자 등을 사용한다. 데이터 처리는 반각 문자를 기준으로 하므로 전각 문자를 ..

1. 자연어란? 프로그래밍 언어와 같이 사람이 인공적으로 만든 언어가 아닌, 사람이 일상생활과 의사소통에 사용해 온 한국어, 영어와 같이 오랜세월에 걸쳐 자연적으로 만들어진 언어 자연어 처리(Natural Language Processing) 컴퓨터가 인간의 언어를 알아들을 수 있도록 인간의 언어를 분석하고 해석하여 처리하는 인공지능의 한 분야 자연어를 컴퓨터로 해석하고, 의미를 분석하여 이해하고 자동으로 생성하는 것 등에 관련된 분야 2. 자연어처리 테스크 자연어처리가 다학제 연구인만큼 다양한 테스트들이 있다. 크게 Linguistics, Text Mining, Artificial Intelligence(AI) 세가지 범주에서 테스크를 구분함. Linguistics 언어학에서는 자연어를 이해하고 생성하..

plt.imshow 함수 실행시 아래와 같은 에러가 뜬다 에러 로그를 확인하면 OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into t..

https://curt-park.github.io/2017-03-26/yolo/ [분석] YOLO Paper study of YOLO published in May 2016 curt-park.github.io

https://wonjun.oopy.io/bea4d310-4103-4948-8993-c12158560fa4 L-BFGS Style transfer 에서 우리가 알던 방법과 다른, 새로운 optimization 방법론이 하나 등장했습니다. wonjun.oopy.io

파라미터 config 폴더로 관리하기(argparse, ymal) 이용 https://csm-kr.tistory.com/19 python model config 하기 - configuration (argparse, ymal) 이용 안녕하세요~ pulluper 입니다. 오늘은 deep neural network 를 학습할 때, 그 구성을 변경하는데 많이 쓰이는 argparse 와 ymal 에 대하여 알아보겠습니다. 😊 대규모 혹은 논문을 위한 실험은 여러가지의 구 csm-kr.tistory.com https://csm-kr.tistory.com/19 python model config 하기 - configuration (argparse, ymal) 이용 안녕하세요~ pulluper 입니다. 오늘은 deep..

video-Language 모델 역사 (SOTA모델까지)