본문 바로가기

반응형

Programming

(99)
C++ double Infinity, -nan(ind) 예외 처리 방법 안녕하세요. 이번 포스팅은 C++ double의 Infinity, -nan(ind) 예외 처리 포스팅입니다. 제 스스로 메모를 위한 포스팅입니다. 실수값인지 체크하는 함수입니다. #include //! double 값의 쓰레기값 여부를 확인 //return - ture : 실수값 //- flase : 쓰레기값 bool IsTrashValue(double x) { int i = _fpclass(x); if ( i == _FPCLASS_SNAN || //Signaling NaN"; i == _FPCLASS_QNAN || //Quiet NaN"; i == _FPCLASS_NINF || //Negative infinity (-INF)"; //i == _FPCLASS_NN || //Negative normaliz..
[Python] 코사인 유사도(Cosine Similarity) 코사인 유사도에대해 설명 드리겠습니다. 워낙 여러 게시들이 있지만 저만의 생각 정리와 헷갈렸던 부분에 대해 포스팅하겠습니다. 코사인 유사도란? 코사인 유사도에 대해서 위키에서는 아래와 같이 설명이 나와 있습니다. 코사인 유사도(― 類似度, 영어: cosine similarity)는 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 각도가 0°일 때의 코사인값은 1이며, 다른 모든 각도의 코사인값은 1보다 작다. 따라서 이 값은 벡터의 크기가 아닌 방향의 유사도를 판단하는 목적으로 사용되며, 두 벡터의 방향이 완전히 같을 경우 1, 90°의 각을 이룰 경우 0, 180°로 완전히 반대 방향인 경우 -1의 값을 갖는다. 이 때 벡터의 크기는 값에 아무런 영향을 미치지 ..
Python 네이버 밴드 - 키워드 분석 안녕하세요. 네이버 밴드에서 추출한 데이터를 통해 키워드 분석을 수행해봤습니다. 저도 여러 블로그들을 참조하면서 개발을 수행했습니다. 설명이라기보다 참고하시면 좋을 것 같습니다. 키워드 분석은 아래와 같은 순서로 로직을 처리했습니다. 0. 환경 구축 키워드 분석 라이브러리는 Konlpy, nltk를 사용했고 추가적인 시각화를 위해 wordcloud 라이브러리를 사용했습니다. 개발환경 구축은 아래 블로그를 참조하시면 좋을 것 같습니다. https://wonhwa.tistory.com/23 [python] 자연어처리(NLP)-텍스트 빈도 분석 안녕하세요! 오늘은 konlpy(한국어 형태소 분석기)와 nltk(영어 분석기)를 이용하여 텍스트에 어떤 단어가 많이 나왔는지 알아보도록 하겠습니다. 1. 설치 빈도 ..
Python 네이버 밴드 - 크롤링 안녕하세요. 이번에는 python으로 네이버 밴드 게시글을 크롤링하는 소스코드를 소개해드립니다. 이번 프로젝트는 특정 환경까지 세팅후 데이터를 크롤링하도록 개발을 했습니다. 네이버 밴드 크롤링을 개발하면서 2가지를 고려했습니다. 1. 네이버 밴드는 로그인이 필요하다 -> 크롬드라이버로 개발 시 네이버 로그인은 자동화 방지가 뜨더군요 2. 게시글이 길어지는경우 더보기 버튼을 통해서 전체 내용을 볼수 있기 때문에 더보기를 클릭한 후 처리되도록 개발했습니다. 3. CSV로 파일을 저장할 것이기 때문에 특수문자를 제거했습니다. 소스코드는 아래 GIT으로 관리했습니다. https://github.com/kjky12/BandCrawling GitHub - kjky12/BandCrawling Contribute to..
[Program]네이버 밴드 게시글 파싱 프로그램 안녕하세요. 이번에 개발 프로그램을 소개해 드립니다. 네이버 밴드의 게시글 정보를 가지고와서 csv로 저장하는 프로그램을 개발했습니다. 크롤링하는 데이터는 게시글, 일자로 한정되어있습니다. 프로그램은 게시글을 확대하여 표시한 후 부터 진행됩니다. 시연 동영상은 다음과 같습니다.
tensorflow CUBLAS_STATUS_ALLOC_FAILED 오류 대처 및 메모리 할당 목적 머신러닝 중 메모리 할당 관련 처리 정리 10번 중 7번 오류, 3번은 정상으로 작동하는 상황이였습니다. 아래 발생된 에러 로그를 보니 메모리 할당이 안되는 문제인 것으로 추축됩니다. 정확한 이유가 맞는지는 모르겠지만 GPU의 메모리 할당을 더 이상 할 수 없는 상황인 것같습니다. failed to create cublas handle : CUBLAS_STATUS_ALLOC_FAILED 제가 해결한 2개의 방법입니다. 1) 메모리 할당 Grwoth 변경 메모리 성장 할당의 옵션을 True 설정하면 문제가 해결됩니다. 아래 3개의 방법 중 가장 추천하는 순서대로 작성하겠습니다. 텐서플로우의 버전에 따라 적용하시면 됩니다. 아래 코드가 모든 GPU에 Growth를 True로 변경 해줍니다. 제가 사용한..
Python SYS 파라미터 및 변수 개인적인 기록을 위한 글입니다. 목적 : 잊어버리기 쉬운 SYS 패키지의 파라미터 및 변수 정리 파이썬 버전 : 3.7 참고 URL : https://docs.python.org/ko/3.7/library/sys.html sys — System-specific parameters and functions — Python 3.7.13 문서 sys — System-specific parameters and functions This module provides access to some variables used or maintained by the interpreter and to functions that interact strongly with the interpreter. It is always av..
PIP 관련 명령어 정리 개인적인 기록을 위한 글입니다. 파이썬 모듈 설치파일 로컬 다운로드 및 오프라인 설치 1. 설치된 패키지를 리스트로 생성 pip freeze > requirements.txt 2. requirements.txt에 정의된 모듈의 설치파일을 생성한다. pip download -r requirements.txt ".whl", ".tar.gz"의 확장자 파일이 생성된다. 3. 오프라인으로 파일을 옮긴다. 4. 오프라인에서 파일 설치 python -m pip install --no-index --find-links="./" -r requirements.txt 위 명령어가 안되는경우... pip install --user -r requirements.txt python -m pip install --user --n..

반응형