전체 글 (104) 썸네일형 리스트형 Python 네이버 밴드 - 크롤링 안녕하세요. 이번에는 python으로 네이버 밴드 게시글을 크롤링하는 소스코드를 소개해드립니다. 이번 프로젝트는 특정 환경까지 세팅후 데이터를 크롤링하도록 개발을 했습니다. 네이버 밴드 크롤링을 개발하면서 2가지를 고려했습니다. 1. 네이버 밴드는 로그인이 필요하다 -> 크롬드라이버로 개발 시 네이버 로그인은 자동화 방지가 뜨더군요 2. 게시글이 길어지는경우 더보기 버튼을 통해서 전체 내용을 볼수 있기 때문에 더보기를 클릭한 후 처리되도록 개발했습니다. 3. CSV로 파일을 저장할 것이기 때문에 특수문자를 제거했습니다. 소스코드는 아래 GIT으로 관리했습니다. https://github.com/kjky12/BandCrawling GitHub - kjky12/BandCrawling Contribute to.. [Program]네이버 밴드 게시글 파싱 프로그램 안녕하세요. 이번에 개발 프로그램을 소개해 드립니다. 네이버 밴드의 게시글 정보를 가지고와서 csv로 저장하는 프로그램을 개발했습니다. 크롤링하는 데이터는 게시글, 일자로 한정되어있습니다. 프로그램은 게시글을 확대하여 표시한 후 부터 진행됩니다. 시연 동영상은 다음과 같습니다. tensorflow CUBLAS_STATUS_ALLOC_FAILED 오류 대처 및 메모리 할당 목적 머신러닝 중 메모리 할당 관련 처리 정리 10번 중 7번 오류, 3번은 정상으로 작동하는 상황이였습니다. 아래 발생된 에러 로그를 보니 메모리 할당이 안되는 문제인 것으로 추축됩니다. 정확한 이유가 맞는지는 모르겠지만 GPU의 메모리 할당을 더 이상 할 수 없는 상황인 것같습니다. failed to create cublas handle : CUBLAS_STATUS_ALLOC_FAILED 제가 해결한 2개의 방법입니다. 1) 메모리 할당 Grwoth 변경 메모리 성장 할당의 옵션을 True 설정하면 문제가 해결됩니다. 아래 3개의 방법 중 가장 추천하는 순서대로 작성하겠습니다. 텐서플로우의 버전에 따라 적용하시면 됩니다. 아래 코드가 모든 GPU에 Growth를 True로 변경 해줍니다. 제가 사용한.. Python SYS 파라미터 및 변수 개인적인 기록을 위한 글입니다. 목적 : 잊어버리기 쉬운 SYS 패키지의 파라미터 및 변수 정리 파이썬 버전 : 3.7 참고 URL : https://docs.python.org/ko/3.7/library/sys.html sys — System-specific parameters and functions — Python 3.7.13 문서 sys — System-specific parameters and functions This module provides access to some variables used or maintained by the interpreter and to functions that interact strongly with the interpreter. It is always av.. PIP 관련 명령어 정리 개인적인 기록을 위한 글입니다. 파이썬 모듈 설치파일 로컬 다운로드 및 오프라인 설치 1. 설치된 패키지를 리스트로 생성 pip freeze > requirements.txt 2. requirements.txt에 정의된 모듈의 설치파일을 생성한다. pip download -r requirements.txt ".whl", ".tar.gz"의 확장자 파일이 생성된다. 3. 오프라인으로 파일을 옮긴다. 4. 오프라인에서 파일 설치 python -m pip install --no-index --find-links="./" -r requirements.txt 위 명령어가 안되는경우... pip install --user -r requirements.txt python -m pip install --user --n.. python pip mirror 서버 설정 파이썬 로컬 mirror를 설정하는 방법을 포스팅하겠습니다. 다만 캡쳐해서 올릴 수가 없는 환경이기에 제가 했던 방법을 작성합니다. 1. 사설망으로 Mirror서버의 고정 아이피를 설정 후 Mirror서버를 구축했습니다. 서버 주소:포트 : 192.168.0.100:9999 2. 기본적으로 pip의 설정정보는 os에 따라 구분되며 해당 설정 정보를 통해 패키지를 다운받는 주소를 설정한다. (해당 정보는 최상단의 pip 설정 파일 위치임) Windows : %APPDATA%\pip\pip.ini Linux : ~/.config/pip/pip.conf 3. 명령 프롬프트를 실행하고 아래 명령을 실행하면 pip.ini의 저장 위치를 확인할 수 있다. 명령어 : pip config -v list 4. 해당 경로.. CUDA 설치 및 설치 실패 대처 목적 1) CUDA 설치 및 CUDA 설치 확인 2) CUDA 설치 오류 대처 1) CUDA 설치 및 CUDA 설치 확인 CUDA 11.0버전을 설치했습니다. Visual Studio에서 프로젝트에 CUDA 툴킷 종속 설정 2) CUDA 설치 오류 대처 CUDA설치 후 발생하는 오류 2가지에 대한 해결방안입니다. 2-1) CUDA 설치 실패 발생 CUDA 설치 시 특정 구성요소가 설치가 실패하는 경우가 발생했습니다. 정확한 이유는 모르겠지만 PC 여러대에서 발생했습니다. 설치 항목 중 "Nsight VSE" 항목을 제외하고 설치했습니다. 아래 그램과 같이 "Nsight VSE"를 제외 후 설치하시면 됩니다. 아래 항목을 제외하고 설치해도 Visual Studio에서 CUDA를 사용했습니다. (이유를 아시.. Boost 라이브러리 환경설정 및 Visual Studio 2019 디렉토리 설정 목적 1) Boost 라이브러리 환경설정 2) Visual Studio 2019 추가 디렉토리 설정 1) Boost라이브러리 환경설정 부스트 버전 : 1.72버전을 사용했습니다. 부스트 라이브러리 다운로드 링크는 다음과 같습니다. 다운로드 링크 ※ D드라이브 기준으로 설치했으니 원하는 디렉토리를 설정해주세요 2) Visual Studio 2019 추가 디렉토리 설정 Visual Studio에서 Boost라이브러리를 사용하기 위한 설정 방법입니다. 시스템 환경변수 설정 후 환경변수를 통해 라이브러리를 연동했습니다. 여기서 설정한 변수 이름을 통해 개발환경에서 사용됩니다. [C/C++]->[일반]->[추가포함 디렉토리] - %BOOST_ROOT% - %BOOST_ROOT%\boost [링커]->[일반]->[.. 이전 1 2 3 4 5 6 7 ··· 13 다음
