본문 바로가기

반응형

Programming

(99)
Python 크롤링 라이브러리 설명 크롤링시 설치하는 패키지에 대한 간략한 설명만 작성하겠습니다.(워낙 많으 포스팅이 있기때문에 무엇인지만 작성하겠습니다.) BeautifulSoup4 BeautifulSoup은 HTML 코드를 Python으로 사용하기 쉽도록 Parsing을 해주는 역할을 한다. BeautifulSoup의 사용이 편한 이유를 간단하게 표시해보자면 아래와 같다. Temp = soup.select_one('content > div.section') HTML의 div.section 다음에 있는 content 를 찾아서 HTML을 파싱하여 넘겨준다. requests Python에는 requests라는 라이브러리가 있다. 쉽게 생각한다면 HTML정보를 얻어오는 라이브러리이다. (※requests로 데이터를 얻어오고 Beautiful..
Python 인스타그램 크롤링 환경 셋팅 안녕하세요. 파이썬을 이용해 인스타그램에서 이미지, 게시글, 좋아요와 같은 정보를 크롤링하는 자동화 프로그램을 개발했습니다. 개발한 지는 조금 지났지만 이제서야 포스팅을 올리네요. 개발환경은 다음과 같습니다. 언어 : Python 3.7 (64bit) 개발 도구 : Visual Studio 2019 라이브러리 : BeautifulSoup4, requests, lxml, selenium 저는 가상환경, 라이브러리 설치가 편해서 Visual Studio를 사용하여 개발하였습니다. (이제는 개인 적으로 가장 익숙하고 편한 환경을 사용하게 되네요.) Visual studio 파이썬 프로젝트 환경 구축을 해보겠습니다. 현재 구축 할 프로젝트를 위한 가상환경을 생성해줍니다. 가상환경은 추후 기능에 따라 식별할 수 ..
CUDA Host<->Device cudaHostGetDevicePointer 대용량 데이터를 처리하다보니 GPU 메모리 제약으로 처리할 수 없어서 고민하던 중 Host메모리를 Device에서 사용 할 수 있는 방법을 찾았습니다. [cudaHostAlloc, cudaHostGetDevicePointer] 개발 환경은 Visual Studio 2013, CUDA ToolK 11.0, GPU 1050, Compute capability 6.1버전에서 테스트를 완료했습니다. 파일 2.5GByte를 Host Memory에 할당하고 CUDA Kernel에서 처리하였습니다. 알고가면 좋은 내용을 간단히 정리하겠습니다. 1. Host에 할당한 메모리는 Read/Write가 모두 가능 2. Host Memory를 할당 시 공유 GPU 메모리 사용량 증가(Host 메모리의 절반 사용가능) 3. D..
프로그래머스 - 124 나라의 숫자 이번에 풀어본 문제는 124나라의 숫자(12899번)문제를 풀어보았다. 풀어본 모든 문제를 포스팅 하는 것은 아니지만.... 어렵지 않은 문제인데 너무 헤맸다....(3시간이나 걸렸다...) 물론 나 홀로 혼돈의 미로 속으로 빠졌기 때문이다... 코딩테스트 연습 > 연습문제 > 124 나라의 숫자 programmers.co.kr/learn/courses/30/lessons/12899 문제 : 124 나라가 있습니다. 124 나라에서는 10진법이 아닌 다음과 같은 자신들만의 규칙으로 수를 표현합니다. 124 나라에는 모든 수를 표현할 때 1, 2, 4만 사용합니다. 문제를 보고 2가지를 떠올려서 코딩을 하였다.(누구나 쉽게하는 생각..) 1. 10진법을 3진법 전환 2. 진법 변환 시 나누기, 나머지로 1..
알고리즘 종류 Greedy(탐욕, 그리디 알고리즘) : 현재 상태의 최적을 선택해서 결과를 추출한다. > Sorting, DP의 느린 속도를 보완하기 위함 # 부분적인 최적해 DP(Dynamic Programming, 동적 계획법) : 모든 상황의 최적을 찾아내서 결과를 추출한다. > 점화식, 메모이제이션, 재귀 or 반복문 설계 # 최단거리 길 찾기, 노드의 최대 값 찾기
프로그래머스 - 정수 삼각형 내가 풀어본 문제(못 풀고 다른분들의 풀이를 보고 개념을 이해해서 다음 문제를 기약하기로했따.)는 프로그래머스의 43105번 문제이다. 코딩테스트 연습 > 동적계획법(Dynamic Programming) > 정수 삼각형 url : programmers.co.kr/learn/courses/30/lessons/43105 int solution(vector triangle) { int answer = 0; //! 아래 노드의 2개의 값과 더해줘야 하기 때문에 하단 결과 입력 메모리를 2배로 만들어줌 vector dp(triangle.size()); for (size_t i = 0; i < triangle.size(); i++) { //! 처음꺼도 계산해야하므로 처음껀 1개만 입력! if(i == 0) dp[i..
DP(Dynamic Programming) - 동적 계획법 요새 알고리즘을 공부하다보니 전략(?)에 대해 접근 방법이 있는 걸 조금씩 알게되고 있어서 잊지 않게 포스팅을 하려고한다. (다들 파보나치로만 나는 바보라서 더 헷갈렸다... 하지만 파보나치만큼 DP에 딱 맞는 예시는 없는거 같다.) 다른분들의 포스팅에서 매우 상세하게 되어있기 때문에 내가 이해한 내용만 적고 넘어가려한다.(난 정말 쉽고 정확하게 이해하지 않으면 안되기에 매우 허접한 용어로...) 동적 계획법을 풀기위해 필요한것! 1. 점화식 2. 큰 문제를 작은문제로 쪼개 풀기 or 작은문제부터 쭉 해결해나가기 3. 메모이제이션(똑같은 계산 결과는 저장하자) 1. 점화식 "점화식을 만족하는 수열을 점화식의 해"라고 한다.(그래서 최적해 찾기라는 말이 있나보다) -> 쉽게 생각하면 아래 int GooGo..
오라클 데이터베이스, 테이블, 데이터 용량 쿼리문 안녕하세요 데이터베이스 용량 관련 쿼리문을 포스팅합니다. 간단한 내용이지만 종종 사용하게되어 포스팅을 올립니다. 이어 추가되는 쿼리문이 생긴다면 차츰 추가할 예정입니다. 날씨가 덥고 폭우가 쏟아지는데 항상 건강 유의하세요 1. 전체 테이블 개수 SELECT COUNT(*) FROM ALL_TABLES; 2. 데이터베이스 용량 -- 전체 DB 용량(GB) select sum(bytes)/1024/1024/1024 from dba_data_files; -- 사용한 DB 용량(GB) select sum(bytes)/1024/1024/1024 from dba_segments; -- 사용 가능한 DB 용량(GB) select sum(bytes)/1024/1024/1024 from dba_free_space; 3...

반응형