jaeiktech

  • 홈
  • 태그
  • 방명록

2025/12/25 1

코루틴을 이용한 크롤링 속도 개선

2025년 2월의 내용을 노션에서 가져왔습니다. 1. PlayWright - 5분 30초베스트셀러 목록을 가져올 때 매번 크롤링을 실행하지 않고 DB에 저장된 데이터 반환 Book테이블에 순위 컬럼을 만들어 베스트셀러 구분 매시간 10분 마다 스케줄러를 이용한 자동 크롤링 크롤링 소요 시간 5분 30초동적 페이지를 크롤링 하기 위해 Playwright 라이브러리 활용교보문고 실시간 베스트셀러 100권을 크롤링목록에서 상세페이지로 들어가는 링크 100개를 크롤링그다음 상세 페이지 링크 100개로 들어가 데이터 크롤링Book테이블에 새로운 랭킹 컬럼을 하나 만들어 베스트셀러 순위를 입력함베스트셀러가 아닌 책은 랭킹 컬럼에 null값 베스트셀러만 랭킹순위를 가지고 있음베스트셀러인 책과 아닌 책은 랭킹 순위를 ..

트러블슈팅과 고민 2025.12.25
이전
1
다음
더보기
프로필사진

jaeiktech

백엔드, 인프라 등 개발 관련 지식

  • 분류 전체보기 (91) N
    • 객체지향 (3)
    • 디자인패턴 (2)
    • 자바 (2)
    • 아키텍처 (1)
    • 개발 (11)
    • 트러블슈팅과 고민 (21) N
    • 데이터베이스 (5) N
      • Redis (2)
      • RDB (3) N
    • 운영체제 (9)
    • 자료구조 (6)
    • 인프라 (2)
      • Docker (2)
    • Spring (8)
    • 알고리즘 (8)
    • 코딩테스트 (12)
      • DFS, BFS (2)
      • DP (3)
      • 그리디 (0)
      • 다익스트라 (2)
      • 백트래킹 (0)
      • 분할정복 (1)
      • 벨만포드 (1)
      • 플로이드워셜 (1)
      • 투포인터 (1)
    • 개인 공부 (1)

Tag

bfs, docker 명령어, 유니온파인드, 페이징 스와핑, DP, 물리 메모리, 표준 스와핑, 백준 17626, 백준 1835, 벨만포드, dfs, hashset, 논리 메모리, docker, 다익스트라, 백준 11444, RGB거리, 커넥션 풀 누수, 투 포인터, 백준 1149,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

  • 보유 기술스택

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/12   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

  • 비밀로그
  • 두근두근 테스트

티스토리툴바