catalystmind 님의 블로그

  • 홈
  • 태그
  • 방명록

2025/06/07 1

Trafilatura - requsets - 병렬처리로 시간 단축하기

TL;DR Worker 5개 병렬 처리로 웹 스크래핑 시간을 5분→2분(60% 단축), 처리량 2.5배 향상 달성 이론상 5배 개선 대비 실제 2.5배는 50% 효율이나, 웹 스크래핑 분야에서 준수한 수준임 병목 원인은 네트워크 I/O, 서버 rate limiting, 시스템 오버헤드 등으로 예상됨 실용적 가치로 일일 처리량 2.5배 증가, 개발 시간 60% 절약, 서비스 응답성 60% 향상 효과 예상 ">TL;DRWorker 5개 병렬 처리로 웹 스크래핑 시간을 5분→2분(60% 단축), 처리량 2.5배 향상 달성이론상 5배 개선 대비 실제 2.5배는 50% 효율이나, 웹 스크래핑 분야에서 준수한 수준임병목 원인은 네트워크 I/O, 서버 ..

카테고리 없음 2025.06.07
이전
1
다음
더보기
프로필사진

catalystmind 님의 블로그

AI 실험실, 2차전지 기술 동향, 퀀트 투자, 개인 생각 정리

  • 분류 전체보기 (21)

Tag

google 뉴스 rss, 자동화, 주식 재료 분석 자동화, googlenewsdecoder, feedparser, 브라우저자동화, 파워쿼리, Requests, 병렬처리, 웹스크래핑, powerautomatedesktop, 파일취합, 데이터자동화, trafilatura, concurrent.futures, 자동정렬문제, Power Automate, 기사수집자동화, PowerAutomate, 구글 뉴스,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바