catalystmind 님의 블로그

TL;DR Google RSS XML, 기본 XML 구조 따르며 컴퓨터 폴더 구조와 유사한 계층적 특성 feedparser, 폴더 구조 같은 XML 파일을 간단한 명령어로 쉽게 처리 가능 최종 Python 코드는 XML 파일 처리 후 CSV로 정리 해당 코드, 단독 실행 가능 및 Power Automate와 연동 통한 자동화 흐름 일부로 활용 가능 Power Automate만으로 5분 걸리던 작업, feedparser 활용 시 단 3초 만에 처리 ">TL;DRGoogl..

TL;DR KRX에서 거래량 상위 종목을 추출하고, 구글 뉴스의 RSS 기능을 활용하여 종목별 뉴스를 수집하는 자동화 시스템을 PowerAutomate로 구축했습니다. 각 작업을 하위 흐름으로 모듈화하여 유지보수성 향상 향후 기사 전처리 효율화를 위해 Python과의 연동 계획 총 246개 기사 수집, 약 77분 소요 (기사당 평균 18.8초) ..

많은 단기 매매의 주식고수들은 시장의 주도주, 즉 현재 시장에서 많은 관심을 받는 종목을 파악하는 것이 중요하다고 한다. 주도주를 판단하는 정량적인 지표로는 거래량, 거래대금, 당일 상승률과 같은 요소들을 참고할 수 있다. 이번 글에서는 한국거래소의 거래량 상위 종목을 자동으로 수집하는 방법을 공유해본다.1단계: 데이터 소스 접근하기한국거래소의 순위 통계 페이지를 통해 거래량, 거래대금, 당일 상승률과 같은 요소를 찾아 볼 수 있다. 아래는 거래량 상위 종목을 보여준다.URL: http://data.krx.co.kr/contents/MMC/RANK/rank/MMCRANK006.cmd 2025년 4월 18일 기준, 거래량 상위 종목 데이터는 다음과 같으며, 효율적으로 수집하기 위해 자동화 도구가 필요하다...

GPT와 Power Automate를 활용한 뉴스 기사 추출 자동화 실험  웹에서 기사를 수집해 원하는 형태로 정리하는 작업은 생각보다 쉽지 않다. 언론사마다 웹 페이지 구조가 모두 다르고, 광고나 팝업 등 불필요한 정보가 지나치게 많기 때문이다.또한, 뉴스 기사는 대부분 비정형 데이터로 구성되어 있어 기존의 정형화된 데이터 처리 방식으로는 원하는 정보를 정확히 추출하기 어렵다.대규모 언어 모델(Large Language Model)의 활용  최근의 대규모 언어 모델(LLM)은 비정형 데이터를 처리하는 데 강점을 가지고 있어, 이를 활용하면 기존보다 효율적으로 기사와 같은 비정형 데이터를 정제하고 분석할 수 있을 것으로 기대하였다.1단계: Power Automate를 활용한 기사 텍스트 추출  먼저, 웹..