catalystmind 님의 블로그

TL;DRPower BI는 파워쿼리를 이용한 순서가 중요한 그래프 그리기.엑셀은 자동으로 순서대로 그래프를 그려준다. 하지만, Power BI는 자동으로 오름차순으로 정렬해서 순서가 중요한 데이터가 제대로 표현되지 않는다.따라서, 순서를 정확히 표현하려면 인덱스 열을 사용하여 순서를 다시 정리해 주어야 한다. 파워BI는 파워쿼리를 이용해서 여러 개의 파일을 통합하고 간단하게 시각화를 구성할 수 있다.엑셀에서도 파워쿼리를 사용해서 여러 개의 파일을 통합 할 수는 있지만, 동시에 여러개의 그래프를 나타내기에는 시간이 많이 걸린다. 파워BI에서는 꺽은 선형 차트에서 축소 다중 항목을 이용하면 마우스 클릭 몇번만으로도 ggplot2의 facet과 같은 효과를 낼 수 있다.하지만, 파워BI와 엑셀의 그래프 그..

TL;DR파워쿼리로 여러 데이터 파일을 취합할 때는 데이터를 처음 불러오는 단계에서 모든 열을 그대로 남기자. 일부 열을 임의로 삭제하면 자동으로 데이터 출처를 반영해 주지 않는다. 출처를 남겨야 한다면, 불필요한 열은 나중에 제거하는 것이 더 바람직하다.데이터 분석 업무에서 여러 데이터 소스를 활용할 때, 데이터를 어디서 가져왔는지 기록하는 것은 매우 중요하다. 다양한 상황을 비교 분석하는 할때 어떤 상황에서 만들어진 데이터인지 출처를 남겨 두지 않는다면, 단지 나열만 되어 있는 데이터로 부터는 아무런 정보도 얻을 수 없기 때문이다. 파워쿼리의 장점파워쿼리는 매우 강력한 데이터 처리 도구이다. R이나 파이썬과 같은 프로그래밍 언어를 배울 시간이 없고 코드를 작성하는 것이 어렵게 느껴진다면 GUI 기반의..

TL;DR파워쿼리를 이용해 까다로운 데이터를 원하는 형태로 변환하는 방법:1. 원본 불러오기2. 인덱스열 추가3. 그룹화를 위한 사용자 지정 열(핵심 단계):Number.IntegerDivide([인덱스],2)4. 불필요한 열 삭제5. 피벗 열 변환('집계 안 함' 설정).최근 업무를 하면서 파워쿼리(Power Query)를 접하게 되었다. 처음에는 엑셀의 보조적인 도구 정도로 생각했었는데, 실제로 사용해보니 예상보다 훨씬 강력한 기능을 가지고 있었다. 다양한 연습을 통해 실무에 적용해 보고자 여러 가지 데이터를 다뤄봤는데, 그중에서 오늘 꽤나 까다로운 데이터를 만났다. 이를 해결하는 과정에서 얻은 팁을 공유하고자 이 글을 작성한다.해결하려는 문제아래와 같은 형태의 데이터가 있을 때:a1b2a3b4a5b..

많은 단기 매매의 주식고수들은 시장의 주도주, 즉 현재 시장에서 많은 관심을 받는 종목을 파악하는 것이 중요하다고 한다. 주도주를 판단하는 정량적인 지표로는 거래량, 거래대금, 당일 상승률과 같은 요소들을 참고할 수 있다. 이번 글에서는 한국거래소의 거래량 상위 종목을 자동으로 수집하는 방법을 공유해본다.1단계: 데이터 소스 접근하기한국거래소의 순위 통계 페이지를 통해 거래량, 거래대금, 당일 상승률과 같은 요소를 찾아 볼 수 있다. 아래는 거래량 상위 종목을 보여준다.URL: http://data.krx.co.kr/contents/MMC/RANK/rank/MMCRANK006.cmd 2025년 4월 18일 기준, 거래량 상위 종목 데이터는 다음과 같으며, 효율적으로 수집하기 위해 자동화 도구가 필요하다...

금일 2025-04-16 동양철관이 거래량 1위를 기록했다. 그래서, 동양철관이 어떤 이유로 상승했는지 알아보기로 했다. 이 글은 동양철관의 주식을 분석해서 주식에 대한 글은 아니며 자동화 기술을 사용해서 데이터를 수집하는 것에 목적이 있다. 1단계: 구글에서 기사를 찾아서 기사 내용을 텍스트로 추출 먼저, 구글 News에 들어가서 아래와 같은 검색어를 이용해서 오늘 어떤 일이 있었는지 검색했다. 그리고, 상위 5개 기사의 url을 추출했다. 수집한 기사의 url은 다음과 같다. https://www.job-post.co.kr/news/articleView.html?idxno=142412https://news.nate.com/view/20250416n19165https://www.econonews.c..

GPT와 Power Automate를 활용한 뉴스 기사 추출 자동화 실험  웹에서 기사를 수집해 원하는 형태로 정리하는 작업은 생각보다 쉽지 않다. 언론사마다 웹 페이지 구조가 모두 다르고, 광고나 팝업 등 불필요한 정보가 지나치게 많기 때문이다.또한, 뉴스 기사는 대부분 비정형 데이터로 구성되어 있어 기존의 정형화된 데이터 처리 방식으로는 원하는 정보를 정확히 추출하기 어렵다.대규모 언어 모델(Large Language Model)의 활용  최근의 대규모 언어 모델(LLM)은 비정형 데이터를 처리하는 데 강점을 가지고 있어, 이를 활용하면 기존보다 효율적으로 기사와 같은 비정형 데이터를 정제하고 분석할 수 있을 것으로 기대하였다.1단계: Power Automate를 활용한 기사 텍스트 추출  먼저, 웹..

바이든 행정부가 끝나면서 대부분의 주요 인사들은 현직에서 물러났지만 아직 제롬파월은 남아있다. 그는 지금 무엇을 위해 사퇴하지 않고 남아있는가? 그는 연준의 독립성을 지키기 위해 남아있는것인가? 트럼프가 당선되기전 부터 트럼프는 연준을 압박하고 있었다. 그리고, 제롬파월은 그런 정치적 압박에 절대 굴복하지 않겠다는 뜻을 분명히 했다. 소송까지 불사하겠다고 하면서... 트럼프 행정부는 금리를 내려야 한다. 미국의 빚이 너무 많기 때문에 이대로 둘 수가 없다. 트럼프 행정부는 지금 돈이 필요한데 국채를 마음껏 찍어낼 수가 없는 상황이다. 지금 이자만으로도 벅찬 상황이기 때문에 연준을 굴복시켜야 한다. 반면, 제롬파월은 앞서 말한 것처럼 정치적인 입장을 취하지 않고 오직 연준의 독립성을 지키겠다고 한다. 하지..

현재 시장에는 유동성이 없다. 내리고 있다는 것을 다들 인지 했기 때문에 당분간은 아무도 사지 않을 것으로 생각된다. 내리면 더 내릴 것을 기대하고 있고, 이미 높은 가격에서 많이 물린 사람들은 돈이 없어서 사지 못할 것으로 보인다. 가격하락은 기관이 주도하고 있는 것으로 보이는데, 아직 금융시스템의 위기로 인한 하락보다는 트럼프 정권에서 인워적으로 주식을 내리고 있는 것으로 판단된다. 앞으로 본격적인 하락에 진입할 가능성이 있으며 트럼프 정권은 인위적으로 고의로 기업을 파산시키려고 하는지도 모른다. 현재 가장 큰 목적은 금리 인하에 있기 때문에 연준이 움직이지 않으면 더 심한 조치도 서슴치 않을 것이다. 하지만, 항상 bear market에서 백만장자는 탄생하는 법으로 가만히 때를 기다리기만 하면 된다.