IT-Tech Trend Analyzer
Naver·Daum·Google News RSS 기사에서 키워드를 추출해 인기·급상승 트렌드와 관련 기사, 기간별 변화를 한눈에 보여주는 IT 트렌드 분석 서비스
Problem
여러 뉴스 사이트를 직접 돌지 않고, 지금 떠오르는 IT 이슈를 한눈에 볼 수 있는가?
IT 뉴스는 여러 매체에 흩어져 있고 같은 이슈도 서로 다른 표현으로 등장합니다. 사용자가 수많은 기사를 하나씩 확인하지 않아도, 기사에서 추출한 키워드의 언급량과 상승 속도를 통해 현재 주목할 이슈를 발견하고 실제 관련 기사까지 빠르게 확인하도록 만들었습니다.
- 현재 많이 언급되는 인기 키워드는 무엇인가
- 직전 구간보다 빠르게 떠오르는 급상승 키워드는 무엇인가
- 키워드별 점수와 기간별 변화는 어떻게 달라졌는가
- 집계 결과를 만든 실제 관련 기사까지 확인할 수 있는가
Data
채널과 배치의 상태를 분리했습니다.
Naver·Daum HTML과 Google News RSS를 공통 기사 계약으로 정규화했습니다. 각 실행에 UUID run_id를 부여하고 배치 전체와 채널별 상태를 따로 기록합니다.
- RUNNING → SUCCESS / EMPTY / PARTIAL_FAILURE / FAILURE
- 동일 run_id와 payload의 재전송은 멱등 처리, 다른 payload는 충돌로 거부
- crawler output부터 validation reject, duplicate, eligible, selected, backend response까지 수량 대사
articles
원본 기사 1건 · source_url unique
trend_metrics
대표 키워드 × 카테고리 최신 스냅샷
keyword aliases
대표 키워드와 원본 표현 정규화
crawl runs
배치와 채널 실행 상태·수량
Trend Analysis
기사에서 키워드를 추출하고, 인기와 급상승을 분리했습니다.
KoNLPy Okt로 기사별 핵심 키워드를 추출한 뒤, 겹치지 않는 현재 24시간과 직전 24시간의 고유 기사 수를 비교합니다.
mentionCount = 현재 24시간 고유 기사 수velocityScore = 현재 − 직전 기사 수hotnessScore = mentionCount × 0.4 + velocityScore × 0.6인기는 현재 언급량을, 급상승은 양수 증가량을 중심으로 보여줍니다. 한 기사에서 같은 표현이 반복돼도 기사 × 대표 키워드 × 카테고리 × 구간을 한 번만 계산하고, 키워드의 날짜별 수치에서 실제 관련 기사 근거까지 내려갈 수 있게 했습니다.

User Service
급상승 키워드에서 관련 기사까지 한눈에 연결했습니다.
사용자는 인기와 급상승 기준을 전환하고, 카테고리를 좁히며, 키워드별 점수·관련 기사·7일 변화와 두 키워드의 2–30일 비교를 확인할 수 있습니다. 수집·Spring·Oracle·React 구조는 이 사용자 경험을 안정적으로 제공하기 위한 기술 기반입니다.


Verification
최신 Notion 검증 기록 기준
자동 테스트 통과와 실제 외부 서비스 E2E·운영 DB 상태는 같은 의미로 취급하지 않습니다. 구현, CI, 배포, 운영 확인 상태를 분리해 기록합니다.
후보 200건은 생성됐지만 max score 0.4839가 threshold 0.85보다 낮았습니다. 저장 장애로 추측하지 않고 후보 → 점수 → 기준 → 요청 → 저장 단계로 분해해 원인을 확인했습니다.
Result
- 여러 뉴스 채널의 기사를 인기·급상승 키워드와 관련 기사 근거로 재구성해 오늘 주목할 IT 이슈를 빠르게 파악
- 키워드별 점수, 7일 변화와 2–30일 비교를 통해 단순 기사 목록이 아닌 트렌드 흐름 제공
- 수집 → 키워드 추출 → 트렌드 집계 → 관련 기사 → 사용자·관리자 기능을 하나의 서비스로 연결
- 부분 실패·중복·단계별 데이터 감소를 설명하는 관측성과 Human-in-the-loop 품질 통제 확보
Limitation
- AI threshold 보정은 HOLD 상태입니다.
- Discord 실제 연결·공유 구독 E2E는 후속 범위입니다.
- 장기 RUNNING 수집 이력의 자동 종료·알림 정책은 아직 없습니다.
- 외부 뉴스 HTML 변경에 대비한 운영 표본 확인이 계속 필요합니다.
- 일부 frontend dependency audit는 별도 modernization이 필요합니다.