URL의 HTML 자동 저장

Mr.Lazy · 2025. 7. 14. 17:30

GPT로 크롤링과 같은 웹사이트의 정보를 가져오는 코딩을 해야할때 HTML의 정보를 넣어주고 싶은데 비개발자 입장에서 HTML 코드를 확인하기란 쉽지 않은 일입니다. 하여 HTML 코드를 메모장으로 바로 받아와 GPT씨에게 첨부만 해주면 GPT씨가 알아서 구조를 분석해 주기에 아래 코드를 만들었습니다.

스크립트는 크게 세 단계로 작동합니다:

URL 입력받기
- 사용자는 URL을 입력하고, 스크립트는 공백을 제거한 뒤 유효한 입력인지 검사합니다.
웹페이지 요청
- 입력받은 URL로 HTTP GET 요청을 보내고, 성공적으로 내용을 가져오는지 확인합니다.
- 오류가 발생하면 메시지를 표시하고 프로그램을 종료합니다.
내용 저장하기
- 가져온 HTML 내용을 fetched_page.txt라는 파일로 저장하며, 저장 위치는 스크립트가 있는 폴더입니다.

import requests
import os

def main():
    # 터미널에서 URL 입력받기
    url = input("저장할 URL을 입력하세요: ").strip()
    if not url:
        print("URL을 입력하지 않았습니다. 프로그램을 종료합니다.")
        return

    # HTTP GET 요청
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
    except Exception as e:
        print(f"URL 요청 중 오류 발생: {e}")
        return

    # 현재 스크립트 위치에 TXT 파일로 저장
    filename = "fetched_page.txt"
    script_dir = os.path.dirname(os.path.abspath(__file__))
    file_path = os.path.join(script_dir, filename)
    with open(file_path, "w", encoding="utf-8") as f:
        f.write(response.text)

    print(f"✅ HTML이 '{filename}' 파일로 저장되었습니다.")

if __name__ == "__main__":
    main()

코드는 파이썬으로 작성하였고 VSCORD로 실행하시는게 편하실것 같습니다.

↓ 파이썬, VSCORD 다운로드 방법

https://slickback.tistory.com/5

리뷰 확인 자동화 (1) - 후기링크를 자동으로 체크해보자!

※ 저희 회사에서 월급루팡을 위해 제가 만든 프로그램을 각색한것입니다. 저는 컴공 전공자도 아니고 무역/물류전공자입니다. 하지만 회사를 다니면 항상 시간을 잡아먹는 단순업무가 존재하

slickback.tistory.com

★사용방법