v0.5.0: Zendriver Daemon optimization, Python 3.14 support, and UI/UX improvements
This commit is contained in:
74
lib/camoufox_ohli24.py
Normal file
74
lib/camoufox_ohli24.py
Normal file
@@ -0,0 +1,74 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
Camoufox 기반 Ohli24 HTML 페칭 스크립트
|
||||
- Cloudflare 우회를 위한 헤드리스 브라우저 폴백
|
||||
- curl_cffi 실패 시 사용
|
||||
- JSON 출력으로 안정적인 IPC
|
||||
"""
|
||||
|
||||
import sys
|
||||
import json
|
||||
import asyncio
|
||||
|
||||
|
||||
async def fetch_html(url: str, timeout: int = 30) -> dict:
|
||||
"""AsyncCamoufox로 HTML 페칭"""
|
||||
try:
|
||||
from camoufox.async_api import AsyncCamoufox
|
||||
except ImportError as e:
|
||||
return {"success": False, "error": f"Camoufox not installed: {e}", "html": ""}
|
||||
|
||||
result = {"success": False, "html": "", "elapsed": 0}
|
||||
start_time = asyncio.get_event_loop().time()
|
||||
|
||||
try:
|
||||
async with AsyncCamoufox(headless=True) as browser:
|
||||
page = await browser.new_page()
|
||||
|
||||
# 불필요한 리소스 차단 (속도 향상)
|
||||
async def intercept(route):
|
||||
resource_type = route.request.resource_type
|
||||
if resource_type in ["image", "media", "font"]:
|
||||
await route.abort()
|
||||
else:
|
||||
await route.continue_()
|
||||
|
||||
await page.route("**/*", intercept)
|
||||
|
||||
try:
|
||||
# 페이지 로드
|
||||
await page.goto(url, wait_until="domcontentloaded", timeout=timeout * 1000)
|
||||
|
||||
# HTML 추출
|
||||
html = await page.content()
|
||||
elapsed = asyncio.get_event_loop().time() - start_time
|
||||
|
||||
result.update({
|
||||
"success": True,
|
||||
"html": html,
|
||||
"elapsed": round(elapsed, 2)
|
||||
})
|
||||
|
||||
finally:
|
||||
await page.close()
|
||||
|
||||
except Exception as e:
|
||||
result["error"] = str(e)
|
||||
result["elapsed"] = round(asyncio.get_event_loop().time() - start_time, 2)
|
||||
|
||||
return result
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) < 2:
|
||||
print(json.dumps({"success": False, "error": "Usage: python camoufox_ohli24.py <url>", "html": ""}))
|
||||
sys.exit(1)
|
||||
|
||||
target_url = sys.argv[1]
|
||||
timeout_sec = int(sys.argv[2]) if len(sys.argv) > 2 else 30
|
||||
|
||||
try:
|
||||
res = asyncio.run(fetch_html(target_url, timeout_sec))
|
||||
print(json.dumps(res, ensure_ascii=False))
|
||||
except Exception as e:
|
||||
print(json.dumps({"success": False, "error": str(e), "html": "", "elapsed": 0}))
|
||||
198
lib/zendriver_daemon.py
Normal file
198
lib/zendriver_daemon.py
Normal file
@@ -0,0 +1,198 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
Zendriver 데몬 서버
|
||||
- 브라우저를 상시 유지하여 빠른 HTML 페칭
|
||||
- HTTP API로 요청 받아 처리
|
||||
- 4~6초 → 2~3초 속도 향상 기대
|
||||
"""
|
||||
|
||||
import sys
|
||||
import json
|
||||
import asyncio
|
||||
import signal
|
||||
import time
|
||||
import os
|
||||
import traceback
|
||||
from http.server import HTTPServer, BaseHTTPRequestHandler
|
||||
from threading import Thread, Lock
|
||||
from typing import Any, Optional
|
||||
|
||||
DAEMON_PORT: int = 19876
|
||||
browser: Optional[Any] = None
|
||||
browser_lock: Lock = Lock()
|
||||
loop: Optional[asyncio.AbstractEventLoop] = None
|
||||
|
||||
|
||||
class ZendriverHandler(BaseHTTPRequestHandler):
|
||||
"""HTTP 요청 핸들러"""
|
||||
|
||||
def log_message(self, format: str, *args: Any) -> None:
|
||||
# 로그 출력 억제
|
||||
pass
|
||||
|
||||
def do_POST(self) -> None:
|
||||
global browser, loop
|
||||
|
||||
if self.path == "/fetch":
|
||||
try:
|
||||
content_length = int(self.headers['Content-Length'])
|
||||
body = self.rfile.read(content_length).decode('utf-8')
|
||||
data: dict = json.loads(body)
|
||||
|
||||
url: Optional[str] = data.get("url")
|
||||
timeout: int = data.get("timeout", 30)
|
||||
|
||||
if not url:
|
||||
self._send_json(400, {"success": False, "error": "Missing 'url' parameter"})
|
||||
return
|
||||
|
||||
# 비동기 fetch 실행
|
||||
if loop:
|
||||
result = asyncio.run_coroutine_threadsafe(
|
||||
fetch_with_browser(url, timeout), loop
|
||||
).result(timeout=timeout + 10)
|
||||
self._send_json(200, result)
|
||||
else:
|
||||
self._send_json(500, {"success": False, "error": "Event loop not ready"})
|
||||
|
||||
except Exception as e:
|
||||
self._send_json(500, {"success": False, "error": str(e), "traceback": traceback.format_exc()})
|
||||
|
||||
elif self.path == "/health":
|
||||
self._send_json(200, {"status": "ok", "browser_ready": browser is not None})
|
||||
|
||||
elif self.path == "/shutdown":
|
||||
self._send_json(200, {"status": "shutting_down"})
|
||||
Thread(target=lambda: (time.sleep(0.5), os._exit(0))).start()
|
||||
|
||||
else:
|
||||
self._send_json(404, {"error": "Not found"})
|
||||
|
||||
def do_GET(self) -> None:
|
||||
if self.path == "/health":
|
||||
self._send_json(200, {"status": "ok", "browser_ready": browser is not None})
|
||||
else:
|
||||
self._send_json(404, {"error": "Not found"})
|
||||
|
||||
def _send_json(self, status_code: int, data: dict) -> None:
|
||||
self.send_response(status_code)
|
||||
self.send_header('Content-Type', 'application/json')
|
||||
self.end_headers()
|
||||
self.wfile.write(json.dumps(data, ensure_ascii=False).encode('utf-8'))
|
||||
|
||||
|
||||
async def ensure_browser() -> Any:
|
||||
"""브라우저 인스턴스 확인/생성"""
|
||||
global browser
|
||||
|
||||
with browser_lock:
|
||||
if browser is None:
|
||||
try:
|
||||
import zendriver as zd
|
||||
browser = await zd.start(headless=True)
|
||||
print(f"[ZendriverDaemon] Browser started", file=sys.stderr)
|
||||
except Exception as e:
|
||||
print(f"[ZendriverDaemon] Failed to start browser: {e}", file=sys.stderr)
|
||||
browser = None
|
||||
raise
|
||||
|
||||
return browser
|
||||
|
||||
|
||||
async def fetch_with_browser(url: str, timeout: int = 30) -> dict:
|
||||
"""상시 대기 브라우저로 HTML 페칭"""
|
||||
global browser
|
||||
|
||||
result: dict = {"success": False, "html": "", "elapsed": 0}
|
||||
start_time: float = time.time()
|
||||
|
||||
try:
|
||||
await ensure_browser()
|
||||
|
||||
if browser is None:
|
||||
result["error"] = "Browser not available"
|
||||
return result
|
||||
|
||||
# 새 탭에서 페이지 로드
|
||||
page = await browser.get(url)
|
||||
|
||||
# 페이지 로드 대기
|
||||
await asyncio.sleep(1.5)
|
||||
|
||||
# HTML 추출
|
||||
html: str = await page.get_content()
|
||||
elapsed: float = time.time() - start_time
|
||||
|
||||
if html and len(html) > 100:
|
||||
result.update({
|
||||
"success": True,
|
||||
"html": html,
|
||||
"elapsed": round(elapsed, 2)
|
||||
})
|
||||
else:
|
||||
result["error"] = f"Short response: {len(html) if html else 0} bytes"
|
||||
result["elapsed"] = round(elapsed, 2)
|
||||
|
||||
# 탭 닫기 (브라우저는 유지)
|
||||
try:
|
||||
await page.close()
|
||||
except:
|
||||
pass
|
||||
|
||||
except Exception as e:
|
||||
result["error"] = str(e)
|
||||
result["elapsed"] = round(time.time() - start_time, 2)
|
||||
|
||||
# 브라우저 오류 시 재시작 플래그
|
||||
if "browser" in str(e).lower() or "closed" in str(e).lower():
|
||||
browser = None
|
||||
|
||||
return result
|
||||
|
||||
|
||||
async def run_async_loop() -> None:
|
||||
"""비동기 이벤트 루프 실행"""
|
||||
global loop
|
||||
loop = asyncio.get_event_loop()
|
||||
|
||||
# 브라우저 미리 시작
|
||||
try:
|
||||
await ensure_browser()
|
||||
except:
|
||||
pass
|
||||
|
||||
# 루프 유지
|
||||
while True:
|
||||
await asyncio.sleep(1)
|
||||
|
||||
|
||||
def run_server() -> None:
|
||||
"""HTTP 서버 실행"""
|
||||
server = HTTPServer(('127.0.0.1', DAEMON_PORT), ZendriverHandler)
|
||||
print(f"[ZendriverDaemon] Starting on port {DAEMON_PORT}", file=sys.stderr)
|
||||
server.serve_forever()
|
||||
|
||||
|
||||
def signal_handler(sig: int, frame: Any) -> None:
|
||||
"""종료 시그널 처리"""
|
||||
global browser
|
||||
print("\n[ZendriverDaemon] Shutting down...", file=sys.stderr)
|
||||
if browser:
|
||||
try:
|
||||
asyncio.run(browser.stop())
|
||||
except:
|
||||
pass
|
||||
sys.exit(0)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
signal.signal(signal.SIGINT, signal_handler)
|
||||
signal.signal(signal.SIGTERM, signal_handler)
|
||||
|
||||
# 비동기 루프를 별도 스레드에서 실행
|
||||
async_thread = Thread(target=lambda: asyncio.run(run_async_loop()), daemon=True)
|
||||
async_thread.start()
|
||||
|
||||
# HTTP 서버 실행 (메인 스레드)
|
||||
time.sleep(1) # 브라우저 시작 대기
|
||||
run_server()
|
||||
73
lib/zendriver_ohli24.py
Normal file
73
lib/zendriver_ohli24.py
Normal file
@@ -0,0 +1,73 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
Zendriver 기반 Ohli24 HTML 페칭 스크립트
|
||||
- Chrome DevTools Protocol 사용 (탐지 어려움)
|
||||
- Cloudflare 우회를 위한 헤드리스 브라우저 폴백
|
||||
- curl_cffi/cloudscraper 실패 시 사용
|
||||
- JSON 출력으로 안정적인 IPC
|
||||
"""
|
||||
|
||||
import sys
|
||||
import json
|
||||
import asyncio
|
||||
|
||||
|
||||
async def fetch_html(url: str, timeout: int = 60) -> dict:
|
||||
"""Zendriver로 HTML 페칭"""
|
||||
try:
|
||||
import zendriver as zd
|
||||
except ImportError as e:
|
||||
return {"success": False, "error": f"Zendriver not installed: {e}. Run: pip install zendriver", "html": ""}
|
||||
|
||||
result = {"success": False, "html": "", "elapsed": 0}
|
||||
start_time = asyncio.get_event_loop().time()
|
||||
browser = None
|
||||
|
||||
try:
|
||||
# 브라우저 시작
|
||||
browser = await zd.start(headless=True)
|
||||
page = await browser.get(url)
|
||||
|
||||
# 페이지 로드 대기 (DOM 안정화)
|
||||
await asyncio.sleep(2)
|
||||
|
||||
# HTML 추출
|
||||
html = await page.get_content()
|
||||
elapsed = asyncio.get_event_loop().time() - start_time
|
||||
|
||||
if html and len(html) > 100:
|
||||
result.update({
|
||||
"success": True,
|
||||
"html": html,
|
||||
"elapsed": round(elapsed, 2)
|
||||
})
|
||||
else:
|
||||
result["error"] = f"Short response: {len(html) if html else 0} bytes"
|
||||
result["elapsed"] = round(elapsed, 2)
|
||||
|
||||
except Exception as e:
|
||||
result["error"] = str(e)
|
||||
result["elapsed"] = round(asyncio.get_event_loop().time() - start_time, 2)
|
||||
finally:
|
||||
if browser:
|
||||
try:
|
||||
await browser.stop()
|
||||
except:
|
||||
pass
|
||||
|
||||
return result
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) < 2:
|
||||
print(json.dumps({"success": False, "error": "Usage: python zendriver_ohli24.py <url>", "html": ""}))
|
||||
sys.exit(1)
|
||||
|
||||
target_url = sys.argv[1]
|
||||
timeout_sec = int(sys.argv[2]) if len(sys.argv) > 2 else 60
|
||||
|
||||
try:
|
||||
res = asyncio.run(fetch_html(target_url, timeout_sec))
|
||||
print(json.dumps(res, ensure_ascii=False))
|
||||
except Exception as e:
|
||||
print(json.dumps({"success": False, "error": str(e), "html": "", "elapsed": 0}))
|
||||
Reference in New Issue
Block a user