Update: Ohli24 Queue fixes & Zendriver Daemon stability improvement
This commit is contained in:
@@ -74,11 +74,21 @@ async def fetch_html(url: str, timeout: int = 60, browser_path: str = None) -> d
|
||||
|
||||
page = await browser.get(url)
|
||||
|
||||
# 페이지 로드 대기 (DOM 안정화)
|
||||
await asyncio.sleep(2)
|
||||
# 페이지 로드 대기 - cdndania iframe 로딩될 때까지 폴링 (최대 15초)
|
||||
max_wait = 15
|
||||
poll_interval = 1
|
||||
waited = 0
|
||||
html = ""
|
||||
|
||||
while waited < max_wait:
|
||||
await asyncio.sleep(poll_interval)
|
||||
waited += poll_interval
|
||||
html = await page.get_content()
|
||||
|
||||
# cdndania iframe이 로드되었는지 확인
|
||||
if "cdndania" in html or "fireplayer" in html:
|
||||
break
|
||||
|
||||
# HTML 추출
|
||||
html = await page.get_content()
|
||||
elapsed = asyncio.get_event_loop().time() - start_time
|
||||
|
||||
if html and len(html) > 100:
|
||||
|
||||
Reference in New Issue
Block a user