Improve OG meta processing
parent
5348398b23
commit
57fc5ef913
|
@ -90,6 +90,7 @@ async def external_urls(
|
|||
if not h:
|
||||
continue
|
||||
|
||||
try:
|
||||
ph = urlparse(h)
|
||||
mimetype, _ = mimetypes.guess_type(h)
|
||||
if (
|
||||
|
@ -102,6 +103,9 @@ async def external_urls(
|
|||
)
|
||||
):
|
||||
urls.add(h)
|
||||
except Exception:
|
||||
logger.exception(f"Failed to check {h}")
|
||||
continue
|
||||
|
||||
return urls - tags_hrefs
|
||||
|
||||
|
|
Loading…
Reference in New Issue