DeepSeek总结的DuckDB爬虫（crawler）扩展
DuckDB爬虫crawler扩展 下载与收录周下载量: 383GitHub星标: 4扩展仓库: GitHub社区扩展索引: DuckDB社区扩展扩展描述(YAML): 支持HTML提取和MERGE操作的SQL原生网页爬虫维护者: onnimonni 安装与加载INSTALL crawlerFROMcommunity;LOADcrawler; 快速示例基础用法SELECTurl,jq(html.document,h1).textastitleFROMcrawl([https://example.com]);使用read_html类似Google Sheets的IMPORTHTML-- 提取表格SELECT*FROMread_html(https://en.wikipedia.org/wiki/...,table.wikitable,1);-- 提取JS变量SELECT*FROMread_html(https://example.com/page,jsjobs);数据提取示例SELECTurl,jq(html.document,.price,data-amount)asprice,html.readability.titleasarticle_titleFROMcrawl([https://example.com/products]);使用MERGE进行智能合并CRAWLINGMERGEINTOpagesUSINGcrawl([https://example.com])ASsrcON(src.urlpages.url)WHENMATCHEDTHENUPDATEBYNAMEWHENNOTMATCHEDTHENINSERTBYNAME;✨ 核心特性crawl()表函数: 支持自动速率限制和robots.txt合规性crawl_url(): 支持LATERAL连接sitemap(): 解析 XML 网站地图read_html(): 类似 Google Sheets 的IMPORTHTML支持提取表格、列表、JS变量jq()和htmlpath(): 基于CSS选择器的数据提取函数html.readability: 文章内容提取html.schema: 解析 JSON-LD/微数据CRAWLING MERGE INTO语法: 支持存在则更新不存在则插入的智能写入️ 新增函数函数名函数类型描述备注示例crawl表函数NULLNULLcrawl_stream表函数NULLNULLcrawl_url表函数NULLNULLcss_select标量函数NULLNULLdiscover标量函数NULLNULLhtmlpath标量函数NULLNULLjq标量函数NULLNULLread_html表函数NULLNULLsitemap表函数NULLNULLstream_merge_internal表函数NULLNULL⚙️ 新增配置项名称描述输入类型作用域别名crawler_default_delay若robots.txt未指定则使用默认爬取延迟秒DOUBLEGLOBAL[]crawler_max_response_bytes最大响应体大小字节0 无限制BIGINTGLOBAL[]crawler_respect_robots是否遵守robots.txt指令BOOLEANGLOBAL[]crawler_timeout_msHTTP 请求超时时间毫秒BIGINTGLOBAL[]crawler_user_agent爬虫 HTTP 请求的 User-Agent 字符串VARCHARGLOBAL[] 完整文档请访问https://github.com/midwork-finds-jobs/duckdb-crawler
![CSP 真题解析：[CSP-J 2019-T4] 加工零件](http://pic.xiahunao.cn/yaotu/CSP 真题解析：[CSP-J 2019-T4] 加工零件)
