Crawl4AI 快速指南AI 數(shù)據(jù)抓取的網(wǎng)頁(yè)爬蟲(chóng)3 個(gè)示例完成 Markdown 轉(zhuǎn)換【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai假設(shè)你下午 3 點(diǎn)要給 RAG 流水線灌一批網(wǎng)頁(yè)語(yǔ)料只有 5 分鐘準(zhǔn)備時(shí)間。Crawl4AI 是一個(gè)輸出對(duì) LLM 友好的 Markdown 的 Python 網(wǎng)頁(yè)爬蟲(chóng)下面用 3 個(gè)示例從安裝一路走到反爬處理——把頁(yè)面轉(zhuǎn)成 Markdown、清洗導(dǎo)航與彈窗、點(diǎn)按加載動(dòng)態(tài)內(nèi)容最后留一條 crwl 命令方便隨時(shí)抽查。三行命令裝好 Crawl4AI 并跑通瀏覽器安裝一共三行第二行做安裝后初始化第三行做環(huán)境自檢pip install -U crawl4ai crawl4ai-setup crawl4ai-doctor自檢提示缺瀏覽器時(shí)用下面這條命令把 Chromium 和系統(tǒng)依賴一次裝齊python -m playwright install --with-deps chromium除穩(wěn)定版外還有三種常用裝法用途命令預(yù)發(fā)布版嘗新功能pip install crawl4ai --pre開(kāi)發(fā)模式改源碼git clone https://gitcode.com/GitHub_Trending/craw/crawl4ai然后cd crawl4ai pip install -e .全量功能PDF、本地模型、embeddingpip install crawl4ai[all]不用寫(xiě) Python 也能先驗(yàn)證環(huán)境這條命令直接抓一個(gè)頁(yè)面并輸出 Markdowncrwl https://en.wikipedia.org/wiki/Apple -o markdown最小 Python 爬蟲(chóng)一次 arun 拿到 Markdown 結(jié)果下面這個(gè)腳本只做一件事抓一個(gè) URL打印前 500 個(gè)字符的 Markdown。import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result await crawler.arun(urlhttps://en.wikipedia.org/wiki/Apple) if result.success: print(result.markdown.raw_markdown[:500]) if __name__ __main__: asyncio.run(main())arun返回的result是 CrawlResult常用字段有success是否成功、markdownMarkdownGenerationResult、metadata頁(yè)面標(biāo)題、描述等 meta 信息、links與media頁(yè)面里收集的鏈接和媒體、redirected_url實(shí)際跳轉(zhuǎn)后的地址。raw_markdown 和 fit_markdown 的區(qū)別決定喂給 AI 的是哪一份result.markdown.raw_markdown是整頁(yè)轉(zhuǎn)換結(jié)果result.markdown.fit_markdown是精簡(jiǎn)版去掉導(dǎo)航、頁(yè)腳之類的噪聲只留主體。直接print(result.markdown)等價(jià)于打印 raw_markdown。給 RAG 喂數(shù)據(jù)時(shí)一般用 fit_markdown省 token要控制精簡(jiǎn)力度就去調(diào)下一節(jié)的過(guò)濾器參數(shù)。用 excluded_tags 和 remove_overlay_elements 去掉導(dǎo)航與 Cookie 彈窗下面這段配置排除三類標(biāo)簽不轉(zhuǎn) Markdown并在取 HTML 前先移除 Cookie 彈窗這類覆蓋層from crawl4ai import BrowserConfig, CrawlerRunConfig, CacheMode browser_config BrowserConfig( headlessTrue, # 無(wú)頭模式 java_script_enabledTrue, # 執(zhí)行頁(yè)面 JS默認(rèn)就是 True ) crawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, # 本次不讀也不寫(xiě)緩存 excluded_tags[nav, footer, aside], remove_overlay_elementsTrue, # 移除彈窗等覆蓋元素 page_timeout60000, # 導(dǎo)航超時(shí)單位毫秒 ) async with AsyncWebCrawler(configbrowser_config) as crawler: result await crawler.arun( urlhttps://en.wikipedia.org/wiki/Apple, configcrawler_config, )cache_mode共 5 種取值BYPASS本次讀寫(xiě)全繞過(guò)、ENABLED正常讀寫(xiě)、READ_ONLY、WRITE_ONLY、DISABLED完全禁用緩存。調(diào)試階段建議保持 BYPASS避免讀到上一次的舊頁(yè)面。用 PruningContentFilter 的閾值把 Markdown 再壓一遍下面給 Markdown 生成器掛上剪枝過(guò)濾器對(duì)文本塊逐段打分低于閾值的丟棄同時(shí)跳過(guò)鏈接轉(zhuǎn)換from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator from crawl4ai.content_filter_strategy import PruningContentFilter crawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, markdown_generatorDefaultMarkdownGenerator( content_filterPruningContentFilter( threshold0.48, # 固定閾值低于此分的塊被剪掉 threshold_typefixed, min_word_threshold0, ), options{ignore_links: True}, ), )0.48 是默認(rèn)閾值如果發(fā)現(xiàn)正文也被剪掉了可以降到 0.30.4再對(duì)比f(wàn)it_markdown的長(zhǎng)度變化來(lái)定檔。動(dòng)態(tài)頁(yè)面抓取js_code 點(diǎn)按加載 延時(shí)等渲染對(duì)于點(diǎn)按加載更多才出內(nèi)容的頁(yè)面注入一段 JS 找到按鈕并觸發(fā)點(diǎn)擊再用delay_before_return_html等渲染完成后才取 HTMLcrawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, js_code const btn Array.from(document.querySelectorAll(button)) .find(b b.textContent.includes(Load More)); btn btn.click(); , delay_before_return_html2, # 取 HTML 前等 2 秒單位是秒 )用 css_selector 只提取目標(biāo)區(qū)塊只要列表正文時(shí)css_selector會(huì)把轉(zhuǎn)換范圍限定到匹配的元素上Markdown 里就只有這些區(qū)塊的內(nèi)容crawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, css_selector.wide-tease-item__description, )繞過(guò)反爬proxy_config 掛代理、user_agent 換指紋、magic 加模擬交互拿到 403 或人機(jī)驗(yàn)證頁(yè)時(shí)按順序試先換 UA再掛代理最后開(kāi)防檢測(cè)組合browser_config BrowserConfig( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, user_agent_moderandom, # 設(shè)為 random 時(shí)自動(dòng)生成隨機(jī) UA proxy_config{ server: http://proxy.example.com:8080, username: user, password: pass, }, ) crawler_config CrawlerRunConfig( magicTrue, # 自動(dòng)處理彈窗等覆蓋層 simulate_userTrue, # 模擬鼠標(biāo)移動(dòng)與點(diǎn)擊 )?? 這里坑比較多proxy_config是BrowserConfig的參數(shù)不是CrawlerRunConfig的寫(xiě)錯(cuò)位置會(huì)靜默失效。踩坑記錄三則瀏覽器依賴缺失、動(dòng)態(tài)頁(yè)面不全、被反爬攔截瀏覽器依賴缺失Chromium 起不來(lái)、報(bào)缺 so 庫(kù)時(shí)跑python -m playwright install --with-deps chromium再執(zhí)行crawl4ai-doctor復(fù)查。動(dòng)態(tài)頁(yè)面內(nèi)容不全通常是渲染沒(méi)完成就取了 HTML。把delay_before_return_html秒調(diào)到 23或指定wait_untilnetworkidle等網(wǎng)絡(luò)靜默。被反爬攔截先上magicTruesimulate_userTrue不行再掛proxy_config并發(fā)爬取內(nèi)存吃緊時(shí)BrowserConfig(memory_saving_modeTrue)并關(guān)掉截圖這類用不到的功能。下一步可以做什么深度爬取BFS/DFS/最佳優(yōu)先逐頁(yè)擴(kuò)展說(shuō)明見(jiàn)PROGRESSIVE_CRAWLING.md源碼在crawl4ai/deep_crawling/目錄LLM 結(jié)構(gòu)化提取從 Markdown 里按 schema 抽取字段示例在docs/examples/llm_extraction_openai_pricing.pyDocker REST API 部署服務(wù)入口是deploy/docker/server.py部署說(shuō)明見(jiàn)deploy/docker/README.md【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考