Firecrawl: API สำหรับการค้นหาและเก็บข้อมูลเว็บFirecrawl: The Web Search and Scraping API
Firecrawl: API สำหรับค้นหา ขูด และโต้ตอบกับเว็บโดยใช้ TypeScript.
Firecrawl: An API to search, scrape, and interact with the web using TypeScript.
ไว้ทำอะไร
Firecrawl ออกแบบมาเพื่อแก้ปัญหาการค้นหาและเก็บข้อมูลจากเว็บที่ซับซ้อน ทั้งแก้ปัญหาหน้าเว็บที่อิงกับ JavaScript การหมุน Proxy การประสานงาน และจำกัดความถี่ รวมทั้งการแปลเว็บเนื้อหาไปเป็น Markdown หรือ JSON ได้ง่าย ๆ
ทำงานอย่างไร
Firecrawl ใช้โครงสร้างการให้บริการแบบ API รองรับการค้นหาและขูดข้อมูลเว็บผ่าน endpoints เช่น /search และ /scrape นอกจากนี้ยังมี endpoint /interact สำหรับการโต้ตอบกับเว็บ เช่น การคลิก หรือกรอกแบบฟอร์ม โค้ดใน directory apps ครอบคลุม SDK สำหรับภาษาต่าง ๆ เช่น Python, JavaScript, Elixir และอื่น ๆ ซึ่งช่วยให้นักพัฒนาใช้งาน API ได้สะดวก โดย docker-compose.yaml ใช้สำหรับตั้งค่าการพัฒนาและการให้บริการ.
โครงสร้างโค้ด
- apps/api — ให้บริการ API หลัก
- apps/ui — ส่วน frontend ของระบบ
- docker-compose.yaml — ใช้การจัดการ container สำหรับการพัฒนา
เริ่มใช้งาน
curl -X POST 'https://api.firecrawl.dev/v2/crawl' -H 'Authorization: Bearer fc-YOUR_API_KEY' -H 'Content-Type: application/json' -d '{"url": "https://example.com"}'เหมาะกับงานแบบไหน
- การค้นหาเว็บแบบ real-time พร้อมการแปลข้อมูล LLM
- การโต้ตอบกับหน้าเว็บแบบอัตโนมัติ
ข้อควรรู้
- ได้รับอนุญาตภายใต้ AGPL-3.0 ดังนั้นการใช้งานต้องเปิดเผยซอร์สโค้ด
- รองรับ 96% ของเว็บ JS หนัก
What it is for
Firecrawl is designed to solve complex web scraping and searching issues, handling JS-heavy pages, rotating proxies, orchestration, and rate limiting, and simplifying the conversion of web content into Markdown or JSON.
How it works
Firecrawl utilizes an API service architecture featuring endpoints such as /search and /scrape for web data extraction, and /interact for web interactions like clicking or form submissions. The apps directory includes SDKs for languages like Python, JavaScript, Elixir, and more, facilitating ease of use for developers. docker-compose.yaml helps set up the development and service environment.
Code structure
- apps/api — Core API Service
- apps/ui — Frontend part of the system
- docker-compose.yaml — Manages containers for development
Getting started
curl -X POST 'https://api.firecrawl.dev/v2/crawl' -H 'Authorization: Bearer fc-YOUR_API_KEY' -H 'Content-Type: application/json' -d '{"url": "https://example.com"}'Good fit for
- Real-time web searching with LLM-ready data translation
- Automated interaction with web pages
Things to know
- Licensed under AGPL-3.0, thus usage requires source code disclosure
- Supports 96% of JS-heavy web
บทวิเคราะห์นี้สร้างจาก README และโค้ดของ repo โดย AI ของ Oneable — ตรวจสอบ license และเอกสารต้นทางก่อนนำไปใช้งานจริงThis breakdown was generated from the repository's README and code by Oneable's AI — check the license and upstream docs before using it in production.