VPS สำหรับ web scraping ด้วย headless Chrome ต้องใช้ vCPU เฉพาะกี่ตัว?

แต่ละแพ็กเกจรัน headless browser ได้กี่ตัว?

headless Chrome หนึ่งเบราว์เซอร์ต้องใช้ระหว่าง 1.5 ถึง 2 vCPU: กฎที่เผยแพร่สองข้อตกอยู่ในช่วงนี้ Playwright Test เริ่ม worker ตามค่าเริ่มต้นครึ่งหนึ่งของจำนวนโลจิคัล CPU คอร์ BrowserStack ซึ่งธุรกิจหลักคือการรันเบราว์เซอร์จริง ขอให้ลูกค้า self-hosted ใช้ 1.5 CPU ต่อเบราว์เซอร์บน Linux สำหรับเว็บไซต์มาตรฐาน และอย่างน้อย 2 สำหรับเว็บไซต์ที่ใช้งานหนักหรือใช้งานตลอด 24 ชั่วโมง เมื่อนำมาใช้กับแต่ละแพ็กเกจ:

ทำไม headless Chrome ถึงกิน CPU หนัก?

headless browser ทำทุกอย่างที่เบราว์เซอร์ที่มองเห็นทำ ยกเว้นการวาดลงหน้าจอ มันดาวน์โหลดหน้าเว็บ แยกวิเคราะห์ HTML และ CSS รันทุกสคริปต์ จัดวางหน้าเว็บ และให้ตัวจับเวลาทำงานต่อไป Chromium แบ่งงานนี้ออกเป็นหลายโปรเซส: โปรเซสเบราว์เซอร์ที่จัดการส่วนที่เหลือ และโปรเซส renderer สำหรับเนื้อหาเว็บ โดยแท็บหรือหน้าต่างใหม่แต่ละอันมักเปิดในโปรเซสของตัวเอง สิบแท็บกิน CPU ใกล้เคียงกับสิบ renderer

การเปลี่ยนแปลงสามอย่างช่วยลดค่าใช้จ่ายโดยไม่เปลี่ยนผลลัพธ์:

• บล็อกสิ่งที่ไม่มีวันถูกอ่าน รูปภาพ ฟอนต์ และสื่อกินแบนด์วิดท์และเวลาในการถอดรหัส; การดักจับคำขอใน Puppeteer หรือ routing ใน Playwright จะปฏิเสธสิ่งเหล่านี้
• ใช้เบราว์เซอร์ตัวเดิมซ้ำ เปิด context ใหม่ การเริ่ม Chrome คือขั้นตอนที่แพง; context หรือหน้าใหม่ในเบราว์เซอร์ที่กำลังรันอยู่ถูกกว่ามาก
• ข้ามเบราว์เซอร์เมื่อข้อมูลเอื้ออำนวย ข้อมูลที่อยู่ใน HTML หรือใน JSON API ที่หน้าเว็บเรียก ได้มาจาก HTTP client ธรรมดา ซึ่งไม่รันสคริปต์เลย

ตั้งแต่ Chrome 132 โหมด headless แบบเก่าจัดส่งเป็นไบนารีแยกต่างหากเท่านั้น chrome-headless-shell; --headless บน Chrome ปกติจะรันโหมดใหม่

vCPU แบบเฉพาะ (dedicated) สำคัญกับ worker ที่ใช้ scrape หรือไม่?

เบราว์เซอร์ที่ไม่ได้ CPU ตามต้องการจะล้มเหลวแทนที่จะช้าลง timeout ของ navigation และ selector ถูกตั้งเป็นวินาที เมื่อเพื่อนบ้านแย่งเวลา CPU ไป หน้าเว็บก็ render เสร็จช้า การรอหมดอายุ และงานที่ควรจะสำเร็จก็ถูก retry ซึ่งกิน CPU มากขึ้น Browserless ซึ่งขาย Chrome แบบ hosted ระบุไว้ในเอกสารของตัวเองว่า concurrency ที่ต่ำลงทำให้แต่ละเบราว์เซอร์ได้ CPU และหน่วยความจำมากขึ้น ลด timeout และเพิ่มความเสถียร เวลา CPU ที่สูญเสียไปจะแสดงเป็น steal อธิบายไว้ใน what CPU steal time is and how to check it on a VPS.

ที่ Cobaltfell ด้าน CPU ของการแลกเปลี่ยนนี้ถูกกำหนดไว้ตายตัว vCPU หนึ่งตัวคือหนึ่ง hardware thread ของโปรเซสเซอร์โฮสต์ vCPU ของคุณถูก pin แบบหนึ่งต่อหนึ่งเข้ากับ VPS ของคุณและไม่ถูกให้เช่าต่อให้ลูกค้ารายอื่น และสอง thread ของ physical core หนึ่งตัวจะอยู่ด้วยกันเสมอ ดังนั้นทุก 2 vCPU จึงรวมเป็นหนึ่ง whole core ที่ไม่มีเพื่อนบ้านมาแชร์. ใช้โหลดเต็มที่ได้ตลอดตราบเท่าที่งานของคุณต้องการ: ไม่มี CPU credit ไม่มีช่วง burst และไม่มีการ throttling หลังจากใช้งานที่ 100% ไปสักพัก.

หา concurrency ได้ด้วยวิธีเดียวกันบน host ใดก็ได้ เริ่มที่หนึ่งเบราว์เซอร์ต่อสอง vCPU เพิ่มขึ้นเรื่อยๆ ตราบใดที่อัตราข้อผิดพลาดยังคงที่ และหยุดเมื่อ timeout เพิ่มขึ้นครั้งแรก

host ที่ขาย vCPU แบบเฉพาะ (dedicated) จัดอันดับตามเกณฑ์ที่เขียนไว้ชุดเดียวกัน อยู่ใน which is the best dedicated CPU VPS provider in 2026.

ฉันจะรัน Chrome worker บน VPS อย่างปลอดภัยได้อย่างไร?

เปิด Chrome sandbox ไว้ รันในฐานะผู้ใช้ปกติ และให้ container มี init process หน้าเว็บที่ scrape มาถือเป็นโค้ดที่ไม่น่าไว้วางใจตามนิยาม และคู่มืออย่างเป็นทางการก็เห็นตรงกันในแต่ละข้อ:

• Sandbox คู่มือแก้ปัญหาของ Puppeteer ระบุว่าการรันโดยไม่มี sandbox เป็นสิ่งที่ไม่แนะนำอย่างยิ่ง คู่มือ Docker ของ Playwright ระบุว่าการรันในฐานะ root จะปิดการทำงานของ Chromium sandbox และแนะนำให้ใช้ผู้ใช้แยกต่างหากพร้อม seccomp profile ของผู้ใช้สำหรับการ scrape และ crawl
• Init process คู่มือทั้งสองแนะนำ flag --init ของ Docker เพื่อให้ Chrome child process ที่จบแล้วถูกเก็บกวาด แทนที่จะสะสมเป็น zombie
• Shared memory Playwright แนะนำ --ipc=host สำหรับ Chromium เพราะหากไม่มี Chromium อาจหน่วยความจำหมดและ crash ได้

ตัวเลขสองตัวบอกว่ากลุ่ม Chrome กำลังทำงานเป็นอย่างไร คือหน่วยความจำที่ Chrome process ทั้งหมดถืออยู่ และคอลัมน์ steal ของ mpstat.

# total resident memory of chrome / chromium / headless shell processes, in MB
ps -eo rss=,comm= | awk '/chrom/ {s+=$1} END {printf "%.0f MB\n", s/1024}'

# how many renderer processes are alive right now
pgrep -fc -- '--type=renderer'

# per-vCPU load and %steal while the pool works (package sysstat)
mpstat -P ALL 5 3

แล้วกฎของเว็บไซต์และ proxy ล่ะ?

การ scrape ยังคงอยู่ภายใต้ข้อกำหนดของแต่ละเว็บไซต์และกฎหมายที่ใช้กับผู้ดำเนินการและกับเว็บไซต์ หน้านี้ว่าด้วยการกำหนดขนาดเครื่อง ไม่ใช่ความถูกต้องตามกฎหมายของโปรเจกต์ การโจมตีระบบที่ไม่ใช่ของคุณ รวมถึง brute-force และ denial of service ถูกห้ามภายใต้ what Cobaltfell's acceptable use policy allows ดังนั้นอัตราการส่ง request จึงต้องสุภาพ

proxy และการหมุน IP เป็นเรื่องแยกต่างหาก และ Cobaltfell ไม่ได้ขายอย่างใดอย่างหนึ่ง VPS แต่ละเครื่องได้รับ IPv4 หนึ่ง address และ IPv6 /64 บนพอร์ต 1 Gbit/s ปริมาณทราฟฟิกรายเดือนของแพ็กเกจของคุณนับเฉพาะข้อมูลขาออก และการใช้งานเกินไม่ทำให้เกิดค่าใช้จ่ายเพิ่มโดยตัวมันเอง. ราคาแพ็กเกจแสดงอยู่ใน how much a dedicated-core VPS costs.