Xử lý phân trang và lặp dữ liệu trong Broma: từ danh sách đến chi tiết
Tại sao cần xử lý phân trang trong Broma?
Nhiều trang web thương mại điện tử, dashboard báo cáo hay danh sách bài viết chỉ hiển thị một số lượng bản ghi cố định trên mỗi trang. Nếu chỉ tự động hóa trang đầu tiên, bạn sẽ bỏ lỡ phần lớn dữ liệu. Broma cho phép tạo quy trình lặp (loop) qua các trang, sau đó lặp tiếp theo các mục trong trang để mở trang chi tiết, lấy thông tin và lưu lại – tất cả mà không cần viết mã phức tạp.
Kiến trúc quy trình: vòng lặp ngoài và vòng lặp trong
Quy trình điển hình gồm hai cấp độ lặp:
- Vòng lặp ngoài – duyệt qua các trang phân trang (trang 1, 2, 3…).
- Vòng lặp trong – trên mỗi trang, duyệt qua danh sách các mục (sản phẩm, đơn hàng, bài viết…).
Cách tách biệt này giúp dễ dàng bảo trì: khi trang web thay đổi cách hiển thị trang, bạn chỉ sửa vòng lặp ngoài; khi cấu trúc mục thay đổi, bạn chỉ sửa vòng lặp trong.
Bước 1: Mở trang danh sách đầu tiên
- Thêm hành động Open URL với địa chỉ trang danh sách (ví dụ
https://shop.example.com/products?page=1). - Thêm Wait for element chọn container danh sách (ví dụ
css=.product-grid).
Bước 2: Lấy selector cho nút “Trang tiếp theo” và kiểm tra tồn tại
- Dùng Inspect trong Broma để chọn nút phân trang (thường là
a.next-pagehoặcbutton[aria-label="Next"]). - Lưu selector vào biến
nextPageSelector(Broma cho phép lưu giá trị vào Variable). - Thêm If element exists với selector
nextPageSelectorđể quyết định có tiếp tục lặp hay dừng.
Bước 3: Vòng lặp while – duyệt qua các trang
Broma không có từ khóa while nhưng bạn có thể mô phỏng bằng Loop + Branch:
Loop (max 100 iterations)
If element exists (nextPageSelector)
Click (nextPageSelector)
Wait for element (.product-grid)
Else
Break loop
- Đặt giới hạn an toàn (max 100) để tránh lặp vô tận nếu selector bị sai.
- Sau mỗi click, chờ container danh sách tải xong trước khi sang vòng lặp trong.
Bước 4: Trong mỗi trang, lặp qua danh sách sản phẩm
- Sử dụng Loop over elements với selector mục (ví dụ
css=.product-card). - Bên trong loop, Broma tự động đặt biến
currentElementtrỏ đến phần tử hiện tại. - Thêm Click trên
currentElement(hoặc link chi tiết bên trong) để mở trang chi tiết. - Thêm Wait for element chọn vùng chi tiết (ví dụ
css=.product-detail).
Bước 5: Mở trang chi tiết, trích xuất dữ liệu, lưu
| Hành động | Mô tả |
|---|---|
| Get text | Lấy tên sản phẩm (css=.detail-title) → biến name. |
| Get attribute | Lấy giá (css=.price@data-value) → biến price. |
| Get text | Lấy mô tả (css=.description) → biến desc. |
| Run JavaScript | Gom các biến thành object JSON (xem phần dưới). |
| Write file | Ghi dòng JSON vào products.ndjson (append). |
| Close tab | Đóng tab chi tiết để quay lại trang danh sách. |
Ví dụ biểu thức JavaScript (bước Run JavaScript)
// Broma cung cấp các biến qua đối tượng `vars`
return JSON.stringify({
name: vars.name,
price: Number(vars.price),
description: vars.desc.trim(),
sourceUrl: window.location.href,
scrapedAt: new Date().toISOString()
});
Kết quả là một chuỗi JSON mỗi dòng, dễ dàng import vào BigQuery, Elasticsearch hoặc xử lý bằng Python.
Xử lý tải động (infinite scroll) – thay thế nút phân trang
Một số trang không có nút “Trang tiếp theo” mà tải thêm khi cuộn. Cách làm trong Broma:
- Loop (max 50 lần).
- Scroll to bottom (
window.scrollTo(0, document.body.scrollHeight)). - Wait for element xuất hiện mục mới (ví dụ
css=.product-card:last-child). - If element count not increased → Break loop.
Loop (max 50)
Run JavaScript: window.scrollTo(0, document.body.scrollHeight)
Wait 2s
Run JavaScript: return document.querySelectorAll('.product-card').length
If variable `currentCount` == variable `previousCount`
Break loop
Set variable `previousCount` = `currentCount`
Sau khi cuộn xong, bạn tiếp tục Loop over elements như bình thường.
Biểu thức JavaScript để gom dữ liệu và chuyển đổi
Ngoài việc tạo JSON, bạn có thể dùng JS để:
- Làm sạch giá:
priceStr.replace(/[^\d.]/g, ''). - Chuẩn hóa ngày:
new Date(dateStr).toISOString(). - Tính toán:
quantity * unitPrice.
Ví dụ làm sạch giá:
const raw = vars.rawPrice; // ví dụ "₫ 1.234.567"
const clean = Number(raw.replace(/[^\d]/g, ''));
return clean;
Lưu kết quả vào biến priceClean và dùng tiếp trong các bước sau.
Xử lý lỗi và thử lại (retry)
Mạng không ổn định hoặc trang tải chậm có thể làm quy trình hỏng. Broma cung cấp Try / Catch (khối Try – Catch) và Retry trên từng hành động:
- Bọc Click nút “Trang tiếp theo” trong Try. Nếu thất bại, Catch ghi log và Wait 5s rồi Retry tối đa 3 lần.
- Trên Open URL trang chi tiết, bật tùy chọn Retry on failure (3 lần, delay 3s).
Try
Click (nextPageSelector)
Wait for element (.product-grid)
Catch
Log error
Wait 5s
Retry (max 3)
Lưu kết quả: xuất ra CSV / Google Sheets
Sau khi chạy xong, file products.ndjson chứa hàng nghìn dòng JSON. Bạn có thể:
- Dùng Run JavaScript đọc file, parse từng dòng, push vào mảng và ghi ra CSV (
csv-stringify). - Hoặc dùng công cụ dòng lệnh
ndjson-to-csv(ngoài Broma) để chuyển đổi nhanh.
Ví dụ chuyển đổi trong Broma (chạy sau khi loop kết thúc):
const fs = require('fs');
const lines = fs.readFileSync('products.ndjson', 'utf8').trim().split('\n');
const records = lines.map(l => JSON.parse(l));
const header = Object.keys(records[0]).join(',');
const rows = records.map(r => Object.values(r).map(v => `"${String(v).replace(/"/g, '""')}"`).join(','));
fs.writeFileSync('products.csv', [header, ...rows].join('\n'));
Lưu ý: Broma chạy trên máy cục bộ, nên
require('fs')khả dụng trong bước Run JavaScript.
Mẹo tối ưu hiệu suất
- Giới hạn số tab đồng thời: Broma mặc định mở tab mới cho mỗi trang chi tiết. Nếu danh sách lớn, hãy bật Reuse tab (tái sử dụng tab) để giảm bộ nhớ.
- Tắt tải hình ảnh: Trong Browser profile chọn Block images – giảm băng thông và tải trang nhanh hơn.
- Sử dụng selector dựa trên attribute ổn định (
data-testid,aria-label) thay vì class CSS dễ thay đổi. - Chạy batch vào ban đêm: Lên lịch (Schedule) chạy lúc 02:00 để tránh ảnh hưởng công việc ban ngày.
- Lưu log chi tiết: Bật Run log mức Debug để dễ dàng truy vết khi trang web thay đổi.
Kết luận
Việc kết hợp vòng lặp ngoài (phân trang) và vòng lặp trong (danh sách mục) cùng với biểu thức JavaScript linh hoạt cho phép Broma thu thập dữ liệu quy mô lớn từ các trang web có phân trang phức tạp – từ danh sách sản phẩm, đơn hàng, bài viết đến báo cáo nội bộ. Các kỹ thuật trên (selector bền, retry, infinite scroll, xuất CSV) giúp quy trình ổn định, dễ bảo trì và có thể tái sử dụng cho nhiều dự án khác nhau. Hãy bắt đầu bằng một trang danh sách nhỏ, kiểm tra từng bước, sau đó mở rộng sang toàn bộ hệ thống dữ liệu của bạn.
