Tất cả bài viết

Sử dụng tính năng chụp ảnh màn hình và OCR trong Broma để kiểm tra hình ảnh

Sử dụng tính năng chụp ảnh màn hình và OCR trong Broma để kiểm tra hình ảnh

Giới thiệu về kiểm tra trực quan bằng screenshot và OCR

Trong nhiều quy trình tự động hóa web, việc đảm bảo giao diện người dùng hiển thị chính xác là rất quan trọng. Dù bạn đang kiểm tra giá cả, theo dõi đánh giá hay thực thực kiểm smoke sau release, việc chỉ kiểm data text là chưa đủ – bạn còn cần xác verification giao diện người dùng, các thông l messages hiển thị hoặc vị trí của các element. Broma cung cấp hai công tính năng mạnh mẽ giúp bạn thực hiện điều này một cách dễ dàng: chụp ảnh màn hình tự động và trích xuất text từ hình ảnh (OCR) để kiểm tra hình ảnh.

Bằng cách kết hợp các công cụ này, bạn có thể:

  • Chụp ảnh màn hình các trang web hoặc component một cách định kỳ hoặc theo yêu cầu.
  • Chuyển đổi hình ảnh thành text để so sánh với các mẫu đã lưu hoặc với data thực tế.
  • Tự động phát hiện khi văn bản, giá cả hoặc hình ảnh thay đổi mà không cần kiểm tra thủ công.

Tất cả đều được thực hiện mà không cần viết mã, phù hợp với những người làm operations, nhân viên e‑commerce, marketer, QA tester và các solo operator thường xuyên thực hiện các tác vụ web lặp đi lặp lại.


1. Thiết lập tác vụ chụp ảnh màn hình trong Broma

1.1 Tạo một quy trình mới

  1. Mở Broma trên máy tính Windows của bạn.
  2. Nhấp vào Create New Flow (hoặc New Workflow).
  3. Đặt tên cho quy trình một cách mô tả, ví dụ: "Kiểm tra hình ảnh trang sản phẩm".

1.2 Thêm hành động "Capture Screenshot"

Trong trình soạn thảo kéo và thả:

  1. Tìm kiếm Capture Screenshot và kéo nó vào timeline.
  2. Nhấp vào bước vừa thêm và đặt tên cho nó là HomePage_Screenshot (tên này sẽ giúp bạn dễ dàng xác định trong các bước sau).
  3. Trong phần Target, bạn có thể chọn:
    • Current Browser Tab – chụp ảnh tab đang hoạt động.
    • Specific URL – điều hướng đến một URL cụ thể trước khi chụp.
    • Selector – chỉ chụp một khu vực cụ thể (xem bên dưới).

1.3 Chọn khu vực chụp

Để chụp một khu vực cụ thể (ví dụ: phần tiêu đề sản phẩm), hãy sử dụng selector:

selector: "h1.product-title"

Nếu bạn muốn chụp toàn bộ viewport, hãy bỏ qua trường selector. Broma sẽ tự động sử dụng kích thước cửa sổ trình duyệt hiện tại.

1.4 Đặt tên file và vị trí lưu

  • File Name Pattern: screenshot_{{timestamp}}.png – sử dụng biến macro {{timestamp}} để tránh ghi đè lên nhau.
  • Save To: thư mục mặc định của Broma (ví dụ: C:\Broma\screenshots). Bạn cũng có thể chỉ định một thư mục con riêng biệt cho từng quy trình.

1.5 Thêm delay (nếu cần)

Đối với các trang web động, hãy thêm một bước Wait ngắn (ví dụ: 2 giây) trước khi chụp để đảm bảo hình ảnh đã được render đầy đủ.


2. Trích xuất văn bản từ hình ảnh bằng OCR

2.1 Thêm hành động "OCR Extract"

  1. Tìm kiếm OCR Extract trong danh sách hành động và thêm nó vào ngay sau bước chụp ảnh màn hình.
  2. Đặt tên cho bước này là Extract_Text_From_Screenshot.
  3. Trong phần Image Source, chọn bước chụp ảnh màn hình vừa tạo (Broma tự động điền vào tên bước).

2.2 Chọn ngôn ngữ và khu vực quan tâm

Broma hỗ trợ nhiều ngôn ngữ. Đối với các trang web tiếng Việt, hãy chọn Vietnamese; đối với tiếng Anh, chọn English.

Nếu bạn chỉ cần trích xuất một phần văn bản cụ thể (ví dụ: mã giảm giá), bạn có có thể cung cấp một selector trỏ đến vùng mà bạn đã chụp (bước 1.3). OCR sẽ chỉ xử lý vùng đó, giúp kết quả chính xác hơn.

2.3 Xác định ngôn ngữ cho OCR

language: "vietnamese"

2.4 Lưu kết quả trích xuất

  • Output Variable: ocr_text (bạn có thể tham chiếu đến biến này trong các bước sau).
  • Export to CSV: bật tùy chọn này nếu bạn muốn lưu trữ tất cả các kết quả OCR theo thời gian.

3. Kiểm tra hình ảnh so với mẫu

3.1 So sánh văn bản

Sau khi OCR hoàn tất, bạn có thể so sánh ocr_text với một giá trị kỳ vọng. Broma cung cấp hành động Assert Text:

  1. Thêm Assert Text vào cuối quy trình.
  2. Nhập Expected Text (ví dụ: văn bản giá bạn mong đợi).
  3. Sử dụng Actual Text từ biến ocr_text.
  4. Chọn chế độ Exact Match hoặc Contains tùy thuộc vào độ linh hoạt bạn cần.

Nếu kiểm tra thành công, quy trình sẽ chuyển sang bước tiếp theo (ví dụ: ghi log thành công). Nếu thất bại, Broma sẽ ghi lại lỗi và dừng lại – bạn có thể ghi đè để tiếp tục.

3.2 So sánh hình ảnh (kiểm tra pixel)

Đối với kiểm tra hình ảnh trực visual, Broma cho phép bạn so sánh screenshot với một hình ảnh tham chiếu đã lưu:

  1. Thêm hành động Compare Images.
  2. Reference Image: tải lên file PNG đã lưu trước đó (ví dụ: product_title_reference.png).
  3. Tolerance: đặt giá trị phần trăm phần trăm pixel cho phép khác biệt (ví dụ: 2%).
  4. Broma sẽ tự động đánh dấu nếu screenshot vượt quá ngưỡng cho phép.

3.3 Ghi log kết quả kiểm tra

Tạo một bước Log Result cuối cùng để ghi lại:

  • Timestamp
  • Trạng thái (success/failure)
  • URL đã kiểm tra
  • Extracted text (có thể che đi các thông tin nhạy cảm)

Bạn cũng có thể ghi kết quả vào một file CSV để phân tích sau này.


4. Tích hợp quy trình kiểm tra hình ảnh vào quy workflow lớn hơn

4.1 G sử dụng multiple flows

Nếu bạn cần kiểm tra nhiều trang (catalog, price list, review section), hãy tạo các flow riêng biệt:

  • price_check_flow
  • catalog_snapshot_flow
  • review_extract_flow

Sau đó, sử dụng Run Flow action (có sẵn trong Broma) để gọi các flow này theo trình tự. Điều này giúp bạn dễ dàng bảo maintenance từng flow con và tái sử dụng chúng trong nhiều project.

4.2 Lên lịch (Scheduling)

Để kiểm tra hình ảnh tự động hàng ngày, hãy thiết lập Schedule:

  1. Trong Settings của flow, nhấp vào Add Schedule.
  2. Chọn Daily, đặt thời (ví dụ: 9:00 UTC).
  3. Broma sẽ tự động chạy flow vào thời điểm đã chỉ định, lưu screenshot, văn bản OCR và kết quả kiểm tra.

4.3 Kiểm tra hồi quy (regression) sau khi thay đổi

Khi cập nhật giao diện người dùng, bạn có thể chạy cùng một flow kiểm tra hình ảnh để đảm bảo không có sự thay đổi không mong muốn. Nếu OCR phát hiện văn bản mới, bạn có thể thiết lập một notification (email hoặc Slack) để báo cho team.


5. Mẹo nâng cao

5.1 Sử dụng biến macro cho các pattern tên file

filename: "screen_{{workflow_id}}_{{timestamp}}.png"

5.2 Chỉ chụp các khu vực có độ phân giải cao

Nếu trang web sử dụng hình ảnh retina, bạn có thể tăng scale capture lên 2× trong bước Capture Screenshot (tùy chọn).

5.3 Kết hợp OCR với các selector để trích xuất có mục tiêu

Bằng cách cung cấp selector cho OCR, bạn có thể giảm thiểu noise:

selector: "#discount-badge"

5.4 Xử lý các trang web có nội dung động

Thêm bước Wait for Element trước khi chụp để đảm bảo element bạn cần đã ổn định.


6. Ví dụ thực tế – Theo dõi thay đổi giá sản phẩm

Mục tiêu: Ghi lại giá hiện tại của một sản phẩm trên trang web đối thủ và đảm bảo giá đó không thay đổi đột ngột.

Các bước:

  1. Navigate to Competitor URL – điều hướng đến trang sản phẩm.
  2. Capture Screenshot – chụp ảnh toàn bộ viewport.
  3. OCR Extract – trích text từ screenshot (ví dụ: giá nằm trong element #price).
  4. Assert Text – so sánh extracted text với giá đã lưu trong database.
  5. Compare Images – chụp ảnh màn hình tiêu tiêu để phát kiểm visual.
  6. Log Result – ghi lại timestamp, giá trị extracted và trạng thái.

Kết quả:

  • Nếu giá thay đổi, quy trình sẽ dừng lại, ghi lại screenshot mới và gửi notification qua Slack.
  • Nếu giá giữ nguyên, quy trình sẽ tự động tiếp tục sang flow tiếp theo (ví dụ: ghi log thành công).

7. Cách khắc phục sự cố

Vấn đề Nguyên nhân Cách khắc phục
OCR không trích được text Image quá dark, low contrast hoặc không phải text Tăng contrast của screenshot bằng cách chụp ảnh với scale cao hơn hoặc sử dụng selector cụ thể.
Kiểm checks image fail do thay đổi giao diện người dùng nhỏ Tolerance quá thấp Tăng tolerance lên 5-10% hoặc cập nhật hình ảnh reference.
Quy trình dừng lại do thiếu biến Tên biến sai Kiểm tra lại Output Variable name trong bước OCR và Assert Text.
Lỗi lên lịch Máy tính không bật Đảm bảo máy tính luôn bật và kết nối internet ổn định.

Nếu quy trình vẫn thất bại, hãy sử dụng Debug Mode của Broma để xem các bước thực tế và screenshot được chụp.


8. Tổng kết

Bằng cách kết hợp chụp ảnh màn hình và OCR trong Broma, bạn có thể tự động hóa kiểm tra trực quan mà không cần bất kỳ mã code nào. Cách tiếp cận này mang lại nhiều lợi ích:

  • Kiểm tra giao diện người dùng chính xác – phát hiện sự thay đổi trong văn bản, giá cả hoặc bố cục.
  • Giảm công việc thủ công – tự động hóa chụp ảnh màn hình, trích xuất và so sánh.
  • Dễ bảo trì – các bước riêng biệt có thể được chỉnh sửa hoặc mở rộng mà không ảnh hưởng đến các phần khác.
  • Tích hợp với workflow hiện có – chạy như một flow con trong các quy trình lớn hơn hoặc lên lịch định kỳ.

Hãy bắt đầu bằng flow kiểm tra giá đơn giản và mở rộng ra các trường hợp sử dụng khác khi bạn quen thuộc với các tính năng này. Kiểm tra trực quan là một phần không thể thiếu trong quy trình tự động hóa hiện đại, và Broma giúp việc này trở nên dễ dàng cho mọi người, bất kể kỹ năng lập trình.


9. Tài nguyên tham khảo thêm

  • Trung tâm trợ giúp Broma – hướng dẫn chi tiết về chụp ảnh màn hình và OCR.
  • Diễn đàn cộng đồng – chia sẻ các template flow và mẹo.
  • Tài liệu về selector – học cách viết các selector bền bỉ vượt qua các thay đổi của trang web.

Hãy khám phá và kết hợp các công cụ trực quan này vào quy trình tự động hóa của bạn ngay hôm nay!