Cảnh báo nhiều đến mức không ai xem: thiết kế phân cấp, ức chế và lưu trữ hồi phục cho SCADA

Năm nguyên nhân khiến không ai còn xem danh sách cảnh báo

• Không có phân cấp: lỗi làm dừng máy và thông tin tham khảo hiện lên cùng một màu, cùng một tiếng còi, người vận hành không biết xử lý cái nào trước
• Cảnh báo rung lặp lại: giá trị đi qua đi lại quanh ngưỡng làm cùng một cảnh báo phát sinh hàng chục lần trong vài phút và lấp kín danh sách
• Một lỗi kéo theo cả chuỗi: khi thiết bị ở công đoạn trước dừng, các công đoạn sau phát ra hàng chục cảnh báo dẫn xuất, nguyên nhân phát sinh đầu tiên bị chôn lấp
• Không có chiến lược ức chế: khi đang dừng máy, đang bảo trì hoặc đang chạy thử, các điều kiện đánh giá của chế độ vận hành bình thường vẫn hoạt động và liên tục sinh cảnh báo không liên quan tại thời điểm đó
• Không ai chịu trách nhiệm đóng: cảnh báo phát sinh mà không ai xác nhận, không lưu kết quả xử lý, số cảnh báo chưa đóng cứ dồn lên và danh sách không bao giờ sạch

Điểm chung của năm nguyên nhân này không phải là danh sách dài, mà là không thể chọn ra một dòng đáng đọc trong đó. Đó mới là vấn đề mà việc chỉnh trang cảnh báo phải giải quyết.

Năm hạng mục thiết kế có thể triển khai

Chỉnh trang cảnh báo không phải là xóa điểm cảnh báo. Xóa rồi thì bất thường ở hiện trường vẫn xảy ra, chỉ là không còn ai biết. Việc cần làm là gắn cho từng cảnh báo một cấp độ, một điều kiện phát sinh, một quy tắc ức chế và một người phụ trách, để nó chỉ xuất hiện khi đáng được nhìn thấy.

• Định nghĩa phân cấp: mỗi cấp quy định màu sắc, tiếng còi, đối tượng nhận thông báo và thời gian phản hồi; cách thể hiện trên màn hình thống nhất toàn nhà máy
• Vùng chết và độ trễ: thêm vùng không nhạy quanh ngưỡng, đặt thời gian duy trì riêng cho lúc phát sinh và lúc trở về bình thường, để cảnh báo rung bị lọc trước khi vào danh sách
• Cảnh báo phát sinh đầu tiên và ức chế chuỗi: định nghĩa quan hệ cha–con giữa các cảnh báo, khi thiết bị công đoạn trước đang dừng thì ức chế cảnh báo dẫn xuất phía sau và chỉ giữ lại cảnh báo đầu tiên
• Quy tắc hồi phục và lưu trữ: ghi đủ bốn trạng thái — phát sinh, xác nhận, trở về bình thường, đóng — và đưa vào cơ sở dữ liệu lịch sử để mỗi cảnh báo thành một sự kiện tra cứu được
• Người phụ trách đóng cảnh báo: chỉ định người phản hồi tuyến đầu theo từng cấp, và theo dõi hằng ngày số cảnh báo chưa đóng cùng thời gian tồn đọng, thay vì chỉ xem tổng số lần phát sinh

Cách xác định tiêu chí phân cấp

Ba đến bốn cấp là khoảng dễ duy trì. Càng nhiều cấp thì tiêu chí càng khó áp dụng ở hiện trường, và kết quả thường thấy là mọi cảnh báo đều được đăng ký ở cùng một cấp.

Một cách phân định rõ ràng là ba câu hỏi: thiết bị có dừng hay không, có ảnh hưởng chất lượng hay không, có liên quan an toàn hay không. Với các nhà máy điện tử và dệt may có nhiều dây chuyền song song, ba trục này cần được thống nhất trước, nếu không mỗi kỹ thuật viên sẽ gán cấp một kiểu. Nếu hai cấp dẫn đến cùng một hành động của con người thì không cần tách thành hai cấp.

Bảng trên là mẫu khởi điểm, không phải tiêu chuẩn dùng chung. Căn cứ phân loại phải được đối chiếu từng dòng theo thiết bị và điều kiện công nghệ cụ thể, cùng với đội ngũ hiện trường.

Ức chế và thông báo phải thiết kế cùng nhau

Ức chế và thông báo là hai mặt của cùng một thiết kế. Thêm kênh thông báo mà không ức chế thì điện thoại cũng reo theo, và cuối cùng bị chuyển sang chế độ im lặng. Càng nhiều kênh thì việc phớt lờ càng triệt để.

• Ức chế theo chế độ vận hành: khi dừng máy, bảo trì hoặc chạy thử thì che theo nhóm cảnh báo, đồng thời hiển thị rõ trên màn hình rằng đang ở trạng thái che
• Phân tầng kênh thông báo: hiển thị trên màn hình cho tất cả các cấp, tiếng còi cho hai cấp trên, email và thông báo di động chỉ cho cấp khẩn cấp — thu hẹp dần theo từng bước
• Leo thang theo thời gian tồn đọng: chỉ đưa lên cấp trên những cảnh báo chưa đóng quá thời gian đã thống nhất, không leo thang theo số lần phát sinh
• Mọi lệnh che đều phải có thời hạn: ức chế tạm thời luôn kèm thời điểm hết hiệu lực và tự động khôi phục, để không còn lệnh che vĩnh viễn mà không ai nhớ

Dùng dữ liệu lịch sử để rà soát sự kiện hằng tháng

Trong lịch sử cảnh báo có ba con số đáng xem mỗi tháng: các hạng mục dẫn đầu về số lần phát sinh, thời gian đóng trung bình, và số lần lặp gợi ý hiện tượng cảnh báo rung. Ở nhiều nhà máy, chỉ cần xử lý mười hạng mục đứng đầu là độ dài danh sách đã thay đổi rõ rệt.

Rà soát không phải việc làm một lần. Ngưỡng và cấp độ nên được hiệu chỉnh theo quý, và quy tắc vận hành đó nên được ghi vào thỏa thuận kỹ thuật ngay khi nghiệm thu. Chúng tôi đã đảm nhận việc chỉnh trang cảnh báo ở quy mô công trình gần 30.000 điểm cảnh báo. Con số này là bằng chứng của một dự án cụ thể, không phải mặc định mọi hiện trường đều lớn như vậy, cũng không phải cam kết số điểm từ tài liệu sản phẩm gắn vào mọi hợp đồng. Phạm vi gồm phân cấp, lưu trữ hồi phục, quản lý sự kiện và thông báo đa kênh; cùng cách làm đó cũng đang được vận hành cho phân cấp cảnh báo và quản lý sự kiện trong SCADA điều khiển nhóm trạm bơm.