Quay trở lại vào tầm khoảng gần 2 giờ sáng ngày 13/6 theo giờ Việt Nam, sự cố với Google Cloud đã ảnh hưởng đến người dùng Spotify, Discord, Snapchat, OpenAI và các dịch vụ của chính Google. Sau khi xử lý vấn đề, Google đã lên tiếng để đưa ra giải thích của mình.
Sự cố ảnh hưởng nghiêm trọng đến nhiều dịch vụ của Google và khách hàng Google Cloud.
Trong tuyên bố, Google cho biết: “Chúng tôi vô cùng lấy làm tiếc về tác động mà sự gián đoạn này gây ra cho tất cả người dùng và khách hàng của họ. Các công ty lớn và nhỏ đều tin tưởng Google Cloud với khối lượng công việc của họ và chúng tôi sẽ làm tốt hơn”.
Google cho biết trong những ngày tới, công ty sẽ công bố báo cáo sự cố đầy đủ nêu rõ nguyên nhân, mốc thời gian chi tiết và các bước khắc phục mạnh mẽ mà họ sẽ thực hiện. Với quy mô và tác động của sự cố này, công ty muốn cung cấp một số thông tin cơ bản để mọi người hiểu rõ.
Theo dữ liệu chính thức, sự cố xảy ra vào lúc 1 giờ 49 phút sáng 13/6 theo giờ Việt Nam, và tất cả các hệ thống đã được khôi phục chức năng khoảng 3 giờ sau đó, lúc 4 giờ 39 phút. Sự cố ảnh hưởng đến các hệ thống của Google trên toàn thế giới. Triệu chứng chính của sự cố là sự gia tăng mạnh mẽ trong phản hồi “lỗi 503” trong một số sản phẩm Google Cloud và Google Workspace cho các yêu cầu API bên ngoài.
Dựa trên phân tích ban đầu của Google, công ty tin rằng sự cố này là do bản cập nhật hạn ngạch tự động không hợp lệ trong hệ thống quản lý API của công ty được phân phối trên toàn cầu và khiến các yêu cầu API bên ngoài không thành công. Để khôi phục, công ty đã bật bỏ qua kiểm tra hạn ngạch, cho phép hầu hết các vùng khôi phục trong vòng 2 giờ.
Tuy nhiên, cơ sở dữ liệu chính sách hạn ngạch trong vùng us-central1 đã bị quá tải khiến quá trình khôi phục ở vùng đó lâu hơn nhiều. Để ngăn ngừa những sự cố tương tự xảy ra trong tương lai, công ty cam kết sẽ thực hiện các biện pháp sau:
- Ngăn ngừa lỗi nền tảng quản lý API do dữ liệu bị hỏng.
- Không cho phép triển khai siêu dữ liệu trên toàn cầu mà không có biện pháp bảo vệ, thử nghiệm và giám sát phù hợp.
- Cải thiện khả năng xử lý lỗi hệ thống và thử nghiệm toàn diện để quản lý dữ liệu bị hỏng.
