|
前天語雀發生重大故障導致長達 7 個小時無法正常訪問，語雀月日原因有個員藍對于一款擁有千萬級用戶的公布故障產品，發生如此長的人用廈門外圍（外圍預約）外圍女價格（電話微信199-7144=9724）提供一二線城市真實上門外圍上門外圍女，快速安排30分鐘到達故障時間，著實讓人有些震驚。戶贈 昨天晚上語雀在其公眾號解釋了故障原因，送半沒想到竟然是點網新的運維工具 bug 導致華東地區的生產服務器被誤下線；又因為存儲系統使用的機器類別較老無法直接操作上線，沒辦法語雀只能從備份系統里恢復存儲數據，語雀月日原因有個員藍這需要大量時間，公布故障恢復備份數據后又需要進行校驗，人用廈門外圍（外圍預約）外圍女價格（電話微信199-7144=9724）提供一二線城市真實上門外圍上門外圍女，快速安排30分鐘到達直到晚上 9 點鐘才恢復正常。戶贈 這次故障也讓大家知道了語雀使用的送半容災架構是同 Region 多副本容災而不是異地容災方案，語雀稱后續將升級為兩地三中心的點網高可用能力，設計足夠的語雀月日原因有個員藍數據和系統冗余實現快速恢復并進行定期的容災應急演練。
補償問題： 對于語雀個人版用戶全部贈送半年會員，公布故障操作流程：進入工作臺賬戶設置、人用點擊會員信息、在會員信息里點擊立即領取即可獲得贈送服務。 針對語雀空間用戶由于情況比較復雜，語雀會單獨制定賠償方案，請空間管理員留意語雀站內信。 當然語雀的這次問題也再次為個人和企業用戶敲響警鐘，那就是要保證數據離線可用，不知道這次過后有多少用戶會離開語雀。 下面是語雀公布的故障說明： 10 月 23 日下午，服務語雀的數據存儲運維團隊在進行升級操作時，由于新的運維升級工具 bug，導致華東地區生產環境存儲服務器被誤下線。受其影響，語雀數據服務發生嚴重故障，造成大面積的服務中斷。為了盡快恢復服務，我們和數據存儲運維團隊全力進行數據恢復工作，但受限于恢復方案、數據量級等因素，整體用時較長。具體過程如下： 14:07 數據存儲運維團隊收到監控系統報警，定位到原因是存儲在升級中因新的運維工具 bug 導致節點機器下線；14:15 聯系硬件團隊嘗試將下線機器重新上線；15:00 確認因存儲系統使用的機器類別較老，無法直接操作上線，立即調整恢復方案為從備份系統中恢復存儲數據。15:10 開始新建存儲系統，從備份中開始恢復數據，由于語雀數據量龐大，此過程歷時較長，19 點完成數據恢復；同時為保障數據完整性，在完成恢復后，用時 2 個小時進行數據校驗；21 點存儲系統通過完整性校驗，開始和語雀團隊聯調，最終在 22 點恢復語雀全部服務。用戶所有數據均未丟失。 改進措施： 通過這次故障我們深刻認識到，語雀作為一款服務千萬級客戶的文檔產品，應該做到更完善的技術風險保障和高可用架構設計，尤其是面向技術變更操作的 “可監控，可灰度，可回滾” 的系統化建設和流程審計，從同 Region 多副本容災升級為兩地三中心的高可用能力，設計足夠的數據和系統冗余實現快速恢復，并進行定期的容災應急演練。只有這樣，才能提升嚴重基礎設施故障時的恢復速度，并從根本上避免這類故障再次出現。為此我們制定了如下改進措施： 1、升級硬件版本和機型，實現離線后的快速上線。該措施在本次故障修復中已完成； 2、運維團隊加強運維工具的質量保障與測試，杜絕此類運維 bug 再次發生； 3、縮小運維動作灰度范圍，增加灰度時間，提前發現 bug； 4、從架構和高可用層面改進服務，為語雀增加存儲系統的異地災備。 |
