Przestój sklepu internetowego, bramki płatniczej czy aplikacji SaaS oznacza utracone transakcje, falę zgłoszeń do działu obsługi i spadek zaufania klientów. W wielu firmach za niezawodność wciąż odpowiada ręczne reagowanie na kolejne awarie. Działa to do momentu, w którym skala systemu przerasta możliwości zespołu. Właśnie na ten problem odpowiada site reliability engineering.
Site reliability engineering, w skrócie SRE, to podejście, w którym utrzymanie systemów produkcyjnych traktuje się jako zadanie inżynierskie, a nie wyłącznie operacyjne. Zamiast działać doraźnie, zespół wyznacza mierzalne cele niezawodności, automatyzuje powtarzalną pracę i wyciąga wnioski z każdego incydentu. Koncepcja powstała w Google w 2003 roku. Jej twórca, Ben Treynor Sloss, opisywał ją jako efekt powierzenia zadań operacyjnych inżynierom oprogramowania. Firma udostępniła później opis swoich praktyk, który do dziś stanowi punkt odniesienia dla zespołów technicznych.
Rola, jaką pełni site reliability engineer, łączy kompetencje programisty i administratora. Taka osoba pisze kod automatyzujący, projektuje monitoring, uczestniczy w dyżurach on-call i ma realny wpływ na architekturę systemu. W pracy wykorzystuje znajomość systemów operacyjnych, sieci, baz danych i środowisk chmurowych, a decyzje opiera na danych o działaniu usług.
SRE i DevOps często pojawiają się w tym samym kontekście, ale nie oznaczają tego samego. DevOps to kultura i zestaw praktyk, które zbliżają do siebie zespoły development and operations: wspólna odpowiedzialność za produkt, częste wydania oraz automatyzacja budowania i wdrażania aplikacji.
SRE jest konkretną implementacją tych założeń w obszarze niezawodności. Określa, jak mierzyć jakość działania usługi, jakie cele przyjąć, co robić, gdy są zagrożone, i jak dzielić odpowiedzialność za środowisko produkcyjne. Spora część tej pracy dotyczy warstwy aplikacji: sposobu wydawania nowych wersji, obsługi błędów i odporności kodu na awarie usług, od których zależy.
Oba podejścia się uzupełniają. DevOps odpowiada na pytanie, jak szybko i powtarzalnie dostarczać zmiany, a SRE – jak utrzymać przy tym uzgodniony poziom niezawodności.
Bez mierników niezawodność pozostaje subiektywną oceną, a dyskusje między programistami i administracją nie prowadzą do konkretnych decyzji. SRE porządkuje ten obszar za pomocą trzech powiązanych pojęć.
SLI to skrót od service level indicator, czyli wskaźnika poziomu usługi. Opisuje on, jak usługa działa z perspektywy użytkownika. Typowe przykłady to:
Dobry wskaźnik odzwierciedla doświadczenie klienta, a nie tylko stan pojedynczego serwera.
SLO, czyli service level objective, to cel ustalony dla danego wskaźnika i okresu, w którym jest rozliczany. Jego forma zależy od tego, co mierzy SLI. Dla odsetka poprawnych żądań może to być 99,9% w 30-dniowym oknie czasowym, dla czasu odpowiedzi – 95% żądań obsłużonych szybciej niż w 300 ms, a dla procesu zamówienia – określony odsetek transakcji zakończonych powodzeniem w ciągu miesiąca.
SLO różni się od SLA, czyli umowy określającej uzgodnione parametry świadczenia usług. Cele wewnętrzne ustawia się zwykle ostrzej niż zobowiązania umowne, aby zespół miał margines reakcji, zanim parametry z umowy zostaną przekroczone.
Budżet błędów, w branży nazywany error budget, określa dopuszczalny poziom niepowodzeń wynikający z przyjętego SLO. Jeśli celem jest dostępność czasowa na poziomie 99,9% w okresie 30 dni, budżet odpowiada około 43 minutom niedostępności. Jeśli jednak SLO opiera się na odsetku poprawnie obsłużonych żądań, budżet wynosi 0,1% nieudanych żądań w tym okresie. Dopóki zostaje zapas, zespół może wdrażać nowe funkcje i eksperymentować. To, co dzieje się po jego wyczerpaniu, organizacja określa we własnej polityce budżetu błędów. Może to być przesunięcie większej części pracy na usuwanie przyczyn problemów, dodatkowy przegląd ryzykownych zmian albo czasowe ograniczenie wdrożeń.
Przykładowo sklep internetowy może ustalić SLO, zgodnie z którym 99,9% prób złożenia zamówienia powinno zakończyć się powodzeniem w ciągu 30 dni. Jeśli liczba nieudanych transakcji szybko zużywa budżet błędów, zespół może ograniczyć ryzykowne wdrożenia i skupić się na usunięciu przyczyn problemu.
To rozwiązanie zmienia sposób podejmowania decyzji. Celem nie jest 100% dostępności, ponieważ koszt osiągania kolejnych poziomów niezawodności rośnie nieliniowo. Właściwy poziom zależy od tego, jak krytyczna jest usługa. Kilka minut przerwy w miesiącu na blogu firmowym nie ma tak dużego znaczenia jak problemy z bramką płatniczą, systemem transakcyjnym czy aplikacją czasu rzeczywistego, gdzie nawet krótki przestój oznacza bezpośrednie straty, dlatego cele ustawia się tam znacznie wyżej. Error budget pozwala świadomie zrównoważyć tempo rozwoju produktu z niezawodnością i opiera tę równowagę na danych.
Nawet najlepiej zdefiniowane SLO nie mają wartości bez rzetelnych danych. Dlatego fundamentem SRE jest observability, czyli obserwowalność systemu. Klasyczny monitoring pokazuje, czy usługa działa, a obserwowalność pozwala ustalić, dlaczego działa źle. Składają się na nią metryki, logi zbierane w jednym miejscu oraz distributed tracing, czyli śledzenie żądań przechodzących przez wiele usług.
Podstawą jest monitorowanie infrastruktury IT obejmujące serwery, bazy danych, sieć i aplikacje. W Qlos opiera się ono na całodobowym nadzorze nad środowiskiem i narzędziach takich jak Zabbix. Po stronie aplikacji standardem jest sprawdzanie dostępności i czasu odpowiedzi kluczowych adresów, a w środowiskach AWS zespół wdraża również szczegółowy monitoring aplikacji, w tym logi i śledzenie żądań.
Przy projektowaniu metryk przydatnym punktem odniesienia są tzw. cztery złote sygnały opisane w praktykach Google SRE:
Wspólnie pokazują, czy usługa działa poprawnie z perspektywy użytkownika. Nie wystarczy wiedzieć, że proces działa, jeśli odpowiada zbyt wolno. Analiza nasycenia zasobów, trendów obciążenia i wyników testów wydajnościowych pozwala oszacować, ile dodatkowego ruchu system może obsłużyć bez pogorszenia wydajności. To podstawa capacity planning, czyli planowania pojemności infrastruktury.
Dane historyczne pomagają wykryć problemy z wyprzedzeniem. Analiza trendów pokazuje, kiedy zabraknie miejsca na dysku albo czy infrastruktura udźwignie wzmożony ruch w okresach takich jak Black Friday. Przykładem jest przygotowanie serwera sklepu internetowego do kampanii sprzedażowej, po którym wydajność infrastruktury wzrosła o 40%. Monitoring syntetyczny, czyli cykliczne testy kluczowych ścieżek, pozwala wykryć usterkę, zanim zgłosi ją klient.
Ryzyko ograniczają też praktyki na etapie wdrożeń, takie jak production readiness review, czyli przegląd gotowości usługi przed uruchomieniem, oraz canary deployment, w którym nowa wersja aplikacji trafia najpierw do niewielkiej części ruchu. To praktyka po stronie zespołu rozwijającego aplikację, ale Qlos może ją uwzględnić w procesie CI/CD.
Zbyt duża liczba alertów jest równie szkodliwa jak ich brak. Osoby dyżurujące zaczynają je ignorować, a ważny sygnał ginie w szumie. W podejściu SRE powiadomienie, które wymaga natychmiastowej reakcji, musi dotyczyć realnego zagrożenia dla użytkowników, np. wysokiego burn rate, czyli szybkiego zużywania budżetu błędów. Mniej pilne zdarzenia trafiają do kolejki zgłoszeń i są obsługiwane w godzinach pracy.
Alerty, które powtarzają się bez potrzeby działania, są dostrajane lub wyłączane, a typowe reakcje – automatyzowane. Informacje o stanie budżetu błędów warto kierować osobno do osób odpowiedzialnych za produkt i biznes, bo dla nich liczy się tempo jego zużywania, a nie pojedyncze objawy techniczne. W grupowaniu powiązanych alertów pomagają też narzędzia AI, choć ich wyniki wymagają weryfikacji przez osoby znające system.
Sprawną reakcję zapewniają:
Przy poważnym incydencie jedna osoba koordynuje działania, a inna odpowiada za komunikację z interesariuszami. Dzięki temu zespół techniczny może skupić się na przywróceniu usługi.
Kolejność działań jest istotna: najpierw łagodzenie skutków, potem analiza przyczyny. Wycofanie wadliwej wersji aplikacji, przełączenie ruchu na zapasowe środowisko czy wyłączenie problematycznej funkcji skracają przestój. Pełna diagnoza może poczekać do ustabilizowania sytuacji. Gdy incydent dotyczy utraty danych lub całego środowiska, o czasie powrotu do działania decyduje przetestowany plan backup i disaster recovery. Plan musi określać RPO, czyli maksymalną akceptowalną utratę danych liczoną w czasie, oraz RTO, czyli czas, w jakim system ma zostać odtworzony.
Powtarzalna praca ręczna nosi w terminologii SRE nazwę toil. To czynności możliwe do zautomatyzowania, które nie wnoszą trwałej wartości i rosną wraz ze skalą usługi. Przykłady to ręczne restarty usług, zakładanie kont czy czyszczenie logów. Google SRE zakłada, że toil nie powinien zajmować więcej niż połowę czasu inżynierów. Pozostały czas przeznacza się na prace, które trwale poprawiają system.
Najskuteczniejszą metodą ograniczania toil jest automatyzacja. W podejściu infrastruktura jako kod środowisko opisuje się w plikach przechowywanych w repozytorium. W Qlos Terraform służy do budowania i zmieniania infrastruktury w AWS i Scaleway, a Salt – do utrzymywania spójnej konfiguracji serwerów. Dzięki temu każdą zmianę można wersjonować i przejrzeć przed wdrożeniem, a środowisko odtworzyć w powtarzalny sposób. To zmniejsza ryzyko błędów konfiguracyjnych, które są częstym źródłem zakłóceń.
Stabilną bazę tworzą też regularne aktualizacje, spójna konfiguracja i kontrola wykorzystania zasobów. Są to elementy, które obejmuje profesjonalna administracja serwerami. Uporządkowane środowisko generuje mniej incydentów, a więc mniej pracy doraźnej.
Istotną praktyką jest też postmortem bez szukania winnych, określany jako blameless postmortem. Po każdym poważnym incydencie zespół dokumentuje przebieg zdarzeń, przyczyny i działania naprawcze, koncentrując się na procesach i systemach, a nie na błędach konkretnych osób. Taka kultura sprzyja otwartemu zgłaszaniu problemów i pomaga ograniczyć powtarzanie się tych samych awarii.
W bardziej dojrzałych środowiskach odporność systemu można dodatkowo weryfikować za pomocą kontrolowanych eksperymentów, np. symulowania awarii pojedynczych komponentów (chaos engineering).
Istotą SRE jest inżynierskie zarządzanie niezawodnością: zespół mierzy jakość usługi, automatyzuje powtarzalną pracę i wykorzystuje wnioski z incydentów do kolejnych usprawnień. Ta pętla informacji zwrotnej odróżnia SRE od klasycznej administracji, która skupia się na utrzymaniu systemów w bieżącym stanie. Korzyści z takiego podejścia wykraczają poza dział IT:
SRE nie wymaga budowania od razu dedykowanego zespołu. Wdrożenie można prowadzić etapami:
Mniejsze organizacje mogą przejść tę drogę we współpracy z zewnętrznym partnerem. Ważny jest wtedy jasny podział odpowiedzialności. Warstwa aplikacji, czyli kod, sposób wydawania nowych wersji i obsługa błędów, zostaje po stronie zespołu produktowego. Partner odpowiada za infrastrukturę: monitoring, administrację, dyżury, kopie zapasowe i plan odtwarzania.
Tak pracuje Qlos. Zespół certyfikowanych specjalistów całodobowo nadzoruje środowiska klientów i odpowiada za uzgodniony zakres usług oraz cele niezawodności ustalone z klientem. Dzięki temu niezawodność przestaje być kwestią przypadku i staje się mierzalnym, zarządzanym elementem działania biznesu. Qlos jest partnerem AWS, od kilkunastu lat pracuje w chmurze Amazona i zrealizował setki projektów chmurowych. Na tym doświadczeniu opiera się usługa zarządzania środowiskami AWS, w której zespół przejmuje odpowiedzialność za konto, uprawnienia, budżet i rezerwację zasobów.
Jeśli chcesz uporządkować monitoring i utrzymanie swojej infrastruktury, skontaktuj się z zespołem Qlos.