Wyobraź sobie poniedziałkowy poranek. Przeglądasz konfigurację SSH i coś się nie zgadza. W sshd_config jest linia, której nie pamiętasz. Data modyfikacji pliku: niedziela, 3:02. Nikt z zespołu się nie przyznaje, żadnego wdrożenia nie było.

W tym momencie chcesz znać odpowiedź na trzy pytania. Co dokładnie się zmieniło? Kto to zrobił? Czym, czyli jakim programem? Problem polega na tym, że świeżo zainstalowany serwer nie odpowie dobrze na żadne z nich. Nie dlatego, że Linux jest słaby. Po prostu nikt go nie poprosił, żeby to zapamiętywał.

W tym artykule zobaczysz, jak to zmienić za pomocą dwóch narzędzi dostępnych w każdym systemie z rodziny RHEL: auditd i AIDE. Pierwsze jest świadkiem, który notuje, kto czego dotknął. Drugie robi zdjęcie systemu i potrafi powiedzieć, co wygląda inaczej niż wczoraj. Razem dają odpowiedź na pytanie z tytułu.

Wszystkie przykłady wykonasz na AlmaLinux 10 (lub RHEL 10) z uprawnieniami administratora. Najlepiej najpierw na maszynie testowej, na przykład w laboratorium opartym na KVM, gdzie pomyłka nic nie kosztuje.

Dlaczego serwer nie pamięta, kto zmienił plik

Zwykłe logi opowiadają o czymś innym

Pierwszy odruch to zajrzeć do logów. Tyle że standardowe logi opisują inne zdarzenia. Journal powie Ci, kto się logował i kiedy restartowała się usługa, ale nie zanotuje, że ktoś otworzył plik i dopisał do niego linię.

Data modyfikacji i historia powłoki to nie dowód

Data modyfikacji pliku nie jest dowodem. Wystarczy jedno polecenie touch, żeby ustawić dowolną datę.

Historia powłoki też niewiele da. Procesy działające nieinteraktywnie, na przykład skrypty uruchamiane przez usługę, zwykle w ogóle jej nie zostawiają. A człowiek, który chce coś ukryć, wyczyści ją w sekundę.

Czego właściwie potrzebujemy

Potrzebujemy czegoś, co działa niezależnie od tego, kto i jak zmienia pliki. I co zapisuje ślad, zanim ktokolwiek zdąży go zatrzeć.

Dwa narzędzia, dwa pytania

Dobrze to widać na przykładzie magazynu.

AIDE, czyli inwentaryzacja

AIDE działa jak inwentaryzacja. Raz spisujesz dokładnie, co leży na półkach. Później regularnie porównujesz stan faktyczny ze spisem. Inwentaryzacja bezbłędnie wykryje, że czegoś brakuje albo coś się zmieniło, ale nie powie, kto to zrobił.

auditd, czyli kamera nad drzwiami

auditd działa jak kamera nad wybranymi drzwiami. Widzi, kto przez nie przeszedł, o której godzinie i co trzymał w ręku. Ale widzi tylko te drzwi, nad którymi ją zawiesiłeś.

Prosty podział ról

AIDE odpowiada na pytanie „co się zmieniło?” w całym systemie. auditd odpowiada na pytanie „kto i czym?” dla miejsc, które uznasz za ważne. Zaczniemy od kamery.

auditd: świadek, który nie śpi

Skąd auditd wie o każdej zmianie

auditd to usługa, która odbiera od jądra Linuksa informacje o zdarzeniach, takich jak otwarcie pliku do zapisu albo uruchomienie programu. Ważne jest to, że informacja pochodzi z jądra. Nie ma znaczenia, czy plik zmienia edytor, skrypt w Pythonie czy proces aplikacji webowej. Każdy z nich musi poprosić jądro o dostęp do pliku, a jądro to odnotuje.

W systemach z rodziny RHEL auditd jest zainstalowany i uruchomiony domyślnie. Sprawdźmy to:

sudo systemctl status auditd

Powinieneś zobaczyć active (running). Usługa działa, ale bez reguł zapisuje głównie ogólne zdarzenia systemowe, takie jak logowania. Nie wie jeszcze, które pliki Cię interesują.

Wskazujemy, czego pilnować

Reguły zapisuje się w plikach w katalogu /etc/audit/rules.d/. Utwórz nowy plik:

sudo vi /etc/audit/rules.d/50-monitoring.rules

i wpisz do niego:

## Konfiguracja dostępu SSH
-w /etc/ssh/sshd_config -p wa -k sshd_config
-w /etc/ssh/sshd_config.d/ -p wa -k sshd_config

## Uprawnienia administratora
-w /etc/sudoers -p wa -k sudoers
-w /etc/sudoers.d/ -p wa -k sudoers

## Konta i hasła
-w /etc/passwd -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/group -p wa -k identity

## Klucze SSH konta root
-w /root/.ssh/ -p wa -k root_ssh

## Miejsca, w których można zagnieździć się na stałe
-w /etc/systemd/system/ -p wa -k persistence
-w /etc/cron.d/ -p wa -k persistence
-w /var/spool/cron/ -p wa -k persistence

Każda linia składa się z trzech elementów. -w wskazuje plik lub katalog do obserwowania. -p wa określa, co nas interesuje: w to zapis, a to zmiana atrybutów, na przykład właściciela lub uprawnień. -k nadaje zdarzeniu etykietę, po której później łatwo je znajdziesz.

Celowo nie obserwujemy tutaj odczytu (r). Plik /etc/shadow jest czytany przy każdym logowaniu, więc reguła na odczyt zasypałaby log tysiącami nieistotnych wpisów. Interesuje nas zmiana, a nie zwykłe działanie systemu.

Dlaczego właśnie te pliki

Lista nie jest przypadkowa. Pierwsze grupy to pliki, które decydują o tym, kto może wejść na serwer i co może na nim zrobić. Ostatnia grupa to miejsca, w których ktoś, kto już dostał się do systemu, zostawia sobie furtkę: usługę systemd albo zadanie crona, które uruchomi się po restarcie.

Ładujemy reguły

sudo augenrules --load
sudo auditctl -l

augenrules składa wszystkie pliki z rules.d w jedną konfigurację i przekazuje ją do jądra. auditctl -l wyświetla reguły, które są aktywne w tej chwili. Jeżeli widzisz na liście swoje ścieżki, wszystko działa.

Mała pułapka dla osób przyzwyczajonych do systemd: sudo systemctl restart auditd zakończy się błędem. To celowe zabezpieczenie, a nie usterka. Do przeładowania reguł wystarczy augenrules --load, a jeśli naprawdę musisz zrestartować usługę, użyj sudo service auditd restart.

Odczytujemy nagranie

Sprawdzamy, czy kamera nagrywa

Wywołajmy zdarzenie. Poniższe polecenie nie zmienia treści pliku, aktualizuje tylko jego datę modyfikacji:

sudo touch /etc/ssh/sshd_config

A teraz poszukajmy śladu po etykiecie:

sudo ausearch -k sshd_config -i

Przełącznik -i zamienia numery użytkowników i wywołań systemowych na czytelne nazwy. Wynik jest dość obszerny, ale interesuje nas głównie linia SYSCALL. W skróconej formie wygląda mniej więcej tak (jan to przykładowa nazwa konta administratora):

type=SYSCALL ... syscall=openat success=yes ... auid=jan uid=root ... tty=pts0 comm=touch exe=/usr/bin/touch key=sshd_config

Masz tutaj odpowiedzi na wszystkie trzy pytania. exe i comm mówią, jakim programem zmieniono plik. Linia PATH w tym samym zdarzeniu wskazuje, którego pliku to dotyczyło. Nagłówek zdarzenia zawiera dokładny czas. Najciekawsze są jednak dwa pola dotyczące użytkownika.

auid, czyli kto naprawdę

Zwróć uwagę, że w wyniku są dwaj użytkownicy. uid=root, bo polecenie zostało wykonane przez sudo. Ale obok jest auid=jan.

auid to identyfikator logowania (audit user ID). Jądro przypisuje go w momencie, gdy człowiek loguje się do systemu, i ten identyfikator nie zmienia się już do końca sesji. Nie zmienia go sudo, nie zmienia su -, nie zmienia przejście przez kilka kolejnych powłok. Dlatego nawet jeśli ktoś zalogował się na swoje konto i zmienił plik jako root, auditd wskaże, kto to był.

auid=unset: proces bez człowieka

Jest jeszcze jedna wartość, która w praktyce mówi bardzo dużo: auid=unset. Oznacza, że proces nie pochodzi z żadnego logowania. Tak wyglądają usługi uruchamiane przez systemd podczas startu systemu: serwer WWW, PHP-FPM, baza danych.

Wróćmy do naszej niedzieli, godziny 3:02. Jeżeli zmiana w sshd_config ma auid wskazujące konkretne konto, to wiesz, z kim porozmawiać. Ale jeżeli widzisz auid=unset i exe=/usr/bin/python3, to plik zmienił proces, którego nie uruchomił żaden zalogowany człowiek. Coś działa „z boku”, spod usługi, a nie spod sesji administratora. To typowy obraz przejętej aplikacji albo agenta działającego na serwerze bez nadzoru.

Szybki przegląd zamiast czytania wszystkiego

Gdy reguł przybywa, przydaje się podsumowanie, które pokazuje, ile zdarzeń zebrała każda etykieta:

sudo aureport -k --summary

Jeżeli etykieta sudoers ma nagle kilka wpisów w tygodniu, w którym nikt nie zmieniał uprawnień, to wiesz, od czego zacząć.

Reguła, która przyłapie aplikację na uruchamianiu programów

Obserwowanie plików to jedno. Jest jeszcze jedna reguła, która dobrze uzupełnia ten zestaw.

Dlaczego execve to dobry sygnał

Typowa aplikacja webowa przez większość czasu nie uruchamia innych programów. Odbiera żądanie, rozmawia z bazą, zwraca odpowiedź. Jeżeli proces działający jako użytkownik serwera WWW zaczyna nagle uruchamiać bash, curl czy python3, to bardzo mocny sygnał, że ktoś przejął kontrolę nad aplikacją.

Konfiguracja reguły

Najpierw sprawdź, jako jaki użytkownik działa Twoja aplikacja, i pobierz jego numer. Dla PHP-FPM w AlmaLinux jest to najczęściej apache lub nginx:

id -u apache

Następnie dopisz do pliku z regułami dwie linie, zastępując <UID_APLIKACJI> otrzymanym numerem:

## Programy uruchamiane przez użytkownika aplikacji webowej
-a always,exit -F arch=b64 -S execve -F uid=<UID_APLIKACJI> -k app_exec
-a always,exit -F arch=b32 -S execve -F uid=<UID_APLIKACJI> -k app_exec

-S execve oznacza wywołanie systemowe, którym uruchamia się każdy program. Dwie linie z arch=b64 i arch=b32 są potrzebne, bo na 64-bitowym systemie da się uruchamiać także programy 32-bitowe, a reguła ograniczona do jednej architektury zostawiłaby lukę.

Uwaga: <UID_APLIKACJI> jest tylko oznaczeniem miejsca. Jeżeli zostawisz go w pliku, augenrules zgłosi błąd. Po zmianie ponownie załaduj reguły poleceniem sudo augenrules --load.

Najpierw poznaj normę

Zanim uznasz tę regułę za alarmową, obserwuj ją przez kilka dni. Niektóre aplikacje mają uzasadnione powody, żeby uruchamiać zewnętrzne programy, na przykład ImageMagick do obróbki zdjęć. Taki ruch zobaczysz w ausearch -k app_exec -i i będziesz wiedział, co jest normą. Wszystko, co pojawi się poza nią, zasługuje na uwagę.

Zabezpieczamy samą kamerę

Nie pozwól, żeby log zniknął za szybko

Domyślna konfiguracja auditd w RHEL trzyma pięć plików logu po 8 MB każdy. Gdy zapełni się ostatni, najstarszy jest usuwany. Na spokojnym serwerze to wystarczy na długo. Ale z regułą execve na zapracowanym serwerze dowody z niedzielnej nocy mogą zostać nadpisane jeszcze przed poniedziałkowym porankiem.

Ustawienia znajdziesz w /etc/audit/auditd.conf. Interesują nas dwie wartości:

max_log_file = 50
num_logs = 10

max_log_file to rozmiar jednego pliku w megabajtach, a num_logs to liczba przechowywanych plików. Przy powyższych ustawieniach log zajmie maksymalnie około 500 MB. Dobierz wartości do ilości miejsca na dysku. Po zmianie zrestartuj usługę:

sudo service auditd restart

Zablokuj reguły przed zmianą

Jest jeszcze jeden problem. Ktoś, kto uzyska uprawnienia roota, może po prostu usunąć reguły jednym poleceniem auditctl -D i działać dalej niezauważony.

Dlatego auditd ma tryb, w którym reguły po załadowaniu stają się niezmienne aż do restartu systemu. Włącza się go jedną linią w osobnym pliku, który ładuje się jako ostatni:

echo "-e 2" | sudo tee /etc/audit/rules.d/99-finalize.rules
sudo augenrules --load

Sprawdź stan:

sudo auditctl -s

W wyniku powinno być enabled 2.

Ważne ostrzeżenie: od tej chwili żadnej reguły nie zmienisz bez restartu serwera. Dotyczy to także Ciebie. Jeżeli w regule jest błąd albo generuje za dużo zdarzeń, poprawiasz plik i restartujesz maszynę. Dlatego włącz ten tryb dopiero wtedy, gdy reguły działają już stabilnie od kilku dni. Na serwerze, którego nie możesz łatwo zrestartować, zaplanuj to razem z oknem serwisowym.

Co nadal może zrobić atakujący

Atakujący nadal może zrestartować serwer, żeby pozbyć się reguł. Ale restart to głośne zdarzenie, które samo w sobie zwraca uwagę. To zupełnie inna sytuacja niż ciche wyłączenie kamery.

AIDE: zdjęcie systemu „przed”

Kamera jest zamontowana. Teraz zróbmy inwentaryzację.

Jak działa AIDE

AIDE (Advanced Intrusion Detection Environment) przechodzi po wskazanych katalogach i dla każdego pliku zapisuje jego „odcisk palca”: sumę kontrolną, rozmiar, uprawnienia, właściciela i kilka innych cech. Przy kolejnym uruchomieniu robi to samo i porównuje wynik z zapisaną bazą. Każda różnica trafia do raportu.

Nad auditd ma jedną dużą przewagę: nie musisz z góry wiedzieć, których plików pilnować. Domyślna konfiguracja w RHEL obejmuje między innymi /etc, /usr, /boot i programy systemowe. Jeżeli ktoś podmieni plik binarny, którego nigdy nie przyszłoby Ci do głowy obserwować, AIDE to wychwyci.

Instalacja i pierwszy spis

sudo dnf install aide
sudo aide --init

Inicjalizacja może potrwać kilka minut, bo AIDE liczy sumy kontrolne dla dziesiątek tysięcy plików. Na końcu informuje, że zapisał bazę do pliku /var/lib/aide/aide.db.new.gz.

Zwróć uwagę na słowo new. AIDE celowo nie zastępuje automatycznie bazy, z którą porównuje. To Ty decydujesz, który stan systemu uznajesz za wzorcowy:

sudo mv /var/lib/aide/aide.db.new.gz /var/lib/aide/aide.db.gz

Moment pierwszego spisu decyduje o wszystkim

Najważniejszą rzeczą w całej konfiguracji AIDE jest moment, w którym robisz pierwszy spis. Baza jest wiarygodna tylko wtedy, gdy powstała na systemie, któremu ufasz. Spis wykonany na serwerze, który już został przejęty, uzna stan po włamaniu za normę. Najlepiej robić go zaraz po instalacji i konfiguracji, zanim maszyna trafi do internetu.

Sprawdzanie

sudo aide --check

Jeżeli nic się nie zmieniło, AIDE to potwierdzi. Jeżeli coś się zmieniło, dostaniesz raport z listą dodanych, usuniętych i zmienionych plików. Przy każdym zmienionym pliku zobaczysz, które cechy się różnią, na przykład suma kontrolna i czas modyfikacji.

Utrzymanie AIDE na co dzień

Baza musi być poza zasięgiem

Tu kryje się pułapka, o której łatwo zapomnieć. Baza AIDE leży na tym samym serwerze, który ma pilnować. Ktoś z uprawnieniami roota może zmienić plik, a potem po prostu wygenerować nową bazę. Następne sprawdzenie nie pokaże wtedy żadnych różnic.

Dlatego po każdej aktualizacji bazy zapisz jej sumę kontrolną poza serwerem:

sudo sha256sum /var/lib/aide/aide.db.gz

Wynik zapisz w miejscu, do którego serwer nie ma dostępu: w menedżerze haseł, w repozytorium z dokumentacją albo na innej maszynie. Jeszcze lepiej trzymać tam kopię samej bazy. Przed zaufaniem wynikowi sprawdzenia porównaj sumę. Jeżeli się nie zgadza, ktoś grzebał w bazie, a to jest wystarczająco wymowna odpowiedź.

Codzienne sprawdzenie przez timer systemd

Ręczne uruchamianie AIDE szybko pójdzie w zapomnienie, więc zlecimy to systemd. Utwórz usługę:

sudo vi /etc/systemd/system/aide-check.service
[Unit]
Description=Sprawdzenie integralności plików (AIDE)

[Service]
Type=oneshot
ExecStart=/usr/sbin/aide --check
Nice=19
IOSchedulingClass=idle

Nice i IOSchedulingClass sprawiają, że sprawdzenie ustępuje miejsca innym procesom i nie spowalnia aplikacji.

Teraz timer, który uruchomi usługę codziennie nad ranem:

sudo vi /etc/systemd/system/aide-check.timer
[Unit]
Description=Codzienne sprawdzenie AIDE

[Timer]
OnCalendar=*-*-* 04:30:00
RandomizedDelaySec=15min
Persistent=true

[Install]
WantedBy=timers.target

Persistent=true oznacza, że jeśli serwer był wyłączony o 4:30, sprawdzenie wykona się zaraz po starcie.

sudo systemctl daemon-reload
sudo systemctl enable --now aide-check.timer
systemctl list-timers aide-check.timer

Alarm bez dodatkowego skryptu

Jest tu jeden przyjemny szczegół. aide --check zwraca kod błędu, gdy znajdzie jakąkolwiek różnicę. Systemd oznaczy wtedy usługę jako nieudaną. Nie potrzebujesz więc osobnego skryptu do powiadomień: jeżeli monitorujesz serwer pod kątem nieudanych usług, zmiana plików wypłynie sama. Ręcznie sprawdzisz to tak:

systemctl --failed
sudo journalctl -u aide-check.service

Po aktualizacji systemu

AIDE nie odróżnia włamania od dnf update. Po aktualizacji pakietów dostaniesz raport z setkami zmienionych plików. To normalne i wymaga prostej rutyny: wykonaj sprawdzenie zaraz przed aktualizacją, żeby mieć pewność, że system był czysty. Po aktualizacji przejrzyj raport i zbuduj nową bazę:

sudo aide --update
sudo mv /var/lib/aide/aide.db.new.gz /var/lib/aide/aide.db.gz

Na koniec zapisz poza serwerem nową sumę kontrolną bazy. Jeżeli przed aktualizacjami robisz snapshot LVM, sprawdzenie AIDE dobrze wpisuje się w tę samą procedurę.

Wracamy do niedzieli, 3:02

Zobaczmy teraz, jak oba narzędzia współpracują w scenariuszu z początku.

AIDE podnosi alarm

O 4:30 timer uruchamia AIDE. Sprawdzenie kończy się błędem, a w raporcie jest /etc/ssh/sshd_config ze zmienioną sumą kontrolną. Wiesz już, co się zmieniło, i to nie w poniedziałek przy przypadkowym przeglądzie, tylko niecałe półtorej godziny po fakcie.

auditd wskazuje winnego

Teraz pytasz kamerę:

sudo ausearch -k sshd_config -ts yesterday -i

-ts yesterday zawęża wyniki do zdarzeń od wczorajszego dnia. W wyniku widzisz dokładny czas, program, który zapisał plik, i oba pola użytkownika. Jeżeli auid wskazuje konkretną osobę, sprawa jest prosta. Jeżeli to auid=unset, a programem jest interpreter uruchomiony przez użytkownika aplikacji, sprawdź od razu etykietę app_exec. Zobaczysz, co jeszcze ten proces uruchamiał w tym samym czasie.

Dlaczego potrzebne są oba

Każde z narzędzi osobno dałoby tylko połowę odpowiedzi. AIDE powiedziałby, że coś jest nie tak, ale bez wskazania winnego. auditd miałby pełne nagranie, ale nikt by do niego nie zajrzał, bo nic nie podniosło alarmu.

Czego te narzędzia nie zrobią

Na koniec uczciwie o ograniczeniach, bo bez nich obraz byłby zbyt optymistyczny.

Rejestrują, ale nie blokują

Oba narzędzia rejestrują, ale niczego nie blokują. Zmiana w sshd_config i tak się wykona. Dowiesz się o niej szybko i będziesz wiedział, kto ją zrobił, ale ochronę przed samą zmianą zapewniają inne mechanizmy: ograniczone uprawnienia, SELinux i izolacja usług.

Root z czasem może zatrzeć ślady

Root, który działa wystarczająco długo i bez pośpiechu, może zatrzeć ślady na samym serwerze: usunąć logi auditd i nadpisać bazę AIDE. Dlatego suma kontrolna bazy trafia poza maszynę. Ten sam pomysł trzeba zastosować do logów audytu i przesyłać je na zewnętrzny serwer, gdzie nikt z obserwowanej maszyny nie może ich zmienić. To temat na osobny artykuł.

AIDE widzi tylko stan w chwili sprawdzenia

Jeżeli ktoś zmieni plik o 3:00, a o 4:00 przywróci jego poprzednią wersję, sprawdzenie o 4:30 niczego nie wykryje. Takie zdarzenie wychwyci tylko auditd, i tylko wtedy, gdy plik był objęty regułą.

auditd widzi tylko to, co mu wskażesz

Lista z tego artykułu to dobry początek, ale nie pełna ochrona. Pliki konfiguracyjne Twojej aplikacji, klucze API czy pliki-przynęty, jeśli je stosujesz, zasługują na własne reguły.

Podsumowanie

Pytanie „kto zmienił ten plik?” brzmi prosto, ale świeżo zainstalowany serwer nie umie na nie odpowiedzieć. Po tej konfiguracji odpowiada na nie w kilka minut.

AIDE regularnie porównuje system ze stanem, któremu ufasz, i podnosi alarm, gdy coś się nie zgadza. auditd dla najważniejszych plików zapisuje, kto, kiedy i czym je zmienił, a dzięki polu auid nie da się ukryć za sudo. Zablokowane reguły i baza AIDE zabezpieczona poza serwerem sprawiają, że ten system trudno po cichu wyłączyć.

Najważniejsze jednak, żeby zrobić to teraz, a nie w trakcie incydentu. Kamera, której nie zawiesiłeś przed niedzielą, nie pokaże Ci, co działo się o 3:02. Następny krok to wysłanie tych dowodów poza serwer, żeby nawet ktoś z pełnymi uprawnieniami nie mógł ich usunąć.