Retencja danych – jak logować ruch.

Jakiś czas temu pisałem o retencji danych, natomiast nigdy nie napisałem jak albo czym logować dane o ruchu sieciowym na Linuksie. Niedawno otrzymałem spam o treści „XXX posiada w swojej ofercie gotowe rozwiązanie do zbierania, przechowywania i analizowania ruchu sieciowego zgodnych z ustawą o retencji danych”. Cena dla małych ISP niewąska, bo za coś, co obsłuży ruch do 1 Gbps, składającego się z jednej sondy, jednego kolektora, softu i wdrożenia wołają dziewięć tysięcy euro.

Całość rozwiązania opiera się o netflow, który od dawna był polecany jako narzędzie do analizy ruchu i wykrywania anomalii. Skoro już padło (nie z moich ust ;-)) odważne stwierdzenie, że jest to sposób zgodny z ustawą o retencji danych, to można przedstawić zarys, jak to zrobić samemu. Tym bardziej, że część ISP nadal korzysta z jakichś mało wydajnych i logujących znacznie mniej informacji rzeźb w stylu logowanie przy pomocy iptables. Oraz – co ważne – rozwiązanie oparte o netflow zapewnia zbieranie o logowaniu ruchu z hostów za NAT (jeśli uruchomione jest na routerze robiącym NAT).

Jeśli chodzi o protokół NetFlow oraz wysyłkę i zbieranie danych, w Debianie (i zapewne większości innych dystrybucji) od dawna dostępne są narzędzia zawarte w pakiecie flow-tools. Do wysyłki służy fprobe, do odbioru flow-capture Jak widać z Wikipedii (próbki sobie tym razem daruję), dla każdego połączenia (flow), zapisywane są czas rozpoczęcia i zakończenia połączenia, typ połączenia, docelowy i źródłowy adres IP, a także porty źródłowy i docelowy. To z ciekawszych rzeczy zgodnych z ustawą. Obciążenie generowane na maszynie zbierającej nie jest duże, choć przy dużych kilkudziesięciu Mbps robi się zauważalne.

Natomiast jeśli chodzi o sFlow, to w Debianie dopiero począwszy od wersji Wheezy, jest narzędzie do zbierania sfdump zawarte w pakiecie nfdump-sflow. Ta wersja korzysta z próbkowania, czyli badany jest co któryś pakiet na interfejsie. Dzięki temu obciążenie na urządzeniu zbierającym, czyli sondzie, jest praktycznie pomijalne.

Zebrane flowy, niezależnie od protokołu zbierania, zajmują stosunkowo niewiele miejsca (automatyczna kompresja), a wykorzystać je można nie tylko na potrzeby związane z retencją danych, ale także (przede wszystkim) do wykrywania anomalii w ruchu sieciowym czy – w przypadku zbierania danych z urządzeń mających informacje związane z BGP – do planowania sieci. Widać wówczas nie tylko z których IP jest ruch, ale także AS docelowy i źródłowy.

Zdaję sobie sprawę, że powyższe to żaden rocket science i pewnie większość sieciowców kojarzy temat (choć mali ISP – niekoniecznie). Natomiast w środowisku związanym z Linuksem może być to pewna ciekawostka. Celowo nie zamieszczam przykładów konfiguracji – dokumentacja jest dobra. Gdyby były pytania lub niejasności, proszę pytać w komentarzach, postaram się odpowiedzieć.

Na koniec uwaga: IANAL, więc nie podejmuję się określenia, czy taki sposób jest zgodny z przepisami nt. retencji danych. Na pewno zebrane dane są dokładniejsze i wygodniejsze, niż logi DHCP, logi z iptables itp. Jeśli chodzi o prywatność, to zawierają dokładnie tyle, na ile pozwala i ile wymaga ustawa. Nie jest logowany sam ruch, tylko dane o nim.

Zawieszanie w wykonaniu Androida.

Gdy poprzednio pisałem o Androidzie na tablecie nie byłem zachwycony. Jestem parę miesięcy używania później i coraz bardziej utwierdzam się w przekonaniu, że to nie to. Zdecydowaną większość rzeczy wolę robić jednak na komputerze przenośnym. Jakość konsumpcji treści, tj. czytania tekstów również niczego nie urywa. Komórka jednak dużo mniejsza, lżejsza i wygodniejsza w trzymaniu. Ale parę zastosowań się znalazł.

Ostatnio miałem przygodę. Zwykle jak nie korzystam z tabletu, to po prostu blokuję ekran i zostawiam go podłączonego do ładowarki. Ostatnio dłuższy czas nie używałem, zerkam, a tam ekran bootowania z animowanym napisem Android. Pomyślałem, że się rebootnął i – z lekkim uśmiechem – że chłopaki z Google skiepścili sprawę, bo Linux się nie wiesza[1], ale kolejne zerknięcia parę godzin później ujawniło, że to zwis.

Nie pomogło odpięcie od ładowarki, krótkie ani długie wciskanie przycisku power. Za to reagował na klawisze dotykowe na obudowie. Skończyło się tak, że zostawiłem go, żeby się rozładował z nadzieją, że się włączy. No i tym razem się udało.

Incydent przypomniał mi, że miałem poćwiczyć bootowanie Debiana na tym urządzeniu. Szybkie poszukiwania zaowocowały odkryciem, że obrazy systemu Wheezy dla tabletów (nieoficjalne oczywiście) zniknęły. A szkoda, bo genialnie uprościłyby sprawę. Tak czy inaczej jak tylko coś zdziałam w tym temacie, to nie omieszkam opisać.

[1] Linux też się wiesza. Tylko pomijalnie rzadko i zwykle deterministycznie, tj. za sprawą np. skopanego modułu.

Jak uruchomić komputer z USB, gdy BIOS nie ma opcji bootowanie z USB?

USB

Złącze USB przez Petr Kratochvil

Od paru lat komputery wyposażone są zwykle w opcję uruchamiania systemu z USB. Rozwiązanie znacznie lepsze, niż płyta CD. Płyt jednorazowych trochę szkoda, żeby coś szybko przetestować, płyty wielorazowe się rysują. Poza tym napędy CD-ROM mają długie czasy dostępu i są głośne. Dodatkowo, pod USB można podłączyć zwykły dysk twardy, albo mieć system RW na pendrive. Niestety, kiedyś bootowanie z USB było rzadkością. A nawet jeśli było, to urządzenie bywało widoczne nie jako zwykły dysk twardy, tylko USB-FDD. Gdy ostatnio robiłem grzejnik, najzupełniej prawidłowo przygotowany pendrive z grub’em, robiący za dysk twardy nie był widziany jako urządzenie pozwalające na uruchomienie systemu.

Jak pisałem, znalazłem na to obejście. Bootowanie z CD-ROM (który na szczęście zwykle jest obecny w starych sprzętach) pozwalające na dalsze bootowanie z USB. Rozwiązanie genialne w swojej prostocie, tylko jak to zrobić? Jest gotowiec w formie freeware (także dla firm): Plop Boot Manager. Narzędzie bardzo fajne, ale układ strony, sposób podziału pakietów i wreszcie dokumentacja jest poukładana IMHO fatalnie. Opisane co prawda jest wszystko, ale wygląda na bardziej skomplikowane, niż jest w rzeczywistości, część informacji powtarza się itp.

Jak uruchomić komputer z USB przy pomocy płyty CD? Tak naprawdę, aby przygotować płytę CD z bootloaderem należy pobrać z tej strony dwa narzędzia plpcfgbt-0.11.zip oraz plpbt-createiso.zip. A następnie wykonać tylko 3 kroki:

  1. skonfigurować opcje bootowania przy pomocy plpcfgbt, tak by domyślnie bootował z USB. W przykładzie jest gotowiec: Hidden boot with usb: plpcfgbt stm=hidden cnt=on cntval=1 dbt=usb plpbt.bin
  2. przygotować obraz płyty przy pomocy skryptu create-iso.sh (tak naprawdę zwykłe mkisofs z odpowiednimi opcjami)
  3. nagrać obraz iso na płytę CD (ulubionym narzędziem)

Po włożeniu płyty do napędu, ustawieniu w BIOSie bootowania z CD-ROM i podłączeniu pendrive z systemem będzie można uruchomić komputer z USB. Najpierw uruchomi się bootloader z CD-ROM, a następnie bootloader z urządzenia podłączonego do USB.

Powyższe dla Linuksa. Pod Windows też się da, z tego co widzę, bo autor daje wersje skryptów i programów pod oba systemy. Mam dziwne przeczucie, że pod Linuksem będzie łatwiej.

UPDATE: W ramach tematów powiązanych oraz linkowania się na krzyż, Franek opisał po polsku nieco bardziej życiowe zagadnienie czyli, jak uruchamiać wiele liveCD z jednego USB.