Rozrywka

Link z ostatniego wpisu o tym, jak AI rzekomo zabiło CTFy przypomniał mi o podobnym zjawisku sprzed lat. Zanim przejdę do sedna – faktycznie, wygląda na to, że scena CTF do czasu pojawienia się AI się zmieniła. Niedawno bawiliśmy się ze znajomymi i duże kilkadziesiąt zespołów rozwiązało wszystkie zadania. Nie mam większej próbki, na ile to powszechne, ale faktycznie, pierwszy raz widziałem taką sytuację. No i opisy autora wpisu, całe frameworki, agenty – robi wrażenie. Bo LLMy były wykorzystywane już wcześniej, ale raczej ręcznie, przynajmniej wg mojej wiedzy. Zresztą oddać trzeba, że większość CTFów nie dawała żadnych ograniczeń w tym zakresie.

Wracając do zjawiska, które mi się przypomniało. Wieki temu, w czasach szkoły średniej, kiedy mieliśmy za dużo czasu, z kolegami wpadliśmy na genialny pomysł. Kupimy magazyn z łamigłówkami, rozwiążemy wspólnie i wyślemy do losowania, aby ubiegać się o najwyższą nagrodę. Były bowiem różne nagrody, zależne od ilości rozwiązanych zadań. Najniższy próg można było dość łatwo osiągnąć, ale i nagrody były niezbyt wysokie. Natomiast w najwyższym i nagroda była – jak dla nas – wysoka, i trzeba było naprawdę pogłówkować. Magazynem była tytułowa Rozrywka, która zawierała krzyżówki, jolki, rebusy itp. Jednym słowem: łamigłówki. Z perspektywy czasu, był to trochę taki CTF, tylko niezwiązany z komputerami i IT security.

Dla ustalenia uwagi: dwutygodnik Rozrywka – bo o nim mowa – kupowało się w kiosku, rozwiązania wysyłało zwykłą pocztą, chyba z fragmentem numeru. Z tego co pamiętam – choć nie dam głowy, każdy z nas kupował i wysyłał swój egzemplarz. Sporo rzeczy rozwiązywaliśmy równolegle, bo synchronizacja była nie online, tylko telefonicznie, albo w szkole[1]. Inny świat.

Oczywiście nigdy nic nie wygraliśmy, a sam pomysł dość szybko upadł[2]. Pewnie nie doceniliśmy wpływu szczęścia w losowaniu i przeszacowaliśmy szanse, czyli ilość ludzi, którzy jednak rozwiążą wiele zadań i wyślą rozwiązania. W sumie dla emerytów mogło to być jedyne zajęcie i odpowiednik loterii. Posiadali przy tym duże doświadczenie w rozwiązywaniu… Teraz to oczywiste, wtedy o tym nie myśleliśmy.

Jednak pamiętam, że robiliśmy usprawnienia. Pewien typ zadań to działania matematyczne, gdzie część cyfr jest zastąpiona literami[3]. Jako zdolni programiści podjęliśmy próbę napisania programu, który rozwiąże takie zadania. Z tego co pamiętam, początkowo zastosowaliśmy podejście brute force, co na niezbyt szybkich w owych czasach komputerach skazane było na niepowodzenie – program działał zbyt wolno. Przynajmniej w wersji naiwnej, bo ostatecznie kolega napisał w Pascalu coś, co było wystarczająco szybkie.

Dziś mamy tak szybkie komputery, że nawet wersja naiwna wystarczy[4]. Mamy też narzędzia w stylu Z-solvera czy OR-tools, które są w stanie pomóc przy tego typu zagadkach. Wreszcie jest dostęp online i do algorytmów, i gotowych narzędzi. Kiedyś było więcej myślenia i samodzielnego kombinowania. Podobnie z krzyżówkami. Chyba próbowaliśmy korzystać z jakichś komputerowych słowników na potrzeby krzyżówek, ale raczej były niekompletne i trudno dostępne.

Zmierzam jednak do tego, że komputery, ze swoją mocą obliczeniową, całkowicie zmieniły krajobraz łamigłówkowy i „scenę”. Bo pojawiły się też programy do tworzenia krzyżówek, sudoku, łamigłówek. Zmieniły się i same krzyżówki. Kiedyś normą była „szachownica” białych pól na wpisywanie haseł i czarnych, pustych. W białych były numerki, a hasła były oddzielnie. Czasem miały dość długie opisy. Teraz dominują krzyżówki panoramiczne, gdzie pojedyncza kratka zawiera – oczywiście krótki – opis hasła, a same hasła krzyżują się praktycznie wszystkimi literami.

I tak sobie myślę, że komputery zrobiły łamigłówkom to, co dziś LLMy i agenty robią CTFom. Zupełnie zmieniają krajobraz i środowisko. Przygotowując ten wpis dowiedziałem się, skąd wzięła się nazwa zadań: jolka… Jeśli chodzi o wydawnictwo Rozrywka, to z Wikipedii dowiadujemy się, że w 2021 r. prawa do tytułów zostały sprzedane. Jednak sam dwutygodnik nadal istnieje. Czy w zbliżonej formie? Jestem prawie pewien, że nie. Ale może kupię, żeby zobaczyć jak ma się do tego, co pamiętam. No i mam nadzieję, że scena CTF jednak nie zniknie, nawet jeśli się zmieni.

Bo łamigłówki nadal funkcjonują, nawet w epoce komputerów. Czasem – dzięki nim. I dostarczają radości i zabawy. Wystarczy przypomnieć 711 wyrazów o optymalizacji.

[1] Hm, a może to były wakacje/ferie?
[2] Jeśli dobrze pamiętam, wysłaliśmy z 2-3 razy, czyli zabawa na jakiś miesiąc czy dwa.
[3] Nazywa się to kryptarytm.
[4] Nawet w Pythonie, bez PyPy. A gdyby kogoś kryptarytmy i rozwiązywanie bardziej zainteresowało, to polecam te dwa linki.

Czy LLMy mogą oszczędzać prąd?

Czy LLMy mogą oszczędzać prąd? To pytanie wydaje się na pierwszy rzut oka dziwne, bo przecież powszechnie wiadomo, że AI zużywa dużo energii, jest winne ociepleniu klimatu itd. Zanim jednak zaczniemy powtarzać oczywiste prawdy, warto sięgnąć do źródeł. Bo – podobnie jak było to przy chińskich autobusach – powtarzana prawda może nieco odbiegać od twardych danych źródłowych.

Na początek warto przyjrzeć się pierwszemu popularnemu mitowi, który mówi użycie LLM zużywa wielokrotnie więcej energii, niż zwykłe wyszukiwanie. Twarde dane nie do końca to potwierdzają. Typowe zapytanie do ChatGPT to około 0,3 Wh. Nie kWh, tylko Wh. Na tyle samo Google oceniało pojedyncze zapytanie do wyszukiwarki. Czyli w przypadku prostych zapytań zużywane ilości energii zużywane przy zwykłym wyszukaniu w wyszukiwarce i wykorzystaniu LLM są zbliżone.

Nie żebym zachęcał do używania LLMów w ten sposób, bo jednak nie jest to specjalnie efektywne, ani energetycznie, ani czasowo. Jednak dramatu nie ma[1]. Pewnie efektywniej wykorzystać LLM do przygotowania zestawienia danych. Takiego, do którego potrzeba byłoby kilku wyszukiwań. Owszem, zapytanie będzie „cięższe”, ale unikniemy kilku tradycyjnych zapytań.

No dobrze, ale od to wcale nie jest takie kosztowne energetycznie do LLMy oszczędzają energię długa droga, prawda? Prawda. Wyobraźmy sobie jednak, że chcemy coś zrobić. Powiedzmy, napisać prosty program albo skrypt. Żeby to zrobić, musimy poszukać materiałów, zapoznać się z nimi, wykonać właściwą czynność. Jeśli będzie to pisanie programu wykorzystującego jakieś API, to musimy znaleźć dokumentację tego API, napisać sam program. To wszystko trwa. A że pracujemy na komputerze, który zużywa prąd. Laptop to przynajmniej 10-20W, monitor (24″) kolejne 15-25W. Raczej dolny szacunek, YMMV, można sprawdzić watomierzem.

Jako ludzie działamy raczej wolno, szczególnie w nieznanych obszarach. Wolno czytamy, wolno piszemy. A w tym czasie nasze urządzenia pracują i zużywają prąd. Więc pytanie do LLMa raczej przyspieszy wykonanie. Godzina pracy naszego skromnego laptopa i monitora to równowartość energetyczna od kilkudziesięciu do kilkuset zapytań do LLM.

Przykład z mojego podwórka, to skrypt do backupu obserwowanych na Mastodon. Małe kilka[3] promptów do Gemini, który znalazł i że jest API, i z których endpointów API korzystać, i jakie parametry podawać (a nieco nieoczywiste), i paginację dorobił od kopa. Pół godziny zeszło mi na zabawie, doczytaniu interesujących fragmentów dokumentacji, doszlifowaniu ręcznym. Ręcznie robiłbym z dwie godziny minimum.

Ale przecież są badania na to, że programistom się wydaje, że ich produktywność przy użyciu AI rośnie, a tak naprawdę to ona spada, na przykład to! Rzadko czytam badania, ale jeśli już, to lubię czytać nie tylko tytuł badania i wnioski, ale zerknąć na warunki badań. Bo autorzy często – świadomie lub nie – idą na łatwiznę i mają mocno niereprezentatywną próbkę. W tym konkretnym przypadku jest kilka red flags.

Po pierwsze, mowa o doświadczonych programistach, pracujących na własnym kodzie. Nie uważam się za doświadczonego programistę, ale do głowy by mi nie przyszło korzystanie z LLMa w typowej pracy z własnym kodem. A już na pewno nie jako pierwszy wybór. Czemu? Bo wiem, gdzie co jest, wiem, co chcę dodać, wiem jak to dodać, nie będę musiał czekać na wynik i poprawiać go. Po drugie, sami autorzy tego badania mają tego świadomość i sami piszą, że wyników nie należy uogólniać, a w przypadku mniej doświadczonych programistów LLM prawdopodobnie zwiększy wydajność. Zresztą, o tym, że AI pozwoliło zyskać czas na realizację pomysłów pisze wiele osób w mojej bańce.

Czy twierdzę zatem, że LLMy powodują spadek zużycia energii, globalnie? Nie. Jestem praktycznie pewien, że globalnie powodują wzrost zużycia. Sprzeczność? Nie. Po prostu opłacalność zależy od przypadku, a obecny trend jest taki, żeby do LLMów pchać wszystko, czy jest sens, czy go nie ma. I jest to zarówno trend ze strony producentów, jak i użytkowników.

Odbiegając nieco od tematu, zabawna jest obserwacja, jak używając coraz bardziej energooszczędnych technologii, zużywamy coraz więcej energii[3]. Wynika to z paru czynników. Mamy coraz więcej rzeczy na prąd, które kiedyś były ręczne. Lub ich nie było. Powszechna klimatyzacja. Drzwi otwierane elektrycznie w sklepach. Smart żarówki, rolety okienne, zawory grzewcze, sterowanie elektroniczne praktycznie wszystkim. Szczoteczki elektryczne, czytniki ebooków. Streaming zamiast radia. Wszytko zużywa trochę energii. I może wymagać jakiegoś serwera. Kolejny czynnik to po prostu wzrost ilości ludzi na planecie. Jeszcze pół wieku temu było nas o połowę mniej. A na początku XX w. – zaledwie 20% tego, co teraz.

Jeśli komuś naprawdę zależy na oszczędzaniu energii, zamiast martwić się o LLMy, powinien dbać o fizyczne odłączanie urządzeń z prądu, gdy są nieużywane. Przynajmniej na noc. Na przykład przyciskiem na listwie. Czemu? Bo pojedynczy zasilacz od laptopa przez sam fakt bycia podłączonym do prądu potrafi pobierać 1W. Wyłączony/uśpiony monitor – podobnie. Skąd wiem? Bo mierzyłem.

Inne ciekawe linki w temacie:

https://marmelab.com/blog/2025/03/19/ai-carbon-footprint.html

https://www.nature.com/articles/s41598-024-54271-x

UPDATE I jeszcze jeden link, na który trafiłem dziś, dotyczący tego, jak LLMy (w połączeniu z agentami AI) zabijają CTFy. Niedawno grałem, potwierdzam sytuację – kilkadziesiąt zespołów zrobiło wszystkie zadania. W temacie tego posta, potwierdza to szybkość i skuteczność (także energetyczną) AI.

[1] Tak, mam świadomość, że przytoczone tu dane dla tradycyjnych wyszukiwań są z 2009. W tzw. międzyczasie zużycie prądu przez pojedynczy serwer spadło. Z drugiej strony, ilość danych do przeszukania wzrosła, więc pewnie niewiele się zmieniło. Chętnie poznam współczesne dane.
[2] Pewnie 2-3 były, nie więcej niż 5.
[3] Jak to kiedyś ładnie ujął pewien człowiek, jeszcze nigdy w historii ludzkość jako ogół nie zmniejszała zużycia energii, niezależnie od coraz mniej energochłonnych technologii.

UX przy zakupach

Mamy XXI w., a dokładnie rok 2024. Zachłystujemy się AI, a tymczasem zakupy online wyglądają, jak wyglądają. Będzie krótka, nieco marudna historia.

Zakup

Wczoraj kupiłem pewną związaną z komputerami rzecz w sklepie, którego nazwa zaczyna się na X, a kończy na kom. Niedrogi drobiazg, więc odbiór w sklepie. Wróć, w salonie! Mamy XXI w., więc mamy salony, nie sklepy. Zakup zrobiłem w sobotę późnym wieczorem. Podczas składania zamówienia w appce, było napisane, że jutro do odbioru. Ale jak to? W niedzielę? No nic, może pomyłka. Choć sprawdzam godziny otwarcia salonu i widzę, że w niedziele też czynne:

x-kom godziny otwarcia
poniedziałek - sobota 09:00 - 21:00
niedziela 09:00 - 21:00

Więc może jednak? Dobrze by się składało, bo akurat salon mam po drodze do komisji wyborczej…

Powiadomienia

W niedzielę rano sprawdzam pocztę i widzę maila, że zamówienie „oczekuje w salonie”. Na dokładkę zauważam takiego samego SMSa. I że mam 3 dni na odbiór Dokładnie tak było napisane:

Subject: Odbierz swoje zamówienie 70xxxxxxxxxxxxx
[…]
Status zamówienia:
zamówienie przygotowane do odbioru
[…]
Twoje zamówienie czeka na Ciebie w naszym salonie x-kom Poznań.
Możesz odebrać je w ciągu 3 dni roboczych.

I tak samo jest napisane w appce!

status: oczekuje w salonie

Nawet sprawdziłem, czy nie jest to niedziela handlowa, ale nie, zwykła. Przyznam, że zacząłem się zastanawiać jak to możliwe, że sieciówka jest czynna w niedzielę, bo zdaje się tylko właściciele mogą pracować i ich rodzina. No ale może pracownicy dostają udziały i to czyni ich właścicielami? W sumie nieważne. Appka pokazuje, że mogę odebrać dzisiaj:

salon x-kom
zamówienie odbierzesz: dzisiaj

Rozczarowanie

No to pędzę! Wchodzę do galery handlowej. Podchodzę do salonu i… zamknięte na głucho. Spuszczone rolety. Odbioru nie będzie. Znalazłem przyczynę. Sprawdzając godziny otwarcia w appce przeoczyłem jedną informację:

x-kom godziny otwarcia
poniedziałek - sobota 09:00 - 21:00
niedziela 09:00 - 21:00
zamknięte w niedz. niehandlowe

Prawda, że świetnie napisane? Trzeba czytać do końca[1]! Ach, gdyby tylko dało się napisać niedziele handlowe 09:00 – 20:00

No ale i tak, całe te powiadomienia o zakupach. Biedny system nie wiedział, że sklep będzie w tę niedzielę nieczynny? A skoro wiedział, to czy nie można było opóźnić wysyłki informacji, że zamówienie czeka w salonie? Ew. – trudniejszy wariant – dostosować treści, że będzie do odbioru w poniedziałek? Czy też w ogóle dać tam po prostu daty?

Tak sobie myślę, że może nam nie trzeba AI, tylko odrobiny zastanowienia się, jak wykorzystać proste, od dawna dostępne informacje.

[1] Tak, to jest ten sam screenshot, który umieściłem jako pierwszy. Za pierwszym razem nieco oszukałem i obciąłem go, ale dokładnie tak czytałem. Szukałem informacji, czy jest otwarte w niedzielę i znalazłem godziny otwarcia, więc nie czytałem dalej.