Tag: ludzie

Opublikowane w

Czy LLMy mogą oszczędzać prąd?

Czy LLMy mogą oszczędzać prąd? To pytanie wydaje się na pierwszy rzut oka dziwne, bo przecież powszechnie wiadomo, że AI zużywa dużo energii, jest winne ociepleniu klimatu itd. Zanim jednak zaczniemy powtarzać oczywiste prawdy, warto sięgnąć do źródeł. Bo – podobnie jak było to przy chińskich autobusach – powtarzana prawda może nieco odbiegać od twardych danych źródłowych.

Na początek warto przyjrzeć się pierwszemu popularnemu mitowi, który mówi użycie LLM zużywa wielokrotnie więcej energii, niż zwykłe wyszukiwanie. Twarde dane nie do końca to potwierdzają. Typowe zapytanie do ChatGPT to około 0,3 Wh. Nie kWh, tylko Wh. Na tyle samo Google oceniało pojedyncze zapytanie do wyszukiwarki. Czyli w przypadku prostych zapytań zużywane ilości energii zużywane przy zwykłym wyszukaniu w wyszukiwarce i wykorzystaniu LLM są zbliżone.

Nie żebym zachęcał do używania LLMów w ten sposób, bo jednak nie jest to specjalnie efektywne, ani energetycznie, ani czasowo. Jednak dramatu nie ma[1]. Pewnie efektywniej wykorzystać LLM do przygotowania zestawienia danych. Takiego, do którego potrzeba byłoby kilku wyszukiwań. Owszem, zapytanie będzie „cięższe”, ale unikniemy kilku tradycyjnych zapytań.

No dobrze, ale od to wcale nie jest takie kosztowne energetycznie do LLMy oszczędzają energię długa droga, prawda? Prawda. Wyobraźmy sobie jednak, że chcemy coś zrobić. Powiedzmy, napisać prosty program albo skrypt. Żeby to zrobić, musimy poszukać materiałów, zapoznać się z nimi, wykonać właściwą czynność. Jeśli będzie to pisanie programu wykorzystującego jakieś API, to musimy znaleźć dokumentację tego API, napisać sam program. To wszystko trwa. A że pracujemy na komputerze, który zużywa prąd. Laptop to przynajmniej 10-20W, monitor (24″) kolejne 15-25W. Raczej dolny szacunek, YMMV, można sprawdzić watomierzem.

Jako ludzie działamy raczej wolno, szczególnie w nieznanych obszarach. Wolno czytamy, wolno piszemy. A w tym czasie nasze urządzenia pracują i zużywają prąd. Więc pytanie do LLMa raczej przyspieszy wykonanie. Godzina pracy naszego skromnego laptopa i monitora to równowartość energetyczna od kilkudziesięciu do kilkuset zapytań do LLM.

Przykład z mojego podwórka, to skrypt do backupu obserwowanych na Mastodon. Małe kilka[3] promptów do Gemini, który znalazł i że jest API, i z których endpointów API korzystać, i jakie parametry podawać (a nieco nieoczywiste), i paginację dorobił od kopa. Pół godziny zeszło mi na zabawie, doczytaniu interesujących fragmentów dokumentacji, doszlifowaniu ręcznym. Ręcznie robiłbym z dwie godziny minimum.

Ale przecież są badania na to, że programistom się wydaje, że ich produktywność przy użyciu AI rośnie, a tak naprawdę to ona spada, na przykład to! Rzadko czytam badania, ale jeśli już, to lubię czytać nie tylko tytuł badania i wnioski, ale zerknąć na warunki badań. Bo autorzy często – świadomie lub nie – idą na łatwiznę i mają mocno niereprezentatywną próbkę. W tym konkretnym przypadku jest kilka red flags.

Po pierwsze, mowa o doświadczonych programistach, pracujących na własnym kodzie. Nie uważam się za doświadczonego programistę, ale do głowy by mi nie przyszło korzystanie z LLMa w typowej pracy z własnym kodem. A już na pewno nie jako pierwszy wybór. Czemu? Bo wiem, gdzie co jest, wiem, co chcę dodać, wiem jak to dodać, nie będę musiał czekać na wynik i poprawiać go. Po drugie, sami autorzy tego badania mają tego świadomość i sami piszą, że wyników nie należy uogólniać, a w przypadku mniej doświadczonych programistów LLM prawdopodobnie zwiększy wydajność. Zresztą, o tym, że AI pozwoliło zyskać czas na realizację pomysłów pisze wiele osób w mojej bańce.

Czy twierdzę zatem, że LLMy powodują spadek zużycia energii, globalnie? Nie. Jestem praktycznie pewien, że globalnie powodują wzrost zużycia. Sprzeczność? Nie. Po prostu opłacalność zależy od przypadku, a obecny trend jest taki, żeby do LLMów pchać wszystko, czy jest sens, czy go nie ma. I jest to zarówno trend ze strony producentów, jak i użytkowników.

Odbiegając nieco od tematu, zabawna jest obserwacja, jak używając coraz bardziej energooszczędnych technologii, zużywamy coraz więcej energii[3]. Wynika to z paru czynników. Mamy coraz więcej rzeczy na prąd, które kiedyś były ręczne. Lub ich nie było. Powszechna klimatyzacja. Drzwi otwierane elektrycznie w sklepach. Smart żarówki, rolety okienne, zawory grzewcze, sterowanie elektroniczne praktycznie wszystkim. Szczoteczki elektryczne, czytniki ebooków. Streaming zamiast radia. Wszytko zużywa trochę energii. I może wymagać jakiegoś serwera. Kolejny czynnik to po prostu wzrost ilości ludzi na planecie. Jeszcze pół wieku temu było nas o połowę mniej. A na początku XX w. – zaledwie 20% tego, co teraz.

Jeśli komuś naprawdę zależy na oszczędzaniu energii, zamiast martwić się o LLMy, powinien dbać o fizyczne odłączanie urządzeń z prądu, gdy są nieużywane. Przynajmniej na noc. Na przykład przyciskiem na listwie. Czemu? Bo pojedynczy zasilacz od laptopa przez sam fakt bycia podłączonym do prądu potrafi pobierać 1W. Wyłączony/uśpiony monitor – podobnie. Skąd wiem? Bo mierzyłem.

Inne ciekawe linki w temacie:

https://marmelab.com/blog/2025/03/19/ai-carbon-footprint.html

https://www.nature.com/articles/s41598-024-54271-x

UPDATE I jeszcze jeden link, na który trafiłem dziś, dotyczący tego, jak LLMy (w połączeniu z agentami AI) zabijają CTFy. Niedawno grałem, potwierdzam sytuację – kilkadziesiąt zespołów zrobiło wszystkie zadania. W temacie tego posta, potwierdza to szybkość i skuteczność (także energetyczną) AI.

[1] Tak, mam świadomość, że przytoczone tu dane dla tradycyjnych wyszukiwań są z 2009. W tzw. międzyczasie zużycie prądu przez pojedynczy serwer spadło. Z drugiej strony, ilość danych do przeszukania wzrosła, więc pewnie niewiele się zmieniło. Chętnie poznam współczesne dane.
[2] Pewnie 2-3 były, nie więcej niż 5.
[3] Jak to kiedyś ładnie ujął pewien człowiek, jeszcze nigdy w historii ludzkość jako ogół nie zmniejszała zużycia energii, niezależnie od coraz mniej energochłonnych technologii.

Opublikowane w

Krzyk Czarnobyla

Raczej nie piszę o przeczytanych książkach. Ostatnio przeczytałem[1] jednak książkę Czarnobylska modlitwa. Kronika przyszłości i uznałem, że zasługuje na wpis. Zacznijmy od tego, że nie wiedziałem, czego się spodziewać. Nie znałem ani – nieco kontrowersyjnej – autorki, choć noblistka, ani tytułu. Oczywiście sama nazwa Czarnobyl dawała jasną wskazówkę.

Szybko nadrobiłem zaległości na Wikipedii, dowiedziałem się też, że pierwotnie książka została wydana jako Krzyk Czarnobyla. Nadal nie wiem, czy to nie lepszy tytuł. Stąd oczywiście tytuł wpisu.

Zniszczony reaktor w Czarnobylu
Zniszczony blok reaktora w Czarnobylu Zdjęcie autorstwa IAEA Imagebank – 02790015, CC BY-SA 2.0

Książka powstała na podstawie wywiadów z ludźmi i pokazuje awarię (mniej) i jej skutki (bardziej) z perspektywy różnych ludzi, głównie mieszkańców Białorusi. Różnych ludzi. Bardzo różnych. Są rodziny ofiar, są likwidatorzy, osoby, które zostały w strefie, są wysoko postawieni działacze, naukowcy, lekarze… Sporo tzw. zwykłych ludzi.

Czego się dowiedziałem, o czym nie wiedziałem? Przede wszystkim, przed lekturą miałem wrażenie, że skażenie obejmowało strefę powiedzmy małych kilkudziesięciu km i dotyczyło wyłącznie Ukrainy. Tymczasem najbardziej w wyniku skażenia ucierpiała Białoruś (nawet 20% powierzchni kraju).

Kolejna rzecz, o której nie wiedziałem, to fakt, że awaria i jej skutki były zatajane przed ludnością. Nie chodzi tylko o likwidatorów, którzy w prowizorycznych ochraniaczach (albo i bez nich) walczyli z bezpośrednimi skutkami wybuchu. O ile w Polsce poinformowano o awarii i podano ludziom roztwór jodu[2], to w ZSRR tego nie zrobiono. Nawet, gdy były możliwości.

Zupełnym zaskoczeniem była dla mnie liczba ludzi zaangażowanych w skutki usuwania awarii. Myślałem, że mówimy o setkach, może tysiącach…

Jest też trochę szokujących informacji o tym, jak wykonywano plan, czyli siano, sadzono ziemniaki i przetwarzano skażone mięso. Były nawet instrukcje jak postępować przy określonym poziomie skażenia. Jest też o chciwości jednostek – domy ze skażonej strefy były szabrowane, a nawet rozbierane i przewożone w inne miejsca kraju, by je sprzedać. Podobnie samochody. Skoro mowa o chciwości – warto pamiętać, że reaktory RBMK, czyli typu używanego w Czarnobylu, były najbardziej efektywnym typem. Choć też najbardziej niebezpiecznym.

W książce znaleźć można sporo krytyki ZSRR i polityków czy też raczej rządzących. Sporo o działaniach, by się komuś nie narazić, sporo o tak trzeba. W tym o ignorowaniu procedur i braku poszanowania dla ludzkiego życia.

Nie jest to lekka lektura, znaczna część to opisy chorób, śmierci itd. Podczas lektury miałem trochę skojarzeń z pandemią i wrażenie, że niczego się – jako ludzkość – nie nauczyliśmy. Ani na poziomie zachowań pojedynczych ludzi, ani w kwestii przygotowania służb, ani działań na poziomie państwowym, ani informowania społeczeństwa. Podobny jest też podział na przed pandemią i po pandemii, tak jak przed katastrofą i po katastrofie.

Zdecydowanie warto się zapoznać, choć jest to też książka uświadamiająca jak niebezpieczna jest energia jądrowa. I o tym, że mimo zabezpieczeń, różnego rodzaju wypadki będą się zdarzać. Ludzie popełniali, popełniają i będą popełniać błędy.

Niezwiązana z książką informacja, ale: akurat gdy skończyłem lekturę, dotarła do mnie informacja, że w wojnie w Ukrainie została zabita żona pierwszej ofiary awarii w Czarnobylu.

[1] Tak naprawdę przesłuchałem audiobooka w Legimi. Kiedyś rozdawali sporo kodów, a nie zawsze chcę używać oczu i wtedy ich używam.
[2] Możliwe, że w Polsce było to zbędne, ale nie zaszkodziło.

Opublikowane w

Robokot

Podczas niedawnej wizyty w Krakowie wylądowałem w Pizza Hut w Galerii Krakowskiej. Czemu akurat tam? Ano chciałem coś zjeść przed podróżą pociągiem. A pizzę lubię. Co prawda była w okolicy inna pizzeria, ale częściowo dlatego, że wiedziałem, czego się spodziewać, a częściowo dlatego, że kiedyś, dawno temu, chyba także w Krakowie wylądowałem w Pizza Hut ze znajomymi, poszedłem tam.

Samotna wizyta pozwoliła na parę ciekawych obserwacji. Kontekst: późne popołudnie, raczej sporo ludzi – większość stolików zajęta. Mam dużo czasu do pociągu. Zostałem zaprowadzony do stolika. Raczej małego, tym bardziej, że niby dla dwóch osób. Mój talerz, kufel i pizza jakoś się zmieściły, ale trochę nie wyobrażam sobie siedzących tam dwóch osób.

Poinstruowano, mnie, że mogę zeskanować QR-code ze stolika i zamówić w ten sposób, albo, że ktoś do mnie przyjdzie. Z ciekawości rozpocząłem nierówną walkę – zeskanowałem kod. Przejście na stronę i widzę jakieś jakieś popularne, polecane. No niby się da zamówić. I tu pierwsza niespodzianka – niektórych pozycji z tradycyjnego, analogowego menu nie było na stronie. Albo ich nie znalazłem. Nie wiem czy dotyczyło to także potraw (chyba tak), a na pewno nie było możliwości zamówienia sosu, który sobie upatrzyłem. Postanowiłem więc zaczekać na obsługę.

Zauważyłem, że lokal posiada robota, który rozwozi potrawy. Robot – z wyglądu przypominający nieco skrzyżowanie R2D2 z miejscami na tace, zdaje się miał być kotem. Wnioskuję po tym, że komunikował się z otoczeniem zaczynając od miau! i jakichś niewielkich uszach. Robot jeździł, gadał, robił zamęt, narzekał, że „jemu się nie spieszy” gdy nie mógł przejechać. Nieco odmienne zdanie od entuzjastycznego opisu BellaBot[1], prawda?

zdjęcie robota udającego kota rozwożącego pizzę w Pizza Hut
Robokot. Źródło: https://e-restauracja.com/artykul/38348/bot-czy-kot-pizza-hut-stawia-na-innowacje-czyli-robot-kelner-w-restauracji

Robot mówił tylko po polsku. Tak się złożyło, że niedaleko siedzieli obcokrajowcy. W pewnym momencie podjechał do ich stolika i gada, żeby odebrać i uważać, bo może być gorące. Cudzoziemcy nie reagowali. Obsługa zajęta swoimi sprawami. W końcu ktoś z najbliższego stolika powiedział im, że przyjechało ich jedzenie. Na co odparli, że to nie ich, oni tego nie zamawiali. Doprawdy fantastyczne i przemyślane rozwiązanie. Niestety nie zwróciłem uwagi jak się skończyło.

Nie wiem, czy trzeba sobie jakoś zasłużyć na dostarczenie przez robota, na przykład zamawiając telefonem, w każdym razie mi jedzenie i picie przynieśli ludzie.

No właśnie, obsługa. Rozumiem, że było dość sporo gości, ale czekałem dość długo na złożenie zamówienia. Może dlatego, że miałem w rękach telefon, a wcześniej skanowałem kod? Zwykle w lokalach jest jakiś podział, typu kelnerzy mają swoje stoliki. Tu było jakoś inaczej. Bardziej chaotycznie. Przykładowo zamówienie przyjęła jedna osoba, a chwilę, dosłownie kilkadziesiąt sekund po jego złożeniu, zamówienie chciała przyjąć kolejna. Pewnie po robocie też trzeba poprawić…

Zjadłem i nie doczekałem się rachunku. Jest jakieś centralne stanowisko typu kasa/monitoring i jest to dla mnie dziwne. Bo spodziewam się, że skoro przyjmujemy gościa przy drzwiach i sadzamy przy stoliku, to nie będzie musiał biegać do kasy. A może po prostu się nie doczekałem? W każdym razie nie chciałem się spóźnić na pociąg, więc podszedłem i zapłaciłem.

Dowiedziałem się jeszcze, że w lokalu nie ma WC (sic!). No w sumie szału nie ma. Jedzenie standardowe. Pomysł zastąpienia części kelnerów robotem – według mnie bardzo słaby. Działa to średnio, psuje atmosferę gadaniem. Powtarzające się teksty o stałej intonacji i niedostosowanej do sytuacji, stałej głośności są wg mnie irytujące. Skojarzenie z automatycznymi kasami jak najbardziej na miejscu. Ale najgorsze, że wydaje mi się, że zaburza pracę obsługi. Normalnie jakoś zwykle wiedzą, kiedy podejść i na jakim etapie są klienci. Tu tego zupełnie nie było. Wg mnie bez niego mogłoby być sprawniej, przy tej samej ilości obsługi.

Niby bez wielkich wtop, ale po tej wizycie raczej nie planuję prędko odwiedzać Pizza Hut. I raczej będę się upewniał, że w lokalu nie ma autonomicznego robota pełniącego funkcję kelnera.

[1] Znalazłem już po napisaniu wpisu. Jak widać te roboty są obecne od 3 lat. Przyszłoby komuś do głowy drapać wyposażenie restauracji za uchem?