Migracja, której nie było

Obwąchiwałem się z serwisem Codeberg od jakiegoś czasu. Nie miałem może silnego postanowienia migracji z GitHub i motywacji do niej[1], ale gdzieś tam taka opcja istniała. Nawet zrobiłem skrypt do backupu repozytoriów z GH i pisałem o Codeberg, na którym założyłem konto.

Jednak pozmieniało się. Codeberg zmienił warunki korzystania z usług. Najpierw pojawił się zakaz utrzymywania repozytoriów, w których kod pisał głównie LLM. Bo rzekomo pojawiają się niejasności związane z copyright i nie ma gwarancji, że nie będzie szkodliwego kodu. Chwilę później dołączył zakaz projektów związanych z kryptowalutami gdyż szkodzą reputacji serwisu. I opcja migracji przestała dla mnie istnieć.

Dlaczego? Powodów jest wiele, ale najważniejszy jest chyba niesmak. Nie wiem, czy bardziej spowodowany pokazową deklaracją światopoglądową, czy podawaniem pretekstowych uzasadnień czy wypaczaniem idei FOSS. Pierwszego tłumaczyć chyba nie trzeba – manifestacja antyAI i antykryptowalutowa i chęć jej „zaistnienia” w warunkach usługi jest czytelna. A przy tym zbędna – istniejące punkty jak najbardziej już zabraniały hostowania projektów naruszających zasady. Nic nowego się nie pojawiło, po prostu zakazy są z góry, tematycznie, bez zastanawiania się.

Uzasadnienia uważam za pretekstowe, gdyż… po krótkim zastanowieniu łatwo dostrzec, że nie mają sensu. Zabronione są projekty pisane głównie przez LLMy[2]. Kluczowe słowo to oczywiście głównie. Bo czy w projekcie, gdzie tylko trochę kodu jest pisane przez LLM mogłoby dojść do naruszenia copyright lub pojawić się szkodliwy kod? Oczywiście przy założeniu, że takie rzeczy w ogóle występują, ale tę część można wyłączyć przed nawias jako nieistotną dla dalszych rozważań. Otóż mógłby, bo nie zależy to od udziału kodu generowanego przez LLM.

Kolejna sprawa to brak możliwości stwierdzenia, jak powstał kod – ręcznie czy z użyciem LLM. I w jakim stopniu. Czyli pozostaje ocena po deklaracji autora lub owocach. A zapisy dotyczące copyrightu oraz szkodliwego kodu już przecież istniały.

Podobnie jest z nieprecyzyjnym słowem powiązany (z kryptowalutami). Czy jeśli zrobiłem skrypt, który pobiera dane m.in. o kursach kryptowalut i robi analizę statystyczną/korelację z kursem walut i akcji spółek giełdowych, to już szkodzi reputacji?

Zresztą przy krótkiej rozmowie z jedną z osób, które współpodejmowały decyzję, usłyszałem „nie chce też żeby moje składki szły na bandwidth i storage dla ludków co se robią 5 projektów i puszczają armię botów w samopas”. No rozumiem, że ktoś nie chce[3]. Ale nie uzasadniajmy tego copyrightem czy szkodliwym kodem. Wystarczy napisać wprost, że takie projekty zużywają więcej zasobów.

Zostało wypaczanie idei FOSS. Chodzi o cztery wolności, których Codeberg zresztą wymaga w warunkach usługi. Dokładnie o możliwość dowolnej modyfikacji oraz o możliwość rozpowszechniania ulepszeń. Wyobraźmy sobie, że jest projekt open source, który tworzy plugin zabezpieczający przed botami przez zastosowanie PoW (proof of work). Ot, np. policzenie czegoś stosunkowo złożonego w JS. Ktoś wpada na pomysł, żeby zamiast zużywać prąd zupełnie bez sensu, dać użytkownikowi możliwość spędzenia chwili czasu na kopaniu kryptowalut[4] na rzecz właściciela strony. Obecnie taka zmiana nie ma możliwości znalezienia się w kodzie projektu rozwijanego na Codebergu, ponieważ jej zaakceptowanie rzekomo szkodziłoby reputacji serwisu.

Oczywiście można dyskutować, czy to faktycznie ograniczenie tej wolności, bo przecież można sobie modyfikować i publikować gdzie indziej. Tylko wg mnie taka możliwość jest raczej teoretyczna – community i rozwój jest w konkretnym miejscu, nikt raczej nie będzie z powodu jednego ficzera chciał zmienić platformy, prędzej odrzuci zmianę. To nie jest hosting, że zmieniamy dostawcę, przepinamy domenę na nowe IP i już.

Rozmawiałem na ten temat ze znajomym. Pojawiło się stwierdzenie, że potem jest zdziwienie i narzekanie, że (przez tego typu akcje) ludzie nie korzystają z europejskich rozwiązań, tylko uzależniamy się od rozwiązań zza oceanu. To smutne, ale skoro lokalnie dostępna jest jedynie wolność z gwiazdką…

[1] No bo to trochę taka sztuka dla sztuki by była – mało się tam dzieje, a backup mogę przywrócić gdziekolwiek.
[2] You must not share projects that mostly consist of code written by „generative AI”-tools.
[3] Co prawda pewnie wystarczyłby tu rate limiter, no ale…
[4] To nie jest nowa idea, był plugin/serwis do kopania Monero, zamiast reklam na stronie. Z różnych powodów upadło.

GitHub backup

Od dłuższego czasu poruszany jest w różnych miejscach temat niezależności technologicznej od firm z… innych obszarów prawnych, że tak to ujmę. W szczególności chodzi o firmy spoza Europy. Jest też – nieco niezależny, choć w praktyce często zbieżny – temat uniezależnienia się do wielkich korporacji. Bo jakoś tak się złożyło, że wielkie korporacje nie są europejskie.

Przyznaję, że kibicuję obu tematom. I o ile nie czuję, że muszę koniecznie już teraz przenieść wszystkie zabawki do Europy, to… chcę mieć w razie czego taką możliwość. Pomału się rozglądam, wykonuję pewne drobne – póki co – ruchy. W szczególności jeśli z jakiegoś powodu rezygnuję z jakiejś usługi, to szukam alternatywy w Europie.

Tyle kontekstu, ale przecież miało być o backupie GitHub. Jak powszechnie wiadomo, jest to usługa Microsoftu, czyli podlegająca prawu USA. I w dodatku należąca do jednej z największych korporacji na świecie. Znaczy mogą zrobić z kodem co chcą, w tym… zniknąć go. Zamknąć dowolne konto. Usunąć dowolne repozytorium (i wszystkie jego forki). Bo tak.

Zapewne się to nie wydarzy, jeśli chodzi o moje repozytoria ale… Nie wiadomo. Bo już różne rzeczy były z GitHub usuwane. Więc ktoś kiedyś może wpaść na pomysł, że np. bruteforce PESELi to groźne narzędzie i trzeba repozytorium – albo i całe konto – usunąć. Wolę więc mieć możliwość przywrócenia swojego kodu z backupu. Backup serwerów i tak robię, wiele własnego kodu nie mam. Więc zrobienie kopii repozytoriów do katalogu, który jest objęty backupem wygląda jak proste, lekkie rozwiązanie.

Jeśli chodzi o ewentualne zastępstwo dla GitHuba, wybrałem popularną alternatywę w postaci europejskiego Codeberg.org[1]. Na którym i tak założyłem już wcześniej konto z uwagi na pewien pull request, który chciałem zrobić.

Repozytoriów trochę mam, są one publiczne, więc postanowiłem zautomatyzować robienie backupu, żeby nie musieć pamiętać o dodaniu każdego nowego repozytorium do skryptu robiącego backup. Po prostu robię backup wszystkich publicznych repozytoriów należących do danego użytkownika GitHub. Oczywista konsekwencja – i wada rozwiązania – jest taka, że jeśli zrobię fork jakiegoś większego projektu, to także on trafi do backupu. Jednak nie jest to częsta sytuacja, a nawet te większe projekty nie są aż tak duże, żeby mi to przeszkadzało.

Skrypt github-backup jest – jak widać – bardzo prosty. Wymaga zewnętrznego programu git i tylko jednej biblioteki – requests. Zasada działania skryptu github-backup jest prosta. Przechodzimy do katalogu ze skryptem. Podajemy usera jako parametr. W katalogu, w którym jest uruchamiany skrypt, najpierw tworzony jest katalog o takiej nazwie, jak nazwa użytkownika[2]. Następnie pobierana jest lista publicznych repozytoriów użytkownika. A w końcu dla każdego z nich tworzona jest kopia przy pomocy zewnętrznego polecenia git clone –mirror. I tyle. Tak utworzone kopie można przywrócić na innym serwerze przy pomocy git push –mirror. Przykład w readme.

Skrypt ma wady, których nie potrzebowałem poprawiać. Po pierwsze, robi mirror do bieżącej lokalizacji. Nie jest to problem przy planowanym użyciu, czyli z użyciem cron – po prostu wcześniej trzeba zmienić katalog. Po drugie, nie obsługuje prywatnych repozytoriów. Cóż, trochę nie miałem takiej potrzeby. Poza tym, o ile dodanie klucza, który ma do nich dostęp w trybie odczyt nie jest problemem, to nad listowaniem musiałbym się zastanowić[3]. Może kiedyś, bo jak wspomniałem, obecnie nie mam takiej potrzeby.

Plany rozwoju skryptu? Dodanie obsługi innych platform przydało by się najbardziej, bo żaden dostawca ani jurysdykcja nie dają gwarancji, że konto czy repozytorium nie zniknie. Przy czym pewnie w najbliższej przyszłości skończy się na Codeberg, bo tylko tego aktualnie używam i będę miał jak przetestować. Może jednak dodanie obsługi prywatnych repozytoriów?

W każdym razie jeśli rozwiązanie komuś się przyda, to zachęcam do używania. I oczywiście robienia backupów, w tym przypadku własnego kodu. Niezależnie od metody.

UPDATE: To naprawdę prosty skrypt i główną zaletą jest brak potrzeby jakiegokolwiek uwierzytelniania, jeśli ktoś potrzebuje więcej, to istnieje np. ghorg.

[1] Ogólnie jest to serwis godny rozważenia, choć community o wiele mniejsze.
[2] Uwaga, najpierw jest usuwana cała zawartość katalogu o takiej nazwie, jeśli istnieje!
[3] No dobra, sprawdziłem, wystarczy dodać obsługę PAT (personal access token) i stosownie skonfigurować ich uprawnienia.

FireHOL mirror is dead, long live FireHOL mirror!

Jakiś czas temu pisałem, że repozytorium projektu na GitHubie jest nieaktualizowane. Można było się przełączyć na pobieranie danych ze strony projektu FireHOL, ale przy niektórych zastosowaniach jest to mniej wygodne.

W komentarzach do zgłoszonego issue pojawił się link na nowy, lepszy mirror list FireHOL. Jest to stosunkowo świeże i robione przez niezależną od projektu osobę, ale LGTM i mam nadzieję, że będzie działać.

Czemu lepszy mirror? Ano dlatego, że jest parę ulepszeń, albo nawet i poprawek w stosunku do oryginału. Po pierwsze, usunięte są adresy prywatne. Usunięte są także stare blocklisty. I na koniec usunięte zostały niespójności pomiędzy plikami z sieciami i plikami z IP.