татко Крокодил

And something to finish the HAR2009 topic, not to forget it…

It was fun, however you look at it. It was smaller than WTH (and I really hope that the next one will be with at least 5000 people) and definitely the level of lectures seemed weaker (especially after some really tragic ones), but in the end it was worthy attending to see the people, to play with some fun stuff, to polish my knowledge on such networks (and on isc-dhcpd). Also I found out how bad an idea was to rent the terrain a piece at a time and not to have a good enough schedule, as we needed to change ours a few times and we got some overloads we could’ve lived without …

And as it’s the easiest, a list of things that happened:
We celebrated there Niels’ and Arien’s birthdays;
I passed a bit over my recommended dosage of alcohol and didn’t have a hangover (even though I went through a bottle of wine one of the nights almost without realizing it);
I had a very interesting conversation with Will on the topic of IXes that we need to finish some day;
A few times we really felt we should’ve brought Delian;
Turned out that we’ve pulled about 7km of fiber and stuff like that, details are available in the NOC team presentation;
I also felt that I should’ve taken my tarambuka with me (although not taking it might have saved my life);
Chervarium’s snoring was probably heard by all (even one of the mornings he was sounding like a mythical creature);
The lights in the camp were incredible, there are a lot of pictures;
We had the most fun co-location in this world, three racks in a small wooden house with two air conditioners, one big fan at the back to suck the hot air to the outside and a door, made of nylon and planks, to separate the hot and cold parts;
I was finally convinced that the phone people are one of the worst when it comes to pulling cables;
We found a note in one of the switch cabins that the lock was openable in 5 seconds. How to explain to these people that it’s mostly there to stop people from accidentally peeing on the switches;
Most of the communication with the people was at the infodesk, next time we’ll see if we can get some functions back, as it got somewhat boring;
We actually made the network so well that we felt bored for a few days, having nothing to do;

The recordings you can get here or on some of the official mirrors.

И нещо завършващо по темата HAR2009, че иначе ще го забравя…

Събитието си беше весело, както и да се погледне. По-малко беше от WTH (искрено се надявам, че следващото ще е с поне 5000 човека) и определено нивото на лекциите донякъде ми се видя по-слабо (особено след като бях на една-две тотално трагични), но в крайна сметка си струваше да се видя пак с толкова хора, да си поиграя с разни забавни неща, да си оправя знанията по темата за подобни мрежи (и за isc-dhcpd-то). Също така разбрах колко лоша идея е да се взима на парче целия терен и да не е ясно кое кога какво, понеже няколко пъти ни се наложи да преправяме реда на кое кога се прави и се получиха малко претоварвания, без които можехме да минем…

И понеже е най-лесно, ето списък на случили се неща:
Отпразнувахме на място и рождените дни на Arien и Niels;
Минах си дозата алкохол без да имам махмурлук (едната вечер изсмуках една бутилка вино без да се усетя);
Проведох един интересен разговор с Will по темата за internet exchange-овете, който трябва да се довърши;
Няколко пъти се ядосвахме, че не сме примъкнали Делян;
Оказа се, че сме опънали около 7км оптика и други такива неща, има подробности в презентацията на NOC екипа;
Страшно ме беше яд, че не съм си взел тарамбуката (въпреки че е вероятно това да ми е спасило живота);
Хъркането на червото се оказа, че са го чули всички (даже едната сутрин звучеше като митично чудовище);
Осветяването на лагера беше невероятно, има бая снимки;
Имахме най-забавния co-location на тоя свят, три rack-а в дървена къщичка с два климатика, един огромен вентилатор да засилва навън горещия въздух и една врата, направена от найлон и дървени дъски, за да разделя топлата от студената част;
Убедих се, че телефонджиите са най-ужасните хора, като се опре до опъване на кабели.
Един път намерихме бележка в една от кабинките със switch-ове, че ключалката се отваряла за 5 секунди. Как да обясниш на хората, че тя е повече за напомняне да не се опитват да се изпикаят върху switch-овете;
Почти цялата комуникация с хората беше в infodesk-а, следващия път ще видим дали пак не можем да си върнем малко функции, че беше леко скучно;
Направихме всъщност толкова добре мрежата, че ни беше скучно няколко дни без какво да правим;

Изобщо, веселба. Записите от събитието може да намерите тук и по разните официални mirror-и.

Последен събитиен ден на HAR…

След около 6-7 часа почваме да гасим мрежата и да събираме. Аз ще съм тук до сряда/четвъртък, после ме чака един полет с доста стоене по летища и на 21ви в около 1-2 през нощта ще съм си в София. Още не ме е хванала толкова носталгията, ама определено ми се прибира :)

Вчера не ходих на почти нищо освен лекцията по темата за exploit-ването на google native client-а (която се оказа доста интересна), лекциите за GSM нещата и тази на lockpicker-ите ще си ги гледам после на спокойствие – в залите беше ужасно топло и постоянно заспивах :)

Сутринта изобщо не ми се ставаше, въпреки че легнах рано. Май и тука съм успял да се преуморя :) Ще се поспи два дни в София, преди да ида на работа.

Ще напиша едни по-подробни генерални впечатления по-нататъка.

The day started with a boring lecture on BGP/MPLS, etc., which mostly said “if someone has access to your core network, can do bad stuff”. Well, duh.

In the afternoon there was a great panel with the boss of BREIN (the dutch RIAA) and two people, really fun. Especially the moment in which the BREIN guy was saying how thepiratebay was making a lot of money and someone on the mike asked “And do you know where that money is, I want some of it” – turned out that one of the TPB people is at the conference. We almost died laughing… It was really interesting, especially in the end the moderator said that all of the arguments on both sides he had described 10 years ago in his doctor thesis. It’s a bit sad…

There were a few fun problems on the network – like that someone has looped their switch that was also eating the STP packets and was flooding us with broadcast, some people had bridged the wired and wireless networks (fuck knows why, that didn’t create any problems). We also needed to replace a 99m UTP cable with fiber as it was flapping…
But the funniest discovery was that all the flow control needs to be disabled, as some of the switches when some ports overloaded started to send upstream pause frames and were fucking up their upstream link.
(and just a bit ago we fixed one problem of the co-lo center by unplugging a cable, as some machine had managed to overload their foundry switch. We left it to them to find out why – and we’re waiting for them to tell us, maybe the machine was doing bridging).

Dan Kaminsky’s lecture was great, we continued to talk afterwards, with his whisky (we drank well, I definitely need to bring him a bottle). He is saying that until the end of the year the root will be signed, and that in year or two we’ll see serious usage of DNSSEC. I told him that he’s too optimistic, he replied – when have you seen an optimistic security guy?:)

And of course, there was one really successful hack in the network – because we support DDNS update for the people on DHCP, someone registered wpad.visitors.har2009.net (WPAD is a protocol for automatic proxy configuration), after which he gave the people that connected to him himself as a proxy server and started to listen to the traffic. In short, around 800 idiots^Wpeople started using that… At some point we setup the wpad in our part of the network and I’m recording the traffic to it, to see who is trying to use it and with which client.

Recordings from the talks can be found here, I’m mirroring them at the end of each day to home.

(and a new day is starting, with a lot of fun things. I should’ve uploaded this last night, but got lazy after so much drinking)

Денят започна с една скучна лекция за BGP/MPLS и т.н., която в общи линии се свеждаше до това “ако някой има достъп до core мрежата ви, може да прави лоши неща”. А добро утро.

Следобеда имаше страхотен панел с шефа на BREIN (холандската RIAA) и двама човека, беше адски забавно. Особено момента, в който човека от BREIN обясняваше как thepiratebay печелели много пари и някой на микрофона пита “А да знаете къде са тези пари, искам някаква част от тях” – оказа се, че един от хората от TPB е на конференцията. Умряхме от смях… Иначе беше доста интересно, включително водещия на панела най-накрая каза, че всичките доводи от двете страни ги бил описал преди 10 години в доктората си. Доста тъжна работа…

Имаше няколко забавни проблема по мрежата – единия беше от това, че някой беше loop-нал switch-а си, който изяждаше STP пакетите, и съответно плюеше стабилно количество broadcast към нас, разни хора бяха bridge-нали wired и wireless мрежата (дявол знае защо, реално никакъв проблем не беше). Трябваше и да сменим един 99-метров UTP кабел с оптика, понеже правеше проблеми…
Най-веселото откритие обаче беше, че всичкия flow control трябва да се изключи, понеже при някои случаи един от switch-овете започваше да праща pause frame-ове и потрошаваше връзката си нагоре.
(а преди малко оправихме проблема на co-location центъра с изваждането на един кабел, понеже някаква машина претоварваше foundry-то им. Остана да разберат защо сървъра, закачен там им претоварваше switch-а – чакаме да ни кажат, най-вероятно bridge-ваше)

Лекцията на Дан Камински беше страхотна, продължихме разговора и след това, с неговото уиски (добре си пийнахме, трябва да му занеса една бутилка). Той твърди, че до края на годината root-а ще бъде подписан, както и че до година-две ще видим сериозно прилагане на DNSSEC. Казах му, че е твърде голям оптимист, а той отговори – ти па кога си виждал security човек, дето да е оптимист?:)

И разбира се, имаше един наистина успешен hack в мрежата – понеже поддържаме DDNS update за хората на dhcp, някой си регистрирал wpad.visitors.har2009.net (WPAD е протокол за автоматична конфигурация на proxy-та), след което раздал на хората, дето се свързали към него себе си като proxy и почнал да слуша трафика. Накратко, около 800 идиота^Wчовека тръгнали да го ползват… По някое време закачихме wpad-а към нас и в момента записвам просто кой се опитва да си говори с него, да ги преброя после и да видя кои клиенти го правят.

Записи може да се намерят ето тук, аз си ги mirror-вам на края на деня до вкъщи.

(и започва нов ден, днес има бая интересни неща. Аз това трябваше да го кача снощи, ама ме домързя след толкова пиене)

First event day.

Nothing broke seriously, at some point I got bored and went out to debug users’ problems. From the list of lectures today there aren’t that many interesting to me, I went to see one of the security guy from XS4ALL (which was pretty interesting), in the evening I’m thinking about a few. Tomorrow there’s a long list of interesting stuff, I’ll see what when.

They started the local GSM network, I already connected to it with one of my cards. It’s mostly like this – you try to connect to NL 42 (or 204 42, as it’s seen in some phones), you receive one SMS with some registration data in a web page, and after registration you can register in it and use it. Becuase of some regulatory issues you can’t link it with another network (and they still lack the code that pulls audio out of it). They’re using OpenBSC, not OpenBTS (that’s an implementation based on GNUradio), but they’re expecting the OpenBTS people to show up at osome point.

The backup blanket arrived (Marian showed up yesterday), which really helped sleeping. Marian’s arrival also included also the bringing of liter-two rakiya (really good), the drinking of which moved to the exchange of hard liquors with the polish. In the morning half the NOC was looking a bit hung-over :)
(and it definitely helped sleeping)

It still hasn’t rained today.

Първи събитиен ден.

Нищо не се чупи сериозно, от скука обикалям от време на време да дебъгвам user-ски проблеми. От списъка лекции днес няма чак толкова интересни, ходих на една на security човека на XS4ALL (която беше доста забавна), вечерта се колебая между няколко варианта. Утре има сериозен списък интересни лекции, ще се мисли кое къде.

Пуснаха локалната GSM мрежа, закачил съм се за нея с едната си карта. В общи линии се прави следното – опитва се човек да се закачи за NL 42 (или 204 42, както се вижда в разни телефони), получавате един SMS с разни данни за регистриране в един web, след което след няколко минути може пак да се регистрирате в мрежата и тя си работи. Поради разни законови пречки не може да бъде закачена към някоя друга мрежа (а и в момента нямат кода, който да вади audio от мрежата). Ползват OpenBSC, а не OpenBTS, което е цялостна реализация с GNUradio, но май се очаква и OpenBTS хората да се появят по някое време.

Пристигна ми резервната завивка (Мариян се появи вчера), което доста улесни спането. Пристигането на Мариян също така включваше и докарване на литър-два ракия (мноооого ароматна и приятна), чието пиене прерастна в размяна на твърд алкохол с поляците. Сутринта половината NOC гледаше накриво :)
(определено и се спа по-лесно)

Днес още не е валяло.

Fun.

So, we have a working DHCP in failover mode, working in the 52 VLANs and everything seems fine. But, I think that all its developers are idiots, as I’ve hit a few really stupid problems.
(background information – we’re using the same version on the same hardware, on a freebsd and ubuntu).

1) When a peer is defined, both sides have to be named in the same way, or it would refuse to link. Seems stupid to me.
2) Again in the peer definition, if peer port and port are the same, it refuses to connect. WTF.
3) If both machines’ clocks differ with more 60 seconds, it doesn’t link. Tis is OK, but then one of them crashes with SIGSEGV.
4) While in failover mode, you can expect all kinds of weird messages looking like errors, which are actually normal, like:

dhcpd: bind update on 87.76.100.23 got ack from SERVER2: xid mismatch.
dhcpd: bind update on 87.76.104.41 from SERVER2 rejected: incoming update is less critical than outgoing update

5) From time to time they might lost connectivity and stay in a weird hanging mode, in which they easily overflow a pool. Most probably the problem is this one, but I haven’t seen a solution yet, I think it’s not fixed in 4.1 either. The only way to know that has happened is by doing

grep 'failover peer' /var/log/syslog

and the last thing at the end is

dhcpd: failover peer SERVER2: peer moves from normal to communications-interrupted

(without any commonications-interrupted to normal transition later)

I tried running dhcpd 4.1, but it had some weird issues too (although I tested it just for a bit, I got a bit mad at the compilation – had to hack some things and to remove the dhcpv6 support).

In short, the failover protocol is crap.

Веселба.

В общи линии имаме подкарано работещо DHCP във failоver режим, работи си в 52-та VLAN-а и всичко изглежда наред. Смятам да обявя обаче developer-ите му за идиоти, понеже досега се набих в няколко наистина идиотски проблема.
(като информация – бутаме една и съща версия на един и същи хардуер на едно freebsd и едно ubuntu).

1) Когато се дефинира peer, трябва от двете страни да е с едно и също име, иначе отказва да се закачи. Вижда ми се рядко глупаво.
2) Пак в peer дефиницията, ако port и peer port са едно и също, пак отказва да се закачи. WTF.
3) Ако имат разлика в часовниците над 60 секунди, не се закача. Това си е OK, ама после веднага единия от двата crash-ва със SIGSEGV.
4) Докато се работи във failover, може да очаквате всякакви странни съобщения, изглеждащи като грешки, които са нещо нормално, например:

dhcpd: bind update on 87.76.100.23 got ack from SERVER2: xid mismatch.
dhcpd: bind update on 87.76.104.41 from SERVER2 rejected: incoming update is less critical than outgoing update

5) Може от време на време да загубят връзка и да останат в странен зависнал режим, при който страшно лесно ще напълнят някой pool. Най-вероятно проблема е този, но никъде не съм видял решение, май и в 4.1 няма. Единственото, по което може да се познае, че е станало нещо такова е, ако при

grep 'failover peer' /var/log/syslog

последното, което видите е нещо като това:

dhcpd: failover peer SERVER2: peer moves from normal to communications-interrupted

(без да има после от communications-interrupted до normal)

Пробвах да пусна dhcpd 4.1, но то също имаше разни проблеми (въпреки че го пробвах съвсем за малко, издразних му се на компилирането – трябваше да пипна няколко неща и да махна dhcpv6 поддръжката).

Накратко, failover протокола им е пълна мазаница.

Today it finally got warmer.

We’re finishing the network now, I think that most cables are pulled, tomorrow/the day after it the switches will probably be lit. The DHCP setup took more than expected because of problems in isc-dhcpd – at the moment you run it in failover mode, it starts to have some weird issues and to give strange error messages (and, to die with SIGSEGV in some cases). I had to read the source a few times, to be able to understand why some stuff happens (at least there were comments that explain a lot more than the documentation)…

Another fun moment is that the food is pretty good and I’ll probably be eating healthy for whole 12 days – something that hasn’t happened in a long time (this much).
(and the Dutch food is weird, but edible)

In the last days I wake up at 7 in the morning because of the cold. It’s nasty, but I might have found a solution (and Marian arrives in two days and I’ve asked him to bring some stuff :) ).

And it finally rained, which is amazing – there were three consecutive days without rain.

Днес най-накрая се постопли.

Довършваме мрежата в момента, мисля, че повечето кабели са опънати, утре/вдругиден ще се запалят и switch-овете. Вдигането на dhcp-то отне малко повече от нормално нужното време заради проблеми в isc-dhcpd – в момента, в който се пусне във failover режим, започва да прави криви проблеми и да дава станни съобщения за грешка (и в някои случаи – да гърми със SIGSEGV). На няколко пъти ми се наложи да чета source, за да схвана защо се държи по определен начин (поне там се намират коментари, като ги няма по документацията)…

Друг забавен момент е, че храната хич не е лоша и най-вероятно ще се окажа, че ще ям здравословно цели 12 дни – нещо, което определено отдавна не ми се е случвало в такъв размер.
(а холандската храна е странна, ама става за ядене)

Няколко дни се будя в 7 сутринта заради студ. Крива работа, ама май съм измислил решение (най-малкото Мариян пристига след няколко дни и съм му поръчал да донесе няколко неща :) ).

Чак сега заваля, направо учудващо – имаше три поредни дни без дъжд.

We’re here at Budapest airport, drinking beers and waiting for flights.
(at first their net wasn’t working, but it came back, probably they’ve rebooted their router. I wondered if I should go and ask them if there was any problem).

I had to get up at 4 in the morning (I heard my phone and my first thought was “and why shouldn’t I snooze”), got to the airport and with some problems we flew ot Budapest. We already figured how to get to the event, so what’s left is to make our way in Holland…

My luggage turned out to be 22.8kg, probably on the way back it will be more, as the main export product of Holland is the rain.

Висим си на летище Будапеща, смучем бири и си чакаме полетите.
(първоначално net-а им не работеше, ама се освести, вероятно си бяха наритали router-а. Колебаех се да ходя да ги питам дали имат проблем)

Трябваше да стана сутринта в 4 (чух си телефона и първата ми мисъл беше “А защо да не си доспя”), добрахме се до летището и с малко проблеми се долетя до Будапеща. Знаем как да се доберем до мястото на събитието, така че остана само малко да се оправим в Холандия…

Моя багаж се оказа 22.8кг, вероятно наобратно ще е повече, понеже така и така основния експортен продукт на Холандия е дъжда.