Posts Tagged ‘fosdem’

2017-02-07 FOSDEM 2017

Tuesday, February 7th, 2017

И преживяхме FOSDEM 2017.

Бяхме там с Марио, Любо, Маги, neter и zeridon (а Мариян беше там да присъства на конференцията, но се включи към нас) да правим видео/аудио записите и streaming-а. Три дни се ставаше рано и цял ден се дебъгваше (и за доста от хората – тичаше напред-назад, Любо каза, че единия ден е направил 27000 крачки), имаше всякакви странни проблеми и като цяло беше голямо забавление, приключено със ставане в 6:30 в понеделник да си хванем самолета. Като се прибрах спах 12 часа. Справихме се със събитие от 24 зали, два дни, около 600 лекции и 8-9 хиляди посетители (и не знам колко точно дъжд).

Малко снимки има на /pics/201702fosdem/, като на една от тях може да се види колко съм щастлив (това е в петък още, после имах основно уморен вид).
(снимките са от Мариян и Любо, като ще се опитам да намеря и още)

Като статистики не съм събирал кой-знае колко, мога да кажа само че пиковият трафик на restreamer-ите беше 630mbps, далеч под очакванията (това, което бяхме подготвили можеше да издържи спокойно 4gbps и се разширяваше лесно). Някакъв status на видео записите може да се види в review системата, като мога да се похваля, че имахме готови видеа още в събота вечер, а като гледам днес вече са release-нати половината.

И най-интересната част, проблемите, в които се набих (като преди това може да искате да прочетете архитектурата и да видите схема с една зала):

Явно съм забравил какво значи best effort в IP/Ethernet мрежите. При 72та multicast stream-а и при 300pps на всеки в един момент се оказа, че по switch-овете има microburst-ове, които ни ядат пакетите от време на време. Това водеше до примигване на някои stream-ове, до ошашкване на ingest-ващия ffmpeg и вадене на картина с 1fps (като па аудиото си беше добре), артефакти и други гадости.

– Първият опит за решение беше включване на flow control-а. Това доведе до спиране на всичко за 5-10 минути (и липса на stream и видеа в review системата от тоя период, добре, че има записи по кутиите) и желание за по-внимателни fix-ове.
– Последва ровене по switch-овете, забелязване на едни броячи за твърде големи пакети и след това форсиране на 1000 байта горна граница на пакетите във ffmpeg. Не помогна;
– Вдигнахме за всеки случай и MTU-то на switch-овете, пак не помогна;
– Като вариант за pacing на портовете преместихме някакви неща на 100mbps да вкараме изкуствено забавяне, тотално омаза ситуацията;
– В един момент единия от мрежарите откри, че няма контрол в/у буферите на повечето switch-ове и реално ползваме 1/4 от буферите (щото всичкия ни трафик се набива в една опашка от 4те) и че няма свестен начин да използваме и 4те. Само на единия switch бяха пипнати и помогна, но малко;
– Смъкнах и bandwidth-а на входящите stream-ове от 4mbps на 2mbps, не помогна особено.

Решението за догодина е или Reliable Datagram Socket (Мариян обеща да напише support-а за ffmpeg и го държа отговорен), някакъв forward error correction (някакви хора са написали pro-mpeg поддръжка за ffmpeg, но не е merge-ната), или lossless мрежа и по-добри буфери (което казаха, че може и да може да се осигури за догодина). Шегувахме се, че мога да мина на infiniband за видеото.

Интересно е, че всъщност съм се сетил за проблема, но не ни се е видяло достатъчно важно да мислим решение.

Другите проблеми бяха по-малко интересни – утрепахме тока на сървърното (докато включвахме неща в съвсем друго място), хората не знаеха как да ползват микрофони, гърмя хардуер, валя дъжд (но не в залите), хората тичаха, врати се заключваха (автоматично), за малко neter и Мариян заседнаха в един асансьор и куп други неща, дето вече не помня.

(и за разлика от openfest, тук сървърите не бяха в/у тръбите на парното, а в стаята до него…)

Update: Току-що открих, че push-ването на видео извън мрежата е генерирало ~600GB, а системата, която генерира картинките за преглеждане на контролния интерфейс – ~7.1TB (постоянни 300mbps). Май съм бил най-големия генератор на изходящ трафик на FOSDEM 2017. Чудя се да се радвам ли или да се ужасявам.

2011-02-10 FOSDEM

Thursday, February 10th, 2011

И така, отиде се на FOSDEM. Червото и компания не успяха да се доберат до багер, та нямаше големи ексцесии.

Престоят в Брюксел си беше ок – температурата беше по-висока от тая в София, за сметка на това имаше бая вятър. Бях в един хотел, който явно от доста време не беше ремонтиран сериозно (на самия център), а стаята ми гледаше към улицата и още на първата вечер реших, че ще се спи с тапи за уши (след като към 2 някакви хора минаха под прозореца ми пеейки).
Също така бирата им може да е малка (330ml), но па е 8% в много от случаите. Добре си пийнахме. По свидетелски показания червото почти заспал на масата, след като изпил 20-и-нещо бири.
Хубавите жени бяха основно в подсъдна възраст. Мъка.

Успях да присъствам на следните лекции:

1) Политическата лекция на Ебен Моглен. Основният въпрос беше как свободата на мрежата изостава и как услугите, които ползваме, от достъпа до разните web-базирани услуги са твърде централизирани и лесни за спиране/атакуване от разни хора, на които ние не вярваме особено (например щатското правителство). От една гледна точка идеята е добра, но като се заговори за реализацията, се почна едно обясняване как идеята е да имаме всички по едно малко устройство, което да играе router/server за отделните хора, да се mesh-ват и да може да се минава откъдето си искаш към Internet. Технически няма подобна реализация и не е ясно дали изобщо може да стане (текущите mesh протоколи с над 1000 точки почват сериозно да се шашкат, а и всичките са intradomain, т.е. когато устройствата са под един административен контрол). Да не говорим, че всяко едно тоталитарно правителство с малко инвестиции в микровълнови фурни и малко patch-ване да работят на отворена врата могат да убият всичкия wireless в един град без особени усилия…

2) Лекцията за Clang и LLVM – нищо ново, накратко по-бърз и по-добър компилатор от gcc, заради новата си по-изчистена архитектура.

3) Две лекции (“DevOps and more” и “I’m going M.A.D.”) за конфликта м/у разработчици и оперативни хора и какво може да се направи по въпроса. В тон с оптимистичния тон на конференцията идеята беше, че може двата типа хора да работят заедно и да се избегнат стандартните проблеми (например софтуер, който е тотално неизползваем в production). Идеята е добра, но имам някакви съмнения за реализируемостта и.

4) Дискусията за реформата в Gentoo – умряла работа почти като самата дистрибуция (въпреки техните твърдения). Излязох на средата, понеже нищо не се чуваше от това, което се говори (FOSDEM определено трябва да помислят за озвучаване на всички зали, не само на големите).

5) Debian GNU/kFreeBSD (известно още като “абоминацията”) – разказаха как проектът вече го има в последния stable release на Debian, просто е маркиран като technology preview (но си работи, има си инсталатор и т.н.). Имаше въпрос дали FreeBSD хората са щастливи от това, и отговорът беше, че са – повечето patch-ове, който debian-ци са написали, са приети във freebsd ядрото.

6) Practical Go programming – пак нищо особено интересно. Езикът не изглежда зле, има някакъв приличен framework, но не е нещо особено и велико. Може би и това му е основното предимство – лесен и чист начин човек да си свърши работата, без глупости.

7) Storage технологиите, които facebook ползва за съхраняване на съобщения – една доста притеснителна лекция. Фокусът беше в/у как те са реализирали складирането на 15 милиарда съобщения и 120 милиарда chat-а на месец, 25TB данни с възможност за индексиране и търсене. От архитектурна гледна точка изглежда съвсем нормално (например три копия, като ако едно изчезне, веднага се прави ново такова) и описаха софтуера който ползват (всичкия е отворен и те постоянно интегрират собствените си промени обратно в upstream-а и реално ползват официалната версия), но плашещият момент беше идеята им как пазят всичко, което минава през тях (вкл. sms-и, email-и и т.н.) и колко хубаво било това. Беше техническа лекция, та не вървеше да се зададе политическия въпрос “защо трябва да ви вярваме за каквото и да било”…

8) Лекцията на Johnatan Corbet (редактор на lwn.net) за проблемите в linux kernel development-а – доста интересно, беше събрал доста примери за провали около kernel development-а (както каза той, не е интересно да обясняваме колко добре се справяме, щото човек реално се учи от грешките си). Беше интересно, даде на *bsd хората около мен причини да се подхилват (те ако направят такава лекция за техните издънки ще е поне два пъти по-смешно, ама не смеят)…

Успях да говоря с хората, които правят GTA04 – следващия openmoko телефон, т.е. такъв, чиито софтуер е изцяло отворен и под контрола на потребителя. Очаква се скоро да имат нещо готово и използваемо, изглежда и че софтуерът е претърпял сериозна еволюция в последните две години, та най-вероятно ще си струва да се пробва пак.

Не можах да изобщо да посетя Data analytics, Security и Telephony track-овете (които през повечето време бяха препълнени и нямаше как да се стигне дотам). Ако вместо два събитието беше да речем 5 дни в по-малко (и по-големи) зали, можеше да е малко по-лесно…