татко Крокодил

Свърши не-курсът по системна администрация. Ето какво горе-долу се случи в него:
(за справки, повечето неща се намират в wiki-то или в архива на maillist-а)

Всичко започна с един входен тест. Не беше нещо особено – идеята му беше да се изберат 10 различни човека, които да участват. Няколко човека, които бяха успели да се запишат за digest на листата и не бяха успели да попълнят теста, но останалото мина сравнително добре.

Последва инсталацията на машините. Имаше няколко различни проблема, които хората пребориха и един security такъв заради моята идея със setup с xvfb, който доведе до това единия участник да може да влезе в машините на няколко от другите участници.

(списък на задачите)

Първите задачи бяха да се подкара DNS за техните зони, irc и ntp. Услугите бяха просто и идеите бяха хората да си свикнат с машините и да могат да работят заедно, понеже DNS-а и IRC-то изискваха някаква координация – за първото всеки трябваше да има поне един secondary server, за второто четните и нечетните трябваше да си направят отделна мрежа.

Последва “разместване” – всеки трябваше да си предаде машината на някой и да приеме на трети неговата (без преинсталация). Предаването и приемането на нещо, което някой друг е правил по принцип на човек му се случва рядко, доста често му пада от никъде и е от типа неща, които притесняват хората и се допускат много грешки. В един момент си мислех, че трябва да си предават машините всяка седмица, че да претръпнат, но беше заместено от други неща.

След разместването беше “седмицата за почивка” – няколко задачи, които би трябвало да отнемат малко време, в продължение на седмица и малко, за да може хората да си планират сами времето и да решат кое кога да направят. В това влизаха неща като backup, restore и monitoring, както и да свържат двете irc мрежи в една.
Понеже двата екипа бяха избрали различни сървъри и под-протоколи на irc, за да си направят мрежите, свързването им се оказа интересен проблем, доста повече социален – нямаше практически начин двете мрежи да си говорят, поради огромната разлика в протоколите (TS5 и TS6, както и локалните модификации в UnrealIRCD и ircd-ratbox). Цялото нещо стана в общи линии в последния момент, но поради събрания опит при инсталацията всичко стана много бързо.

Имаше и подкарване на поща, с alias-и, прехвърлящи между машините. При тестовете даже успя да crash-не една от машините.

Последва задачата за възстановяване от backup. Беше доста забавно (за мен)…
(счупването на дисковете беше симулирано със следния скрипт:

sz=`ls -l "$1"| awk '{print $5}'`
let m=$sz/1048576
n=0;

while [ $n -lt $m ]; do
	let n=$n+1
	dd if=/dev/urandom of="$1" bs=1M count=1 seek=$n >/dev/null 2>/dev/null
	let n=$n+1
done

пуснат в/у всеки от виртуалните дискове, без предупреждение)

Следващото задание беше да се свърши от всеки една задача върху всички машини, т.е. да се тренира работата върху много машини едновременно и да се автоматизира по някакъв начин. Задачките бяха сравнително прости и всички се справиха с тях.
(основният урок май беше нещата да са максимално еднакви навсякъде :) )

Финалната задача беше да се направи услуга, при която може да се качва на всяка машина файл и да може да се вижда от останалите. Реализацията, която направиха беше много интересна – WebDAV в/у gluster – и сработи доста добре.

Като цяло аз съм доволен от курса, мисля, че и хората бяха. Не очаквах да отпаднат толкова много хора, най-вече, но и в останалото имаше доста изненади – какво се избираше като софтуер, как се реализираха нещата и т.н. (много помогна да не давам конкретен софтуер за инсталация).

Ето няколко от интересните mail-ове в листата, вместо край:
проблемът с xvfb
мрежов проблем с две виртуални машини на един интерфейс
начало на дискусия за пакетни системи срещу локално компилиране
дискусии за двете irc мрежи
ssl проблем с ircd-ratbox
самоотрязване на достъпа
свързването на двете irc мрежи

(и не ми се рови повече)

Днешния ден си заслужава описване сам по себе си…

Всичко си беше добре, докато не ми се обадиха с един проблем. Спряла сравнително важна машина (и сложна за дублиране), която не е убила всичко, но е добре да се върне.
Стандартният начин с reset не свърши работа, та се засилих към ipmi-то да се опитам да видя конзолата. Да, ама там на софтуера изтекли някакви сертификати и се оказа много много сложна задача да бъде подкаран, а понеже машината е доволно отдавнашна, не е ясно каква е точно и реших да не flash-вам firmware на сляпо.
Намери се един tool от supermicro, който да може да си говори с ipmi-то и конзолата. Последва паралелно подкарване на няколко варианта – пускане на тоя софтуер на машина там и гледане през remote X, подкарване на друга машина, подкарване вкъщи (много тъпа идея, щото vpn-а ми от там отиваше до счупената машина), подкарване при мен на лаптопа и на нов vpn (аз все пак си бях още в Холандия). Всичко това се развива в последните часове преди полета ми, та съответно трябва да се бърза…
В крайна сметка се добрах до желязото (първо през една толкова претоварена машина, че можеше да се работи до 10 минути и после се успиваше) и се оказа, че след всичките upgrade-и прекрасното gentoo просто не си казва и не си update-ва конфигурационните файлове, та мрежата (която има доста сериозна конфигурация) просто не тръгнала, заедно с още 4-5 service-а, дето пак има промени по конфигурацията им.
С проби и грешки (които, колкото и да е странно ми се струват повече от пробите) успях да подкарам базови неща по машината и да се вижда отвън. Финалните неща ги дооправях по пътя към летището, през tethering през някакъв телефон (за което много много много благодаря). Опитах се да се свържа с някой да види дали не съм пропуснал нещо, ама не можах да открия никой.
(останали бяха две не-спешни неща, които оправих преди малко)

Успях да си забравя една от книгите, та в самолетите четох от лаптопа, добре, че и там си държа поне няколко книги.

На летището в Амстердам ме забавиха, защото някаква част от usb оборудването ми (един usb вентилатор) им беше заприличал на патрон (мисля, че Тинчев или Чорбаджийски ми го подариха), беше си направо смешно…
(нещо такова, ама само горната част, то е разглобяем комплект)

Полетът ми до Виена закъсня и трябваше малко на бегом да стигна до изхода за следващия, но те малко го забавиха и всичко стана както трябва (като гледам, и багажа ми са го прекачвали на бегом, има една лепенка на Lufthanza “HOT”).

А София ме посрещна с дъжд. В Холандия не успя да ме навали, а тук успя, направо ми е трудно да го повярвам. Мисля да видя дали няма още нещо счупено или за дооправяне и да си легна.

Събирането за подготовката на OHM2013 мина добре. Видяхме един голям и много хубав hackerspace, на Яна и пирографираха с лазер една бисквитка, пихме до никое време (бутилката Lagavulin свърши за нормално време, червото много помогна), избрахме някакъв начален дизайн (Bob T. Hacker беше особено интересен, не беше избран, но хората така и така са навити да направят една огромна надуваема кукла да се извисява над събитието). Показаха и избраното място (т.е. най-най-вероятното, все още може да се случи нещо странно) – намира се до езеро, по-голямо е от това за HAR2009, предполага се, че ще събере над 3000 човека (т.е. няма да има върнати) и е близо до цивилизация, има шанс да мога да спя нормално и в човешки условия.

Ходих в Амстердамския университет, да погледна как водят една магистратура по системна администрация (запознах се на един купон с човек, който учи там), и донякъде ми стана тъжно, донякъде умрях от завист. Не е само това, че си имат достатъчно хардуер, свързаност и т.н. да си правят всякакви експерименти, но и всички е организирано като да е удобно и подходящо за учене, а програмата им е настина добра (даже на едно от централните бюра стоеше “The Practice of System and Network Administration”) – например в момента бяха на Penetration testing. Не вярвам да видя подобна програма (и правилно преподадена) в който и да е български университет…

Успях и да посетя една книжарница и да се натоваря с книги (добре, че куфарът ми е само 10кг от позволените 20, та ще мога да ги пренеса), основно с неща, които не би ми хрумнало да си търся в online книжарниците – малко Hunter S. Thompson, сборници разкази, новата на Скалзи, както и едно хартиено копие на Watchmen. Поне ще имам какво да чета по обратния път, след като си издъвках двете книги на път за насам.

А, и ако не съм казал – в Холандия е студено.

Накратко:

В Холандия съм. Всеки път подценявам колко студено е в тая държава.

Пътувахме с малко премеждия, например закъснял полет, пристигане в хотела по никое време и ходене до съседния, за да си вземем ключовете. Едно от хубавите неща беше, че двете книги, дето чета от почти месец ги изчетох по пътя. Лошото на последното е, че нямам нищо за четене на хартия и ще трябва да ползвам лаптопа за четец.

Hackerspace-а тук е много добър, въпреки че е по средата на нищото.

Започнал съм едно дълго писание за не-курса (който приключи на края на миналата седмица), надявам се да го довърша като се прибера.