Posts Tagged ‘marla’

2024-04-06 нова marla, нов tyler, миграции

Saturday, April 6th, 2024

И дойде време за подмяна на хардуера.

marla.ludost.net последно е подменяна през 2016, и имаше нужда от refresh.

За разлика от предишните, новата е 1U. Сега е AMD EPYC 7303P, 128 GiB RAM, и три броя 7.68TB NVMe-та в RAID5. В сравнение с предишната направо лети.

Хардуерната част беше по-лесната. Машината беше още на Debian 9, с купчина ръчно компилирани неща, с разни стари услуги и какви ли не странности. За миграцията имах 40тина неща за подготвяне, и план за самата миграция план от 45 точки какво има да се пусне/спре/мигрира и т.н.. От по-забавните:

– Не ми се занимаваше да мигрирам до maiman3, така че си build-нах пакет за mailman2, с python2 и всичко останало. Тва ще живее в миналото, докато не събера желание да пренеса миграцията до нещо по-модерно. Също, никак не ме радва идеята разни пакети да мислят, че да се счупи миграцията от версия 2 към версия 3 е добра идея, и обвинявам Python-а, че даде лош пример на света.
– Трябваше да си build-на ircd-то и services с моите patch-ове за UTF-8 support и подобни неща. В момента ircd-ratbox го няма никъде в debian и трябва да помисля за миграция към някой от наследниците.
– Ползвам packetbl за филтриране на пакети на база на RBL, та му направих по-нормален начин за пускане и пакетиране за текущата ситуация.
– И разбира се купчини сайтове, PHP-та, бази и какво ли не още.

Подготовката беше няколко седмици, от които може би 2 дни бяха rsync на всички данни през интернетите, за да пренеса повечето информация, разни дебели видео архиви и подобни работи. После едни колеги пренесоха желязото физически до 3dc, пъхнаха го в rack-а, и аз след ден-два направих самия switch, в рамките на няколко часа. Помогна и monitoring-а, да покаже какво не е светнало и какво има да се досветне.

Имаше няколко fail-а, които се оправяха в последствие, но като цяло нещата минаха добре, и в момента желязото си клати краката, щото предишния load изобщо не може да се сравни с какво може. Следва да се качи още натоварване :)

И това беше лесната част. Като допълнение, исках да махна стария tyler (който е по-предната marla, купувана 2010та), и да го пренеса на старата marla. Което щеше да е доста по-проста задача, ако не беше това:

u0    RAID-5    DEGRADED       -       -       64K     2793.94   RiW    ON    
VPort Status         Unit Size      Type  Phy Encl-Slot    Model
------------------------------------------------------------------------------
p0    OK             u0   1.82 TB   SATA  0   -            ST2000DM008-2UB102 
p1    OK             u0   1.82 TB   SATA  1   -            ST2000DM008-2UB102 
p2    DEGRADED       u0   1.82 TB   SATA  2   -            ST2000DM008-2UB102 
p3    ECC-ERROR      u0   1.82 TB   SATA  3   -            ST2000DM008-2UB102 

Това е RAID5 масив с един изпаднал диск и един, който дава грешки, или в човешка терминология, “life sucks and then you die”. Открих го, когато започнах да планирам миграцията, и се наложи да го планирам малко по-форсмажорно. Файловите системи вече даваха грешки, така че в общи линии една нощ преточвах каквото можеше, и в една ранна сутрин с dd през netcat преточих root partition-а на другото желязо и boot-нах.

Най-голямото упражнение беше да го направя без ходене на място, понеже да се boot-не нещо на желязо с толкова стар IPMI се оказа забавно, и загубих 4-5 часа да се опитвам да намеря java, която да може да направи закачането на block device отсреща (в което се провалих изцяло). Накрая (понеже все пак имах ipmi) написах едно sysrescuecd на един partition на диска и просто boot-нах от него, за да мога спокойно да overwrite-вам root-а.
(след което имаше разни други проблеми с разлики в GRUB версии и т.н., като цяло в GRUB prompt не бях изкарвал толкова време доста отдавна)

Доста неща са пострадали. Спасих си netbox-а, но kenny.ludost.net е със заминала база, там няма спасение, та който е имал account, ще трябва да си прави пак. Jabber сървъра също е пострадал, и ще видя там какво мога да направя в следващите дни.

Цялата работа ми показа основно колко ме е разглезил StorPool с тия виртуални машини, snapshot-и, end-to-end checksum-и, live миграции… Ако събера бюджет, някой ден ще си вдигна нещо подобно. От друга страна, човек определено трябва да си припомня как се правят по-криви неща от време на време :)

2016-12-30 новата marla

Friday, December 30th, 2016

Малко информация за upgrade-а на marla:

X10DRi-O дъно (C612 chipset), един Xeon E5-2620v4), 64GB RAM, 4x4TB HGST дискове, LSI megaraid, едно 1TB samsung-sско SSD, приятна 2U кутия.

Има доста още работа по нея, най-вече да навържа monitoring-а на различните хардуерни неща (smartctl не иска да си говори с контролера и да ми дава температурата на дисковете, например), както и генерално да доразчистя някакви неща там (например чак днес си оправих автоматичното подновяване на сертификатите). Има и доста други полезни неща за вършене, например да видя как да направя прилично multi-tenant схема с hhvm и nginx, за да пренеса малко тежки сайтове натам.

Но вече спокойно съм вдигнал 16 виртуалки, на които Велин да изтезава студенти.

2016-12-14 upgrade

Wednesday, December 14th, 2016

Ще сменям хардуер на marla утре вечер, 15 декември, в периода от 7 до 9, може да се очаква някакъв downtime в рамките на 1 час.

(и понеже блогът е на marla, мога спокойно да кажа, че ако не виждате това съобщение, значи сменям машината)

2013-01-05 tls deployment

Sunday, January 5th, 2014

Около всякаквите неща на конгреса и това, съм си формулирал следния план за действие:

В рамките на следващите 3 месеца:
Ще подкарам dnssec за domain-ите си (вече има за ludost.net, остава да се разбера с registrar-а ми да ми сложат DS записите);
Ще сложа SSHFP и TLSA записи за каквото трябва в dns-а (което ще иска да накарам някои хора да си upgrade-нат bind-овете);
Ще се погрижа за сертификати за всичките domain-и при мен (има за ludost, може би няма да са от cacert);
Ще форсирам tls на входа на jabber сървъра (тва е въпрос на един рестарт);
Ще подкарам tls на каквито ftp неща има при мен;

След това, поетапно:
Ще спра не-tls irc-то, на нормалния порт ще има съобщение “закачете се по ssl на 6697”;
Ще направя http-то да връща само redirect към https, по същия начин за ftp-то;
Ще отрежа на jabber-а не-tls комуникацията с други сървъри;
Ще махна не-криптираните варианти на pop3, imap и smtp submission;

Още не знам какво ще правя със самото междусървърно smtp и още една-две услуги, които търкалям.

2010-11-03

Wednesday, November 3rd, 2010

Вчера продължихме с лекциите за IP – ето първа и втора част на записа. Остана ни малко от атаките.
(проектора в 200 тотално се е строшил, ама не сме събрали желание да се качим до него и да видим какво му е счупено (вероятно някой вентилатор)

Смених желязото на marla с ново, с повече място и по-мощно. Да ни е честито :)
(и вероятно ще напиша отделен post по темата колко страшно е да си rsync-ваш passwd файл от друга машина)

2010-11-02 marla

Tuesday, November 2nd, 2010

Мигрирах apache на marla от suexec до mpm-itk модула, ако някой има оплаквания, да казва.

Също така планирам да сменя желязото тия дни, ще видя как точно ще предупредя за downtime. Предполагам няма да отнеме повече от два часа, по текущите тестове.
(и между другото, rsync е велик инструмент)

2009-06-21 mirrors

Sunday, June 21st, 2009

И малко промени по mirror-ите на marla.ludost.net…

От известно време не съм kernel-ски mirror, та почистих тая част. За сметка на това добавих amd64 към това, което синхронизирам (в момента се точи, до довечера трябва да е на място), и за момента големия mirror списък изглежда по следния начин:

debian-non-US (умряла работа)
debian-security (веднъж на 3 часа)
debian/amd64 (всяка сутрин в 4)
debian/i386 (всяка сутрин в 4)
gentoo (грам идея си нямам, maintainter-а да се обади)
gentoo-portage (грам идея си нямам, maintainter-а да се обади)

Да видим с колко място ще остана след синхронизацията на amd64, може по желание да се добави още нещо.

(реално смисъл от mirror-и има ли? Май освен за резерва и да не се претоварва главния сайт друг смисъл няма, достатъчно bandwidth имаме)