Коллеги-админы из вузов, есть тут кто, кому на голову внезапно свалилась дистанционка?

Discussion in 'Софт' started by 027, May 2, 2020.

  1. 027

    027 Активный участник

    8,930
    2,847
    Сидел, никого не трогал, починял примус, тут — бац — highload'ом по башке. Кто как выкручивался?
    Я вот три раза переезжал на все более новый сервера, в итоге сижу сейчас в облаке на двух пулах (облачный ЦОД) плюс старая VPS-ка, которая выполняет роль прокси и SSL-шифрование.
    Хотелось бы обменяться опытом по нагрузке и задействованным ресурсам.
    Мы используем moodle (начали до этой эпопеи с коронавирусом головного мозга, но так, понемножку, скорее, чтоб было).
    Сейчас я нахапал ресурсов вчетверо больше, чем до сих пор наблюдал пиковой нагрузки, что, очевидно, излишне. Или не очевидно...
     
  2. 027

    027 Активный участник

    8,930
    2,847
    Иэ-х-х... То ли нет никто, то ли крутые одмины не хотят помочь старому больному евре коллеге своим опытом бодания с highload...

    А на меня со вчерашнего дня ботнет стал набигать по L7 — http флуд в корень мудлосервера. Поскольку в борьбе с дидосами я еще более чайник, нежели в хайлоаде, ботнет сегодня таки несколько раз доводил sql-сервер до лимита коннектов, а потом таки уложил вебсервер.

    (php-fpm выжрал все 32 гига и уложил все 48 ядер на лопатки — но я ему благодарен, он мне показал, что pm.max_children = 8000 и pm.max_spare_servers = 2000 — это уже слишком).

    (почувствуй себя роскомпозором — забань полмиллиона ip-адресов! )
     
  3. Дмитрий Н

    Дмитрий Н Активный участник

    2,204
    430
    У меня на прошлых проектах сайты от дудоса прятали за cloudflare, вроде даже бесплатно было. Но в текущих российских реалиях это уже вряд-ли применимо...
     
  4. 027

    027 Активный участник

    8,930
    2,847
    А 5000 чилдренов в самую плепорцию.

    Снимок левого монитора от 2020-05-08 21-28-37.png

    Хотя...

    Снимок экрана от 2020-05-08 21-36-21.png

    Все же есть польза и от «тихо сам с собою». Вспомнил про эту самодельную наспех следилку, а там при атаке вон чего было с памятью. Но сервер не упал — слава бесчисленным всевозможным лимитам!

    В моих реалиях крайнего бюрократического идиотизма внешний ддос-фильтр за гранью фантастики. Дело не в деньгах даже, это полгода бумажками перекидываться.

    Хвала нашему ИТ-начальнику, он меня грудью своею прикрывает, а так бы...

    Надо что-то в нжинксе наруливать, флуд этот автоматом ловить и дропать... Башка ни хрена не соображает уже.
    Не успел начать осваивать заббикс (планировал же со среды!), как тут же не успел начать осваивать snort. Глянул в оф. доку, ужаснулся — ладно, канпелировать надо, там вроде все расписано, но эту хрень в живую систему через make install кувадой вбивать предлагается. О_о
     
    Last edited: May 8, 2020
  5. Дмитрий Н

    Дмитрий Н Активный участник

    2,204
    430
    Ещё можно на фаерволе банить подсети клаудхостингов типа DO, AWS и иже с ними, ботов срежет, вместе с впнщиками, единственное, надо знать, где достать их диапазоны. Знаю точно, что этим балуются онлайнтрейд, авито и ситилинг. Но они скорее всего прячутся от прасинга.
     
  6. 027

    027 Активный участник

    8,930
    2,847
    Я из whois достаю, там частенько пишут подсети.

    Code:
    $ /usr/bin/whois 197.216.2.126
    % This is the AfriNIC Whois server.
    % The AFRINIC whois database is subject to  the following terms of Use. See https://afrinic.net/whois/terms
    
    % Note: this output has been filtered.
    %       To receive output for a database update, use the "-B" flag.
    
    % Information related to '197.216.2.0 - 197.216.2.255'
    
    % No abuse contact registered for 197.216.2.0 - 197.216.2.255
    
    inetnum:        197.216.2.0 - 197.216.2.255
    netname:        DSI
    descr:          DSI
    country:        AO
    admin-c:        SDQ1-AFRINIC
    tech-c:         SDQ1-AFRINIC
    status:         ASSIGNED PA
    mnt-by:         AS11259-MNT
    source:         AFRINIC # Filtered
    parent:         197.216.0.0 - 197.217.255.255
    
    person:         Simao Domingos Queta
    address:        Rua: Conselheiro Julio de Vilhema No.7 - Luanda
    phone:          tel:+244-912-513-002
    nic-hdl:        SDQ1-AFRINIC
    mnt-by:         GENERATED-2WKOU0WHNRMXKABAPOZAIA50WMFWBA5S-MNT
    source:         AFRINIC # Filtered
    
    % Information related to '197.216.0.0/15AS11259'
    
    route:          197.216.0.0/15
    descr:          Route Object
    origin:         AS11259
    mnt-by:         AFRINIC-RC-AT
    source:         AFRINIC # Filtered
    

    А флудеров из access логов извлекаю.
     
  7. 027

    027 Активный участник

    8,930
    2,847
    Стесняюсь, чувствуя себя немного Роскомнадзором, но на войне, как на войне. На глаз, несколько десятков миллионов IP адресов забанил, но все равно вчера произошел набег с нескольких сотен новых.

    ...шеф говорит, что вчера звонили с лаборатории Каперского, впаривали предлагали купить фирменную защиту со скидкой. Сказали, что в последнее время участились набеги дидосеров на учебные учреждения. Меня терзают смутные сомнения...
     
  8. RubiN

    RubiN Активный участник

    6,620
    422
    дык если пакеты и так до вас доехали, в чем смысл бана? оборудование отработало хоть и на reject, канал по любому занят
     
  9. 027

    027 Активный участник

    8,930
    2,847
    С отбитием пакетов легко справляется средненькая впс-ка (6 ядер 4 ГБ), хоть многими тысячами в секунду ее долби, а вот грамотная атака уровня приложения запросто укладывает облачный ресурс в десять раз более мощный.

    Когда этот чертов кульхацкер уточнил вектор атаки, ему хватило меньше тысячи в секунду.

    Гуглить DDoS L7. Это не тупой флуд транспортного уровня, такое мой хостер сам фильтрует.
     
  10. Дисней

    Дисней Активный участник

    2,213
    1,111
    я не знаю, а что у вас студенты со всей планеты учатся?
    оставить разрешенными наши подсети. остальное зобанить.
    если у кого то не будет подключения - придумать способ, как он (например зайдя на другой ресурс и сообща там номер студенческого) на автомате получит доступ (его подсеть пропишется в разрешенные).
     
  11. Пиццулянт

    Пиццулянт Читатель

    4,582
    524
    Подписался на тему. Что с финансированием?
     
  12. 027

    027 Активный участник

    8,930
    2,847
    А почему вы спrашиваете? ©
    С финансированием меня все по-прежнему — работаю за еду. Мудль бегает шустро. Набеги ботнета отбил самостоятельно, предложение лаборантов касперского 700 тыщ за полгода — спасибо, поржали.
     
  13. RubiN

    RubiN Активный участник

    6,620
    422
    ботнет наверное маленький был, мимо проходили, зацепили случайно, Mirai например что угодно положит
     
  14. Пиццулянт

    Пиццулянт Читатель

    4,582
    524
    Яснопонятно. Просто ничего не меняется в датском королевстве. Лепи из говна и палок и огребай в случае факапов по первое число.
     
  15. 027

    027 Активный участник

    8,930
    2,847
    Не, не случайно. Явно человек уточнял вектор атаки после первых моих отбрыкиваний — видно по урлам и реферерам.
    Так он меня и укладывал несколько раз, пока я очередную группу подсетей вычислял. Сейчас их пара тысяч забанено, а сколько там миллионов адресов, считать лень. «Почувствуй себя роскомнадзором» :)
    Укладывал сервера на бэкенде, проксирующий нжинкс на фронте завалить атакой L7 слабо. А низкоуровневый флуд хостер отбивает (во всяком случае, мамой клянется :) ).

    Я хз, что есть большой или маленький, этот атаковал с нескольких тысяч адресов со всего мира интенсивностью до тысячи запросов в секунду и больше. Но повторные атаки были недолгими. Наверное, не очень большой, бабок не хватило.

    Не, в моем случае даже премию пообещали. :)
    Но вы, в общем, мыслите верно — я лично рассчитывал на поощрение в виде одного ненаказания. :)
     
    Last edited: May 29, 2020
  16. RubiN

    RubiN Активный участник

    6,620
    422
    ну значит озирайтесь по сторонам, повнимательнее присмотритесь к конкурентам