1. Куча / Говнокод #25897

    0

    1. 1
    2. 2
    3. 3
    4. 4
    5. 5
    Вот это да! Идеально, Вы можете отправлять
    Результат :
    10/10
    
    Официальный тред операции «Говно на вентилятор»

    Запилил почту, теперь надо:
    1) Придумать тему и текст (https://i.imgur.com/2zNp5ke.jpg);
    2) Организовать ПО для рассылки;
    3) Запустить и разослать;
    4) ?????
    5) Говно!

    Запостил: gost, 03 Октября 2019

    Комментарии (262) RSS

    • Бамп в Сток.
      Ответить
    • показать все, что скрытоvanished
      Ответить
    • Кстати, я ещё несколько е-мейлов набрутил. Надо будет обновить базу.
      Ответить
    • показать все, что скрытоЖителям Уфы, которые пожаловались Папе Римскому на отсутствие отопления, его сначала дали, а потом отключили
      update: 03-10-2019 (18:22)

      В Уфе жители недостроенного жилого комплекса "Лимонарий" по улице Менделева написали письмо Папе Римскому Франциску с жалобой на главу строительной компании СУ-10, которая отказалась включить отопление. Текст обращения опубликован в группе ЖК во "ВКонтакте".

      Всего, уточняют "РИА Новости", квартиры в этом доме купили 264 семьи. По словам обманутых дольщиков, строительство должны были закончить еще в 2017 году. От безысходности 60 семей уже заселились в недостроенный дом. Жильцы рассказали, что, помимо отопления, в доме нет горячей воды, системы пожаротушения, не укреплен монолит, часть фасада дома разобрана, в квартирах есть дыры, из которых видна улица.

      "Когда мы очередной раз завели разговор о задержках сдачи дома, над нами посмеялись и сказали: "Хоть Папе Римскому жалуйтесь". Мы и пожаловались",

      — рассказал один из обманутых дольщиков. В своем письме жители ЖК попросили Его Святейшество отстоять их законные права, помолиться за человечность и благоразумие руководителя СУ-10 Валерия Мансурова, а также выражают надежду на то, что тот прислушается к мудрости и просвещенности Папы Римского.

      Тепло подали в дом после того, как история с письмом Папе Римскому разошлась в соцсетях, но через сутки его отключили. Телеграм-канал "Подъем" пишет, что строительная компания объяснила это долгом перед обслуживающим ЖК предприятием "Уфимские инженерные сети".
      Ответить
    • Отправил 418 новых адресов, проверь.
      Ответить
      • показать все, что скрытоvanished
        Ответить
      • Если вдруг интересна статистика, то:

        1. С «Вебархива» собрал 2,5 млн. адресов «Mail.ru» (@mail.ru, @list.ru, @inbox.ru, @bk.ru); 54 тыс. адресов @rambler.ru; 200 тыс. адресов @yandex.ru и ещё 1 млн. доменов «Народ.ру».

        2. Для брута по ящикам «Гмейла» составил фантастические адреса: к логинам из нескольких баз (из предыдущих плюс из списка пользователей «Хабрахабр», «Diary.ru», «Liveinternet.ru») приставил суффикс @gmail.com. Получил 4,2 млн. хэшей.

        3. На «Говнокоде» обнаружилось 711 обладателей ящиков из предыдущих списков.

        4. На файлопомойках нашёл результаты утечек: 2 млн. адресов @gmail.com (хотя заявлено 5 млн.); 4,4 млн. адресов «Mail.ru»; 1,2 млн. адресов @yandex.ru. На «Говнокоде» нашёлся 141 пользователь с предположительно компрометированным ящиком.

        5. На файлопомойках нашёл списки пользователей некоторых интернет-магазинов. На «Говнокоде», вероятно, 25 пользователей магазина «Lamoda», 41 пользователь магазина «Wildberries», 27 пользователей платёжной системы «Glopart» и 155 участников проекта «Бизнес-молодость». Вполне возможно, что личные данные этих пользователей (ФИО, номер телефона, домашний адрес) сейчас открыто бродят по просторам интернетов.

        Такие дела.
        Ответить
        • показать все, что скрытоvanished
          Ответить
        • показать все, что скрытоvanished
          Ответить
          • Допустим, кто-то создал ящик [email protected]. Если он по неосторожности ткнул кнопочку «Создать Мой Мир» или заходил ещё в какие-нибудь мейлрушные сервисы, то создадутся следующие страницы:
            http://my.mail.ru/inbox/vasya.pupkin
            http://video.mail.ru/inbox/vasya.pupkin (теперь редирект на «Мой мир»)
            http://foto.mail.ru/inbox/vasya.pupkin (теперь редирект на «Мой мир»)
            http://otvet.mail.ru/inbox/vasya.pupkin (теперь там другие адреса, эти в вебархиве)
            http://blogs.mail.ru/inbox/vasya.pupkin (проект закрыт, теперь только в вебархиве)
            http://deti.mail.ru/inbox/vasya.pupkin

            А как одним запросом добыть из вебархива список URL, соответствующих маске, мы уже обсуждали.
            Ответить
          • Кстати, если кому-то нужны англоязычные пользователи, то в вебархиве лежит такой багор:
            https://archive.org/download/ADULTFRIENDFINDERLEAKEDFILES
            Ответить
        • показать все, что скрытоvanished
          Ответить
          • Из «Гитхаба» тоже можно добыть. Если по неосторожности кто-то создал event, то API «Гитхаба» отдаст е-мейлы участников. Ну ещё можно распарсить страницы, некоторые публикуют свой е-мейл в контактной информации. Но это уже не так быстро, как парсинг вебархива.
            Ответить
          • Ещё «Фейсбук» возвращает е-мейлы через API, но только тех юзеров, которые в настройках приватности явно разрешили находить их по е-мейлу.
            Ответить
          • показать все, что скрытоvanished
            Ответить
            • Проверила, куик!

              Е-мейлы видно не у всех, зато видно хэши «Граватара». Можно сопоставить их с хэшами юзеров «Говнокода».

              Мне больше нравится метод user.ratedList — выводит список всех юзеров (участвовавших хотя бы в одном соревновании) по убыванию рейтинга. Весь фарш одним запросом.
              Ответить
              • 204911 юзеров (ага, двести тысяч с лишним) одним запросом. Причём выборка API не предусмотрена.

                Что будет, если сообщество вырастет?
                Ответить
              • >> Е-мейлы видно не у всех, зато видно хэши «Граватара».

                Про «Граватар» мне показалось. Там картинки в локальном хранилище, и имена у них случайные.
                Ответить
            • Улов 8622 е-мейла, 132 опенайдишника (многие уже нерабочие; сейчас из публичных только «Яху» работает; сеть «Google+» закрыли в апреле), 697 айдишников «Вконтакте».

              Самые хитрые, знающие про плюсик:
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              [email protected]
              Ответить
              • Кстати, идея: добавить при бруте +govnokod.ru, +govnokod, +gk, +gc. Например: [email protected]. Вдруг на «Говнокоде» есть такие же умники, как на «Codeforces»?
                Ответить
            • На «Говнокоде» 11 пользователей «codeforces».

              И снова в базе, которую я передал gost'у, их нет. Точнее, есть, но не все. Нужно добавлять.
              Ответить
          • Попытался выяснить, есть ли API у «Хабрахабра». Оказалось, есть. Документация спрятана в какой-то проект в «Гитхабе», причём там адрес точки входа устарел: https://api.habrahabr.ru/v1 сменили на https://habr.com/api/v1, но в документации это не отразили. Методов, не требующих аутентификации, у них нет. Ключ разработчика у них получить сложно, потому что «поддержка API не является приоритетным направлением». Короче: обезьяний хуй они на свой API клали.

            Ключи, явки, пароли можно стырить из официального приложения для «Андроида». Всё лежит в libreaderWrapper.so в зашифрованном виде (например, у client_id каждый четвёртый байт поксорен с каким-то ключом).

            Всё, что есть, — вот эта статья:
            https://habr.com/ru/post/447148/

            Автор статьи (кактус ему под подушку) на скриншоте замазал половину ключа.
            Ответить
            • Client_id— «05329ae5cc5bbb2.88812457».
              Зашифрован он только в .so для «i386», а вот в 64-битной либе 16 байт от него в открытую лежат в «_rodata», а оставшиеся 8 (в перевёрнутом виде) пушатся в коде:
              .text:0000000000000548                 movaps  xmm0, xmmword ptr cs:clientID
              .text:000000000000054F                 movaps  [rsp+38h+var_38], xmm0
              .text:0000000000000553                 mov     rax, 3735343231383838h
              .text:000000000000055D                 mov     [rsp+38h+var_28], rax

              Ключ, с которым ксорится client_id, соответственно, вот такой: «['7e', 'c5', '60', '3f', '92', 'c9']».

              Именно поэтому я за «64 бит».
              Ответить
              • Кстати, в .so для «armv7» у него такой же шифр, как в «i386», а в .so для «armv8» (64-битной) аналогично 16 байт лежат открыто.

                А где token спрятан?
                Ответить
                • Для получения токена можно воспользоваться следующим простым способом. Перейдите по
                  следующей ссылке:
                  https://habrahabr.ru/auth/o/login/?client_id=КЛИЕНТ&response_type=token&redirect_uri=САЙТ
                  поставив адрес сайта приложения вместо САЙТ и полученный на первом шаге идентификатор вместо КЛИЕНТ.
                  
                  После нажатия кнопки "Разрешить", Хабр выполнит перенаправление на САЙТ, добавив в конец адреса строку
                  #token=..., которая и будет содержать требуемый токен.

                  Насколько я знаю «OAuth», таким образом ты даёшь доступ приложению с заданным client_id к своему профилю, а приложение получит токен, используя который, оно сможет выполнять запросы от твоего имени.
                  Ответить
                  • Туплю... Проверяем:
                    https://habr.com/auth/o/login/?client_id=05329ae5cc5bbb2.88812457&response_type=token&redirect_uri=http://cleverpumpkin.ru

                    Ответ:
                    {"code":403,"message":"Authorization required","additional":["CLIENT_UNDEFINED"],"data":null}


                    Какой багор )))
                    Ответить
                    • Какой багор )))

                      Я сейчас роюсь в джавакоде, но эти пидоры там всё заобфусцировали.
                      Ответить
                      • показать все, что скрытоvanished
                        Ответить
                      • «adb logcat» мне в логах не показал того, что есть у автора статьи. Вероятно, у меня версия apk другая.

                        «tcpdump» и просмотр дампа программой «Wireshark» мне тоже не помогли. Я слишком анскильный для того, чтобы расшифровывать TLS-поток.
                        Ответить
                        • Причём новая, обфусцированная, версия вышла аккурат через пять дней после той статьи. Какой багор )))

                          Скачай версию 6.1 и проверь логи там.
                          Ответить
                          • Запустил 6.1: «Данная версия приложения более не работоспособна. Пожалуйста, обновитесь до последней версии в Google Play».
                            Ответить
                            • Тем не менее результат «grep retrofit logcat.txt»:
                              D/retrofit(19404): --> GET https://habr.com/api/v1/version http/1.1
                              D/retrofit(19404): Authorization: Basic
                              D/retrofit(19404): User-Agent: habr-android
                              D/retrofit(19404): client: 05329ae5cc5bbb2.88812457
                              D/retrofit(19404): apikey: 4c019760331a066688445676261ee2cec29afa9a
                              D/retrofit(19404): --> END GET
                              D/retrofit(19404): <-- 200 OK https://habr.com/api/v1/version (327ms)
                              D/retrofit(19404): Server: QRATOR
                              D/retrofit(19404): Date: Sat, 05 Oct 2019 13:43:55 GMT
                              D/retrofit(19404): Content-Type: application/json
                              D/retrofit(19404): Transfer-Encoding: chunked
                              D/retrofit(19404): Connection: keep-alive
                              D/retrofit(19404): Keep-Alive: timeout=15
                              D/retrofit(19404): Vary: Accept-Encoding
                              D/retrofit(19404): X-Powered-By: PHP/7.2.18-1+ubuntu16.04.1+deb.sury.org+1
                              D/retrofit(19404): Access-Control-Allow-Origin: *
                              D/retrofit(19404): Strict-Transport-Security: max-age=63072000; includeSubDomains; preload
                              D/retrofit(19404): Public-Key-Pins: pin-sha256="jWWta3ma1DSx8lFr6uv04x6sSRmK5X4Z0ivIL7+qKLM="; pin-sha256="Efde6ZPsmxzZkludmzwnp0QJhZ1mSwHrhDxczbpZcmM="; pin-sha256="klO23nT2ehFDXCfx3eHTDRESMz3asj1muO+4aIdjiuY="; pin-sha256="kUh5F9diW5KlrhQ+nEKTIVFWVZuNbVqkKtm+KOGPXCE="; max-age=15552000
                              D/retrofit(19404): X-Proxy-Cache-Status: EXPIRED
                              D/retrofit(19404): X-Proxy-Upstream: habrcom-engine
                              D/retrofit(19404): {"version":1.1,"server_time":"2019-10-05T16:43:55+03:00"}
                              D/retrofit(19404): <-- END HTTP (57-byte body)
                              Ответить
                            • А вот то самое сообщение о неработоспособности:
                              D/retrofit(19404): <-- 200 OK https://habr.com/api/v1/version/app/android (119ms)
                              D/retrofit(19404): Server: QRATOR
                              D/retrofit(19404): Date: Sat, 05 Oct 2019 13:43:56 GMT
                              D/retrofit(19404): Content-Type: application/json
                              D/retrofit(19404): Transfer-Encoding: chunked
                              D/retrofit(19404): Connection: keep-alive
                              D/retrofit(19404): Keep-Alive: timeout=15
                              D/retrofit(19404): Vary: Accept-Encoding
                              D/retrofit(19404): X-Powered-By: PHP/7.2.18-1+ubuntu16.04.1+deb.sury.org+1
                              D/retrofit(19404): Access-Control-Allow-Origin: *
                              D/retrofit(19404): Strict-Transport-Security: max-age=63072000; includeSubDomains; preload
                              D/retrofit(19404): Public-Key-Pins: pin-sha256="jWWta3ma1DSx8lFr6uv04x6sSRmK5X4Z0ivIL7+qKLM="; pin-sha256="Efde6ZPsmxzZkludmzwnp0QJhZ1mSwHrhDxczbpZcmM="; pin-sha256="klO23nT2ehFDXCfx3eHTDRESMz3asj1muO+4aIdjiuY="; pin-sha256="kUh5F9diW5KlrhQ+nEKTIVFWVZuNbVqkKtm+KOGPXCE="; max-age=15552000
                              D/retrofit(19404): X-Proxy-Cache-Status: EXPIRED
                              D/retrofit(19404): X-Proxy-Upstream: habrcom-engine
                              D/retrofit(19404): {"version":"6.1.0","title":"Предупреждение","message":"Данная версия приложения более не работоспособна. Пожалуйста, обновитесь до последней версии в Google Play.","block":true,"script_urls":["https:\/\/dr.habracdn.net\/habrcom\/javascripts\/1522225573\/libs\/jquery-1.8.3.min.js","https:\/\/dr.habracdn.net\/habrcom\/javascripts\/1522225573\/libs\/highlight.pack.js","https:\/\/cdnjs.cloudflare.com\/ajax\/libs\/mathjax\/2.7.1\/MathJax.js?config=TeX-AMS_SVG-full\u0026locale=ru"],"styles_urls":["https:\/\/dr.habracdn.net\/habrcom\/styles\/1522225573\/libs\/highlightjs.github.css"],"server_time":"2019-10-05T16:43:56+03:00"}
                              D/retrofit(19404): <-- END HTTP (721-byte body)
                              Ответить
                              • В старой версии есть вот такой багор:
                                public class HeaderInterceptor implements Interceptor {
                                    private static final String HEADER_API_KEY = "apikey";
                                    private static final String HEADER_AUTHORIZATION = "Authorization";
                                    private static final String HEADER_AUTHORIZATION_TYPE = "Basic ";
                                    private static final String HEADER_CLIENT = "client";
                                    private static final String HEADER_TOKEN = "token";
                                    private static final String HEADER_USER_AGENT = "User-Agent";
                                    private static final String HEADER_USER_AGENT_VALUE = "habr-android";
                                    private String clientId;
                                    private UserPrefs userPrefs;
                                
                                    public HeaderInterceptor(UserPrefs userPrefs2, String str) {
                                        this.clientId = str;
                                        this.userPrefs = userPrefs2;
                                    }
                                
                                    public Response intercept(Chain chain) throws IOException {
                                        Builder newBuilder = chain.request().newBuilder();
                                        String encodeToString = Base64.encodeToString("".getBytes(), 2);
                                        StringBuilder sb = new StringBuilder();
                                        sb.append(HEADER_AUTHORIZATION_TYPE);
                                        sb.append(encodeToString);
                                        newBuilder.addHeader("Authorization", sb.toString());
                                        newBuilder.addHeader("User-Agent", HEADER_USER_AGENT_VALUE);
                                        newBuilder.addHeader(HEADER_CLIENT, this.clientId);
                                        String token = this.userPrefs.getToken();
                                        if (!Strings.isEmpty(token)) {
                                            newBuilder.addHeader(HEADER_TOKEN, token);
                                        } else {
                                            newBuilder.addHeader(HEADER_API_KEY, "4c019760331a066688445676261ee2cec29afa9a");
                                        }
                                        return chain.proceed(newBuilder.build());
                                    }
                                }

                                В новой, обфусцированной, явный API_KEY обфусцировали, в настоящий момент я его ищу. Всё осложняется ещё и говноархитектурой с фабриками фабрик провайдеров.
                                Ответить
                                • показать все, что скрытоvanished
                                  Ответить
                                  • показать все, что скрыто
                                    Ответить
                                  • Это ненужное приложение для чтения ненужного сайта.

                                    Интересует, можно ли, представившись этим приложением, вытягивать инфу через API, чтобы не парсить HTML-страницы.
                                    Ответить
                                    • показать все, что скрытоЕсли грамотно подделать заголовки - в 99% случаях можно. Проверено.
                                      Ответить
                                    • показать все, что скрытоvanished
                                      Ответить
                                    • Короче, эти ослоёбы поменяли все ключи, но «Certificate Pinning» не настроили. Была произведена следующая последовательность действий:
                                      0. Установлен «Fiddler» и настроена расшифровка HTTPS, а также включён флажок «Allow remote computers to connect»;
                                      1. Установлен «Nox Player»;
                                      2. В настройках включён рут;
                                      3. В эмулятор установлены приложения Хабра, приложение «WiFi Info» (https://apkpure.com/ru/wifi-info-wifi-information/com.get.wifiinfo, чтобы узнать IP-адрес компа), приложение Root Certificate Manager (https://apkpure.com/ru/root-certificate-manager-root/net.jolivier.cert.Importer, чтобы установить сертификат);
                                      4. Из «Fiddler» экспортирован рутовый серт и установлен посредством «Root Certificate Manager» на эмулятор;
                                      5. В настройках WiFi эмулятора установлен прокси на адрес_компа:8888;
                                      6. Спизжены все данные.

                                      Вот, например, парочка запросов:
                                      GET https://habr.com/api/v1/posts/interesting?page=1&include=text_html&exclude=preview_html%2Cfirst_img%2Ctext_cut%2Cpolls&get_article=true HTTP/1.1
                                      Authorization: Basic
                                      User-Agent: habr-android
                                      client: 85cab69095196f3.89453480
                                      apikey: 173984950848a2d27c0cc1c76ccf3d6d3dc8255b
                                      Host: habr.com
                                      Connection: Keep-Alive
                                      Accept-Encoding: gzip
                                      
                                      
                                      
                                      POST https://habr.com/auth/o/access-token HTTP/1.1
                                      Authorization: Basic
                                      User-Agent: habr-android
                                      client: 85cab69095196f3.89453480
                                      apikey: 173984950848a2d27c0cc1c76ccf3d6d3dc8255b
                                      Content-Type: application/x-www-form-urlencoded
                                      Content-Length: 159
                                      Host: habr.com
                                      Connection: Keep-Alive
                                      Accept-Encoding: gzip
                                      
                                      [email protected]&password=hui&client_id=85cab69095196f3.89453480&grant_type=password&client_secret=41ce71d623e04eab2cb8c00cf36bc14ec3aaf6d3
                                      Ответить
                                      • Какой скилл )))

                                        Спасибо!
                                        Ответить
                                        • показать все, что скрытоС таким рвением ты мог бы украсть невинность Джоконды, не то что приватный ключ.

                                          Тем не менее, это не даёт тебе права хвалить себя с другой учётки.
                                          Ответить
                                      • Всё работает! Фрагмент ответа на запрос /users (вручную отформатированный):
                                        {
                                            "pages":21489,
                                            "next_page":{
                                                "url":"https:\/\/habr.com\/api\/v1\/users?page=2",
                                                "int":2
                                            },
                                            "data":[{
                                                "id":52751,
                                                "login":"phillennium",
                                                "time_registered":"2009-12-04T17:02:32+03:00",
                                                "score":239.7,
                                                "fullname":"Евгений Трифонов",
                                                "specializm":"ContentProvider",
                                                "sex":1,
                                                "rating":1101.6,
                                                "rating_position":1,
                                                "path":"\/users\/phillennium\/",
                                                "geo":{"country":"Россия","region":"Москва и Московская обл.","city":"Москва"},
                                                "counters":{"posts":272,"comments":2511,"followed":20,"followers":189,"favorites":80},
                                                "badges":[{"id":1,"title":"Захабренный","alias":"habred","description":"Пользователь с кармой \u003E0","url":null,"is_disabled":false,"is_removable":false},
                                        Ответить
                                        • показать все, что скрытоНа Джейсоне?
                                          Ответить
                                        • Какой биг дата )))
                                          Будешь пиздить?
                                          Ответить
                                          • Пока не знаю. На первой странице ничего интересного типа е-мейлов не нашёл.

                                            Я теперь о другом думаю.

                                            Кто-нибудь пытался реверсировать приватный API «Инстаграма» и «Твиттера»? В частности, интересует, по какому протоколу их мобильные приложения отправляют на сервер список контактов из записной книжки «Андроида», чтобы найти друзяшек.

                                            Если автоматизировать «синхронизацию контактов», то можно будет по е-мейлу находить учётки в указанных сервисах.
                                            Ответить
                                          • Скачал всю таблицу /users.

                                            1075072 записей (да, миллион с хвостиком).

                                            Интересного почти ничего. Бо́льшая часть записей — пустышки, у которых ноль комментариев, ноль постов, нет аватарки и нет вообще ничего о себе.

                                            Поле contacts у всех записей пустое. Похоже, что это поле задепрекейтили, но для совместимости сервер его отдаёт.
                                            Ответить
                                            • Выложишь?
                                              Ответить
                                              • Сырой дамп JSON занимает полгигабайта. В csv утаптывается до сотни мегабайт.

                                                Из миллиона учёток «Х-ра» хотя бы один комментарий или хотя бы один пост есть у 116 тысяч. Хотя бы 10 комментариев оставили 50 тысяч хаброюзеров, а рубеж в 100 комментариев взяли почти 15 тысяч хаброюзеров. До тысячи комментариев добралась тысяча хаброюзеров.
                                                Ответить
                                                • показать все, что скрытоvanished
                                                  Ответить
                                                  • В старомодном ветхом зипуне с дефолтными настройками CSV займёт 18 метров, а исходные ясоны — 53 метра. В tar.gz/tar.bz2/tar.xz, кстати, должно получиться меньше, потому что там сжиматься будет общий поток, в котором будет много повторов.
                                                    Ответить
                                                  • Что есть в таблице:
                                                    id
                                                    login
                                                    time_registered
                                                    score
                                                    fullname
                                                    specializm
                                                    sex
                                                    rating
                                                    rating_position
                                                    path — фактически совпадает с логином
                                                    geo — массив из country, region, city
                                                    counters — массив из posts, comments, followed, followers, favorites.
                                                    badges — массив ачивок с избыточной информацией (id, title, alias, description, url, is_disabled, is_removable). К каждой ачивке каждого юзера прилагается повторяющееся длинное описание, за что она даётся, отсюда и размер таблицы.
                                                    avatar
                                                    is_readonly
                                                    is_rc
                                                    is_subscribed
                                                    common_tags — пустое
                                                    contacts — пустое
                                                    Ответить
                                        • показать все, что скрытоvanished
                                          Ответить
                                          • В итоге у меня есть миллион никнеймов. Скомбинировав со стандартными почтовыми доменами, можно получить радужную таблицу для подбора е-мейлов на других сайтах.
                                            Ответить
                                            • Да ты задрал со своими таблицами. Попробуй их сгенерировать для начала, да и лям простых md5 просчитается мигом.
                                              Ответить
                                              • показать все, что скрытоvanished
                                                Ответить
                                                • К какому слову может относиться "их", аноним?
                                                  Ответить
                                                  • показать все, что скрытоvanished
                                                    Ответить
                                                    • Ну так что тут непонятного?
                                                      Ответить
                                                      • показать все, что скрытоvanished
                                                        Ответить
                                                        • Итак, у нас есть словарь на миллион никнеймов.
                                                          Скобенировали никнеймы с известными почтовыми доменами и посчитали md5.

                                                          никнейм@gmail.com => 869 совпадений с граватарами «Говнокода».

                                                          никнейм@{mail.ru, inbox.ru, list.ru, bk.ru} => 440 совпадений.

                                                          никнейм@{yandex.ru, yandex.com, yandex.ua, yandex.by, yandex.kz, ya.ru} => 355 совпадений.

                                                          никнейм@{ukr.net, i.ua, meta.ua, ua.fm, bigmir.net} => 88 совпадений.

                                                          никнейм@rambler.ru => 43 совпадения.

                                                          никнейм@{hotmail.com, msn.com, outlook.com, live.com, live.ru} => 34 совпадения.

                                                          никнейм@tut.by => 27 совпадений.

                                                          никнейм@yahoo.com => 6 совпадений.
                                                          Ответить
                                                        • Таблицы сгенерировать, блядь! Хуле непонятно?
                                                          Ответить
                                                          • показать все, что скрытоvanished
                                                            Ответить
                                                          • показать все, что скрытоvanished
                                                            Ответить
                                                            • Таблицы радужные? Да ну?
                                                              Ответить
                                                              • Полную радугу строить долго, да потом её надо где-то хранить, а в реальных е-мейлах встретится ничтожная часть радуги.

                                                                В адресах популярных почтовых сервисов встречаются символы из множества (на языке регулярки):
                                                                [a-z0-9\-_\.\+]
                                                                RFC ещё допускает символы !#$%^&*=:/?`~{|}. Из них %,!,:,# использовались шлюзами во всякие непонятные сети (пример реального адреса support%[email protected]), а / и = только в X.400 (пример: /C=CA/ADMD=TELECOM.CANADA/ID=ICS.TEST/S=TEST_GROUP/@nasamail.nasa.gov). Возможно, какие-то непопулярные сервисы разрешают регистрировать ящики с ними. Допускать эти символы можно, но учитывать их при переборе нерационально.

                                                                Итак, если взять хотя бы [a-z0-9\-_\.\+], то получим алфавит из 40 символов. Топ-5 длин логинов (взял из нескольких подборок е-мейлов): от 7 до 11 символов. 40 в седьмой степени — это 163 миллиарда. Добавим к 7 символам логина строку «@gmail.com» и 32 символа md5 — для хранения радужной таблицы емейлов с семизначным логином для одного домена понадобится 8 терабайт места на диске.

                                                                Владельцы ящиков типа [email protected] могут спать спокойно, потому что в эту таблицу они точно не попадут.

                                                                Разумнее строить таблицы для логинов, которые наверняка встретятся.

                                                                Что сейчас есть:
                                                                • е-мейлы 100 миллионов пользователей «Вконтакте» (за 2011 год);
                                                                • 10 миллионов самых популярных логинов с разных сайтов (плюс 1 миллион юзернеймов хаброблядей), которые можно попытаться скомбинировать с почтовыми доменами;
                                                                • 2,5 миллиона адресов «mail.ru», 1 миллион адресов «yandex.ru» из вебархива.
                                                                • 2 миллиона адресов «gmail.com» (было заявлено 5, но они указались неуникальными), 4 миллиона адресов «mail.ru», 1 миллион адресов «yandex.ru» из разных утечек.
                                                                • Ну и некоторые мелкие подборки.

                                                                Генерация 100 миллионов хэшей е-мейлов пользователей «ВК» заняла 45 минут (основное время занял не подсчёт, а ввод-вывод), в csv таблица весит 4,5 гигабайта.
                                                                Ответить
                                                                • Ещё один багор: попытался засунуть таблицу хэшей е-мейлов 100 миллионов пользователей «ВК» в СУБД.

                                                                  Для начала в «Иссык-Куль-Светлый». По глупости назначил колонку с хэшем в качестве PRIMARY KEY. Понял, что включил алгоритм имени маляра Шлемиля: при вставке каждой строки СУБД проверяла все предыдущие строки на наличие совпадений со вставляемой строкой. За сутки СУБД точно с такой работой не справится.

                                                                  Создал новую таблицу без индексов. Получил файл на 5 гигов. Вставилось быстро. Потом сгенерировал индекс. Файл вырос до 9 гигов.
                                                                  Ответить
                                                                  • показать все, что скрытоvanished
                                                                    Ответить
                                                                    • Кстати, надо будет попробовать загрузить таблицу на 100 миллионов записей в разные СУБД и сравнить ощущения.

                                                                      Тем временем выяснилось, что как минимум 2816 пользователей «Говнокода» в 2011-м году, вероятно, имели учётную запись «ВКонтакте», к которой хакеры пытались подобрать пароль. Вполне возможно, что у некоторых из них можно узнать реальное имя, фамилию и номер телефона.
                                                                      Ответить
                                                                      • показать все, что скрытоvanished
                                                                        Ответить
                                                                        • Вконтактика? Да, нашёл. До сих пор не удалили из открытого доступа. Обнаруживается тупо по запросу «100 миллионов пользователей вконтакте». Сам архив лежит на mega.nz. И похоже, что лежит там уже несколько лет.
                                                                          Ответить
                                                                        • В базе, кстати, 780 тысяч почтовых доменов. Да, многие регистрировали учётку «Вконтактика» на ящик на собственном домене.

                                                                          Топ-50 популярных почтовых доменов:
                                                                          mail.ru,47846013
                                                                          yandex.ru,13481820
                                                                          rambler.ru,8177369
                                                                          bk.ru,2455557
                                                                          gmail.com,2216596
                                                                          list.ru,1795818
                                                                          ukr.net,1722810
                                                                          inbox.ru,1564204
                                                                          yahoo.com,660296
                                                                          i.ua,593383
                                                                          hotmail.com,588069
                                                                          ya.ru,584332
                                                                          bigmir.net,456849
                                                                          yandex.ua,426051
                                                                          meta.ua,351161
                                                                          tut.by,259482
                                                                          e-mail.ru,204727
                                                                          vkontakte.ru,198040
                                                                          yndex.ru,181293
                                                                          meil.ru,149570
                                                                          pochta.ru,146196
                                                                          qip.ru,144786
                                                                          mai.ru,134954
                                                                          email.ru,122180
                                                                          inbox.lv,119776
                                                                          mail.ry,112205
                                                                          gmail.ru,103807
                                                                          spaces.ru,97929
                                                                          e1.ru,93065
                                                                          sibmail.com,89866
                                                                          ngs.ru,89707
                                                                          mail.com,84981
                                                                          km.ru,81263
                                                                          ua.fm,67852
                                                                          ro.ru,64072
                                                                          abv.bg,60243
                                                                          narod.ru,60017
                                                                          live.ru,59083
                                                                          web.de,55717
                                                                          il.ru,54942
                                                                          e-mail.ua,54743
                                                                          mail.ua,52302
                                                                          yandex.ry,50044
                                                                          online.ua,48608
                                                                          mil.ru,47064
                                                                          yandeks.ru,43916
                                                                          mal.ru,40658
                                                                          nm.ru,38618
                                                                          gmx.de,37851
                                                                          email.ua,37142


                                                                          Удивляет наличие yndex.ru и meil.ru (да, именно так). Видимо, в базе есть учётки с неподтверждённым е-мейлом.
                                                                          Ответить
                                                                          • показать все, что скрытоvanished
                                                                            Ответить
                                                                            • Да, «секретный» пятый домен мейлрушечки. Вебархив нашёл целых 5 (пять) юзеров «Моего мира» с такой почтой:
                                                                              http://web.archive.org/web/*/my.mail.ru/mail.ua/*
                                                                              Ответить
                                                                              • показать все, что скрытоvanished
                                                                                Ответить
                                                                                • Можно попробовать, сейчас он доступен в регистрационной форме:
                                                                                  https://i.imgur.com/Cc6QWLv.png
                                                                                  Ответить
                                                                                  • показать все, что скрытоvanished
                                                                                    Ответить
                                                                                    • Кстати:
                                                                                      domain:           mail.ua
                                                                                      dom-public:       NO
                                                                                      license:          38644
                                                                                      mnt-by:           ua.imena
                                                                                      nserver:          ns1.mail.ru
                                                                                      nserver:          ns2.mail.ru
                                                                                      status:           ok
                                                                                      created:          2004-04-13 16:42:48+03
                                                                                      modified:         2019-03-15 15:40:40+02
                                                                                      expires:          2020-04-13 16:42:48+03
                                                                                      source:           UAEPP
                                                                                      
                                                                                      registrar:        ua.imena
                                                                                      organization:     Internet Invest Ltd
                                                                                      organization-loc: ТОВ "Інтернет Інвест"
                                                                                      url:              http://www.imena.ua
                                                                                      city:             Kyiv
                                                                                      country:          UA
                                                                                      abuse-email:      [email protected]
                                                                                      abuse-phone:      +380442010102
                                                                                      abuse-postal:     Ukraine 01033 Kyiv Gaydara str., h 50 B, 2d floor
                                                                                      abuse-postal-loc: Україна 01033 Київ вул. Гайдара, 50 Б, 2 пов
                                                                                      source:           UAEPP
                                                                                      
                                                                                      person:           n/a
                                                                                      person-loc:       Elena Azarenko
                                                                                      organization-loc: MGL.Mail.ru Internet Assets Limited
                                                                                      e-mail:           [email protected]
                                                                                      address:          n/a
                                                                                      address-loc:      28 Oktovriou, 232, Oceanic Building, office 501
                                                                                      address-loc:      Limassol
                                                                                      postal-code-loc:  3035
                                                                                      country-loc:      CY
                                                                                      phone:            +357.25211450
                                                                                      mnt-by:           ua.imena
                                                                                      status:           ok
                                                                                      status:           linked
                                                                                      created:          2014-04-02 21:57:30+03
                                                                                      modified:         2017-09-07 17:06:29+03
                                                                                      source:           UAEPP


                                                                                      Регистрант — организация «MGL.Mail.ru Internet Assets Limited», расположенная на Кипре в Лимассоле, на улице 28 октября. Конечно же, к российской организации «Mail.ru» не имеет никакого отношения.
                                                                                      Ответить
                                                                                      • Кстати:

                                                                                        «Согласно данным ЕГРЮЛ учредителями ООО "Мэйл.Ру Груп" являются 2 иностранных юридических лица:
                                                                                        • КОМПАНИЯ "МГЛ МЭЙЛ.РУ ЭКВИТИ ЛИМИТЕД"

                                                                                        Доля: 112 443 852 руб. (99,99%)

                                                                                        • КОМПАНИЯ "МЭЙЛ.РУ ГРУП ЛИМИТЕД" (MAIL.RU GROUP LIMITED)

                                                                                        Доля:
                                                                                        11 148 руб. (< 0.01%)

                                                                                        КОМПАНИЯ МГЛ МЭЙЛ.РУ ЭКВИТИ ЛИМИТЕД
                                                                                        Страна КИПР
                                                                                        Регистрационный номер HE 315347
                                                                                        Дата регистрации 19.11.2012
                                                                                        Адрес 28 ОКТОВРИУ, 365, ВАШИОТИС СИФРОНТ, ОФИС 402, НЕАПОЛИ, 3107, ЛИМАСОЛ, КИПР
                                                                                        Наименование регистрирующей организации РЕГИСТРАТОР КОМПАНИЙ

                                                                                        КОМПАНИЯ " ДИДЖИТАЛ СКАЙ ТЕКНОЛОДЖИС ЛИМИТЕД" ("DIGITAL SKY TECHNOLOGIES LIMITED")
                                                                                        Страна ВИРГИНСКИЕ ОСТРОВА, БРИТАНСКИЕ
                                                                                        Регистрационный номер 655058
                                                                                        Дата регистрации 04.05.2005
                                                                                        Адрес ТРАЙДЕНТ ЧЕЙМБЕРЗ, П.О. БОКС 146, РОД-ТАУН, ТОРТОЛА, БРИТАНСКИЕ ВИРГИНСКИЕ ОСТРОВА
                                                                                        Наименование регистрирующей организации РЕГИСТРАТОР КОРПОРАТИВНОЙ ДЕЯТЕЛЬНОСТИ БРИТАНСКИХ ВИРГИНСКИХ ОСТРОВОВ»


                                                                                        Оказывается, имеет. Надо посмотреть украинские законы, против кого именно они ввели санкции.
                                                                                        Ответить
                                                                                      • показать все, что скрытоvanished
                                                                                        Ответить
                                                                                      • показать все, что скрытоvanished
                                                                                        Ответить
                                                                                        • См. следующий комментарий. Учредитель «Mail.ru» — нероссийская компания, причём постоянно меняющая государственную принадлежность: то Нидерланды, то Британские Виргинские острова, то Кипр.
                                                                                          Ответить
                                                                                    • https://www.president.gov.ua/storage/j-files-storage/00/40/38/6f76b8df9d0716da74bb4ae6a900d483_1494964345.pdf


                                                                                      11) заборона Інтернет-провайдерам надання послуг з доступу користувачам мережі Інтернет до ресурсів сервісів «Mail.ru» (www.mail.ru) та соціально-орієнтованих ресурсів «Вконтакте» (www.vk.com) та «Одноклассники» (www.ok.ru)

                                                                                      Согласно закону запрещены www.mail.ru, www.vk.com и www.ok.ru. Да, именно так.

                                                                                      А ещё, в частности, на территории Украины запрещены такие ресурсы:
                                                                                      https://avia.yandex.ua/?utm_source=yamain&utm_medium=popup&utm_ campaign=allua
                                                                                      https://afisha.yandex.ua/events?city=kyiv&tag=cinema
                                                                                      https://disk.yandex.ua/?source=services-main
                                                                                      https://direct.yandex.ua/?from=all&ncrnd=5179
                                                                                      https://market.yandex.ua/?clid=505
                                                                                      https://yandex.ua/people?lr=143
                                                                                      https://yandex.ua/blogs?rdrnd=234434&lr=143&redircnt=14758 42393.1
                                                                                      https://yandex.ua/maps/143/kyiv/?l=trf%2Ctrfe
                                                                                      https://rabota.yandex.ua/?from=morda_all
                                                                                      https://rasp.yandex.ua/?lang=ru
                                                                                      https://yandex.ua/adv?from=all
                                                                                      https://passport.yandex.ua/auth/update/?retpath=https%3A%2F%2Fsprav.yandex.ua%2 F
                                                                                      https://tv.yandex.ua/187?grid=main&period=now
                                                                                      https://browser.yandex.ua/desktop/?from=prov_all

                                                                                      Да, именно так, с такими GET-параметрами.
                                                                                      Ответить
                                                                                • Кстати, если заходишь на mail.ru с чистыми куками, тебе предлагают на выбор только четыре домена. А если сначала зайти на https://mail.ua/ , то происходит редирект на
                                                                                  https://mail.ru/?from=mailua , после чего в сессии появляется какая-то запись, и при регистрации в выпадающем списке уже пять доменов (добавляется @mail.ua).

                                                                                  «Mail.ru Group» приобрела домен mail.ua в 2012-м году:
                                                                                  https://internetua.com/Mail-ru-Group-priobrela-domen-Mail-ua

                                                                                  Интересно, есть ли у mail.ru ещё какие-нибудь скрытые домены, которые видно не сразу.
                                                                                  Ответить
                                                                                  • показать все, что скрытоvanished
                                                                                    Ответить
                                                                                    • показать все, что скрытоВатные сквоттеры.
                                                                                      Ответить
                                                                                    • Нашёл такую ссылку:
                                                                                      https://e.mail.ru/settings/aliases

                                                                                      Анонимайзер

                                                                                      Письма, отправленные на этот адрес,
                                                                                      будут доставлены в ваш основной ящик,
                                                                                      но его адрес будет скрыт
                                                                                      На вашем ящике не указан номер.
                                                                                      Чтобы создать анонимный адрес, добавьте телефон к почте.


                                                                                      Т. е. чтобы воспользоваться их «анонимайзером», нужно деанонимизироваться. Какой багор ))) Проще несколько учёток сделать.
                                                                                      Ответить
                                                                                    • Оказывается, в URL «Моего Мира» этот домен отображается как «mailua» (слитно):
                                                                                      https://my.mail.ru/mailua/guestinho/

                                                                                      В вебархиве удалось найти около двух тысяч таких профилей:
                                                                                      http://web.archive.org/web/*/my.mail.ru/mailua/*
                                                                                      (тут показывает 5 тысяч, потому что нашлись ещё вложенные страницы).
                                                                                      Ответить
                                                                                      • А ещё одно время в «Моём Мире» были кнопки логина через сторонние сервисы. Так были созданы следующие URL:
                                                                                        http://web.archive.org/web/*/my.mail.ru/yandex.ru/*
                                                                                        http://web.archive.org/web/*/my.mail.ru/gmail.com/*
                                                                                        http://web.archive.org/web/*/my.mail.ru/fb/*
                                                                                        http://web.archive.org/web/*/my.mail.ru/vk/*
                                                                                        http://web.archive.org/web/*/my.mail.ru/ok/*
                                                                                        Ответить
                                                                                        • P.S. Оказывается, эта возможность и сейчас есть. При входе в «Мой Мир» вводим в качестве логина ящик на @gmail.com или @yandex.ru (не выбираем домен из выпадающего списка доменов, а вводим полный адрес ящика вручную), в поле для пароля вводим какой-нибудь мусор. Тогда появляется окно аутентификации по OAuth2, где можно ввести свои данные от «Яндекса» или «Гмейла». В результате получается что-то типа такого:
                                                                                          https://my.mail.ru/yandex.ru/tolocalestring/
                                                                                          Ответить
                                                                                          • показать все, что скрытоvanished
                                                                                            Ответить
                                                                                            • Хороший вопрос, кстати. Оно поддерживает «OAuth» с произвольного домена или нет?..
                                                                                              Ответить
                                                                                              • «OAuth» — это не «OpenID». Это через «OpenID» можно было войти с произвольного домена.

                                                                                                Для того, чтобы в «Мой Мир» можно было войти через «OAuth» с произвольного домена, компания «Mail.ru Group» должна зарегистрировать «Мой Мир» как приложение» на каждом домене. Владелец сервиса OAuth на каждом домене должен одобрить заявку и выдать компании «Mail.ru Group» client_id и приватный ключ.
                                                                                                Ответить
                                                                                              • Заметил в веб-архиве домен abv.bg. Ввёл наудачу [email protected] (ящик не мой, просто ввёл наобум случайный адрес) — не пускает. Окно OAuth не появляется, требует ввести реальный пароль. О том, как можно зарегистрироваться с таким ящиком, они не сообщают.
                                                                                                Ответить
                                                                                          • показать все, что скрытоvanished
                                                                                            Ответить
                                                                                            • показать все, что скрытоШел 2019 год.
                                                                                              Ватники говнокода поголовно сидят в мой мир усманова.
                                                                                              Неудивительно, что борманд решил завести отсюда трактор.
                                                                                              Ответить
                                                                                            • Хорошая идея для спама. Регистрируешься, публикуешь у себя на стене гоатсе (чтобы срать на стену, нужно подтвердить номер телефона; sms-reg для этой цели вполне годится), а потом заходишь в гости ко всем подряд. Люди увидят тебя в списке своих гостей и из любопытства перейдут к тебе и увидят гоатсе. PROFIT!
                                                                                              Ответить
                                                                                          • показать все, что скрытоВ "Яндексе", кстати, [email protected] и [email protected] - это одна и та же учётка.
                                                                                            Ответить
                                                                                  • показать все, что скрытоvanished
                                                                                    Ответить
                                                                                    • .us вообще редко используется. У американцев изначально (когда они ещё не думали, что «Интернет» выйдет за пределы усашки) были домены .com, .org, .net, .edu — вот это всё.

                                                                                      Китайцы же не любят слова на английском языке. У них либо пиньинь (например, социальная сеть на домене renren.com, что с китайского переводится как «человек-человек»), либо нечитаемые комбинации буков (например, мессенджер qq.com), либо цифры: если имя домена заканчивается на 6, то это видеохостинг (6.cn, ku6.com, 56.com); девятка может означать музыкальный сайт (9sky.com, wo99.com, 9ku.com, 99music.net). Есть вообще адреса из цифр типа 163.com.
                                                                                      Ответить
                                                                                      • показать все, что скрытоvanished
                                                                                        Ответить
                                                                                        • А китайцы, видимо, слишком умные. Как они эти свои https://www.163.com/ запоминают? А ведь у них есть сайты, название которых состоит из большего количества цифр.
                                                                                          Ответить
                                                                                        • P.S. Нашёл объяснение про китайцев:
                                                                                          https://vc.ru/flood/3681-chinese-numbers

                                                                                          Цифры оказываются ещё более удобными, если выходит так, что они являются омонимами для других слов. Например, URL интернет-гиганта Alibaba — 1688.com, что произносится как «yow-liu-ba-ba» (достаточно похоже по звучанию на «Alibaba»). У цифр часто есть и собственное значение — видеохостинг 6.cn выбрал такой адрес, потому что слово, обозначающее цифру «шесть», также обозначает «поток». Число 5 произносится как «wu», что похоже на «wo» («я» по-китайски), а число 1 произносится «yao», что с другой интонацией будет значить «хочу». Поэтому домен сайта по поиску работы 51job.com звучит очень похоже на «Я хочу работу». Доставка еды из McDonalds находится по адресу 4008-517-517.com, где «517» звучит немного похоже на «Я хочу есть».

                                                                                          Такой «язык чисел» стал очень распространённым среди китайских пользователей интернета: 1 значит «хочу», 2 — «любовь», 4 — «смерть» или «мир», 5 — «я», 7 — «жена» или «поглощать пищу», 8 — «стать богатым» или «нет», 9 — «алкоголь» или «долгое время». Набор чисел 5201314 приравнивается к «Я буду любить тебя вечно», 687 — «прошу прощения».
                                                                                          Ответить
                                                                                      • показать все, что скрытоvanished
                                                                                        Ответить
                                                                              • Когда-то это был самостоятельный сервис, мылору его и купило как раз емнип году в 2011

                                                                                P.S. А, ты ниже написал про 2012
                                                                                Ответить
                                                                    • показать все, что скрытоvanished
                                                                      Ответить
                                                                  • показать все, что скрытоvanished
                                                                    Ответить
                                                                  • В оперативу влезет вполне. Не пробовал ее тупо в хешмеп засунуть?
                                                                    Ответить
                                                                • >Генерация 100 миллионов хэшей е-мейлов пользователей «ВК» заняла 45 минут (основное время занял не подсчёт, а ввод-вывод)
                                                                  Что наводит на мысль, что радужные таблицы нахуй здесь не нужны. Их вообще можно генерить со словарями?
                                                                  Ответить
                                                                  • Есть какая-то фигня под названием Hybrid Rainbow. Что-то по этой теме гуглится, но надо разбираться.
                                                                    Ответить
                                                                  • Вот для старта:
                                                                    https://forum.antichat.ru/threads/41361/

                                                                    Только не гугли сокращение «HRT» — ты найдёшь совсем не то, что искал.
                                                                    Ответить
                                                                    • показать все, что скрытоvanished
                                                                      Ответить
                                                                      • Покажи нам что ты написал, хуесосина анонимная.
                                                                        Ответить
                                                                        • Лал сёма, гость наверняка знал, что тот комментарий на форуме оставил именно ты
                                                                          Ответить
                                                                          • А давай подумаем, на чём могут засыпаться не скриптомакаки, а хорошие парни.

                                                                            Как строятся цепочки для радужных таблиц? Берём возможный пароль (pass), вычисляем от него хэш:
                                                                            hash = md5(pass);

                                                                            Далее, чтобы получить цепочку, нужно отобразить найденный хэш на другой возможный пароль:
                                                                            pass’ = R(hash);
                                                                            Следующие шаги очевидны:
                                                                            hash’ = md5(pass’);
                                                                            pass’’ = R(hash’);
                                                                            hash’’ = md5(pass’’);
                                                                            pass’’’ = R(hash’’);
                                                                            hash’’’ = md5(pass’’’);
                                                                            И так далее, пока не получим цепочку требуемой длины, от которой можно будет сохранить только начало и конец.

                                                                            Так вот сложность здесь заключается в построении функции R. Она должна отображать множество значений хэш-функции (для md5 это числа от 0 до (2 в степени 128) - 1) на множество значений пароля, причём делать это «равномерно», чтобы в итоге цепочки не слились в одну точку. Сложность подбора такого алгоритма сопоставима со сложностью подбора алгоритма для генератора псевдослучайных чисел. Именно поэтому в некоторых реализациях используют готовую функцию rand, подсовывая ей в качестве зерна биты, выдернутые из хэша (и опять возникает вопрос, как эти биты рациональнее выдернуть).

                                                                            К слову об отличиях между разными видами радужных таблиц: оно в функции R. В случае полного перебора R должна выдать массив битов, равный по длине искомому паролю. В случае перебора по словарю R должна выдать номер слова в словаре. В случае гибридной атаки (HRT) функция R должна вернуть вектор: список индексов в соответствующих словарях каждой части искомого пароля. Ну то есть если она вернёт вектор (14,88), в первом словаре индексу 14 соответствует «свино», а во втором словаре индексу 88 соответствует слово «собака», то искомый пароль «свинособака».

                                                                            Сколько тебе понадобится времени, чтобы получить функцию R такую, чтобы в итоге не возникло неподвижных точек, циклов, слияний цепочек в одну и чтобы в итоге был покрыт весь словарь (ну или хотя бы 90% его)?
                                                                            Ответить
                                                                            • Так ты их сгенерил или как?

                                                                              Статистически невозможно найти функцию редукции, которая бы не давала коллизий. Что такое неподвижных точек, циклов, слияний цепочек в одну?
                                                                              Ответить
                                                                              • показать все, что скрытоvanished
                                                                                Ответить
                                                                              • Неподвижная точка — это когда x = R(md5(x)). Тогда цепочка не будет расти.

                                                                                Цикл — это когда, например, x = R(md5(R(md5(R(md5(x)))))). Т. е., начиная с какого-то звена цепочка вместо того, чтобы расти, ходит по кругу.

                                                                                И то, и другое несмертельно, просто цепочки получаются короткими. Цикл труднее распознать, чем неподвижную точку, поэтому он будет снижать пирфоманс.

                                                                                А слияниями цепочек я обозвал коллизии. Это когда R(md5(R(md5(R(md5(x)))))) = R(md5(R(md5(R(md5(y)))))), но при этом x≠y. В принципе, тоже несмертельно, но тоже снижает пирфоманс, потому что при обращении хэша придётся перебирать несколько веток, дающих одно и то же конечное значение.

                                                                                Хорошо, это задача невыполнимая. Например, коллизии хэш-функций находили спустя несколько лет после начала использования.

                                                                                В любом случае нужно постараться покрыть как можно большую часть словаря, а это с первого раза может не получиться.
                                                                                Ответить
                                                                              • Пруф оф концепт:
                                                                                <?php
                                                                                
                                                                                function split_hash($hash, $sizes) {
                                                                                    $cnt = count($sizes);                   // количество словарей
                                                                                    $partSize = floor(128/4/$cnt);          // размер части хэша в тетрадах
                                                                                    $result = array();
                                                                                    foreach($sizes as $size) {
                                                                                        $tmp = substr($hash, 0, $partSize); // разбиваем хэш по тетрадам на равные части
                                                                                        $hash = substr($hash, $partSize);   
                                                                                        $result[] = gmp_intval(gmp_mod(gmp_init($tmp, 16), $size)); // возвращаем остаток от деления фрагмента хэша 
                                                                                                                                                    // на размер словаря
                                                                                    }
                                                                                    return $result;
                                                                                }
                                                                                
                                                                                function R($hash, $dicts) {
                                                                                    $sizes = array_map(function($val){return count($val);}, $dicts); // получаем размеры каждого словаря
                                                                                    $indices = split_hash($hash, $sizes);
                                                                                    $result = '';
                                                                                    foreach($indices as $dictNumber=>$index) {
                                                                                        $result .= $dicts[$dictNumber][$index]; // сцепляем слово из частей
                                                                                    }
                                                                                    return $result;
                                                                                }
                                                                                
                                                                                function make_chain($start, $length, $dicts) {
                                                                                    for($i = 0; $i < $length; ++$i) {
                                                                                        $hash = md5($start);
                                                                                        echo $hash . ' : ' . $start . PHP_EOL;
                                                                                        $start = R($hash, $dicts);
                                                                                    }
                                                                                }
                                                                                
                                                                                make_chain('свинособака', 10, array(
                                                                                      array('свино',  'овце', 'тигро', 'косатко', 'зубро', 'волко', 'кото'),
                                                                                      array('собака', 'бык',  'лев',   'дельфин', 'бизон')
                                                                                ));


                                                                                http://ideone.com/rxqpj1

                                                                                Выводит:
                                                                                360629d3cf05cee0240a23e1251c58a0 : свинособака
                                                                                1f7ad860b089c0e1141de02ac1e6e3ef : волкобизон
                                                                                6f2e4e3025c9dd840f1fa4a78792ef31 : котобизон
                                                                                d5812761186013ecca674a2704d5a081 : зубробык
                                                                                b4499d259156939bb74cbc1743632c8d : овцебизон
                                                                                c28ad194fcc581f538d109f8acb6b1f5 : волкобык
                                                                                663a3e06c88185db8fd4f81829e66b85 : котодельфин
                                                                                30bb70e972bf073c7aa4ec93c8d5b9a0 : косаткодельфин
                                                                                cc31cd8554c1add0128013bba2e47317 : волколев
                                                                                d88e78b7340637370628848b1957b4c2 : котособака
                                                                                Ответить
                                                                            • показать все, что скрытоvanished
                                                                              Ответить
                                                                            • Если ты понял, как работают радужные таблицы, расскажи - они будут работать если у тебя есть не хеш, а challenge-responce от него, т.е. соленый хеш от хеша?

                                                                              И твою писанину про граватар скушно читать. Поделился бы напарсеным, а то получается "смотрите какой я крутой".
                                                                              Ответить
                                                                              • показать все, что скрытоvanished
                                                                                Ответить
                                                                                • показать все, что скрытоСёма, прекращай кормить. Ватник перед тобой красуется, а остальных подзаебал своими путевыми заметками уже где-то с неделю. PoC не будет, кстати, это всё теоретизирования.
                                                                                  Ответить
                                                                              • >> они будут работать если у тебя есть не хеш, а challenge-responce от него, т.е. соленый хеш от хеша?

                                                                                Просто замени в формуле md5 на «соленый хеш от хеша». Ты получишь таблицы для конкретной соли.

                                                                                Если убрать всю воду, то радужные таблицы — это не что-то крутое, а просто способ сжатия таблиц, чтобы они занимали меньше места на диске. Архиватор с бесконечным зожатием.

                                                                                При построении радужных таблиц строится не линейный список хэшей и паролей, а двухмерный: таблица цепочек. Потом от каждой цепочки уже в линейном списке сохраняется только первое и последнее звено, потому что остальные звенья можно восстановить во время поиска.

                                                                                Эта манипуляция экономит место на диске. Если места на диске хватает, вместо радужных таблиц проще построить линейный список с индексом.
                                                                                Ответить
                                                                                • показать все, что скрытоvanished
                                                                                  Ответить
                                                                                • Так соль рендомная и неизвестна на момент генерации таблицы. В таком виде она будет работать?
                                                                                  Ответить
                                                                                  • Неизвестная соль фактически удлиняет пароль.

                                                                                    Если hash = md5(md5(pass) + salt), то для обращения мне приходят в голову следующие варианты.

                                                                                    Вариант А:
                                                                                    1. Найти по обычным таблицам значение md5(pass) + salt.
                                                                                    2. Угадать, сколько нужно отрезать, чтобы получить md5(salt). Хотя зачем гадать, когда длина значения хэш-функции известна.
                                                                                    3. Найти salt.

                                                                                    Вариант Б:
                                                                                    Сгенерировать радужную таблицу для каждой возможной соли.

                                                                                    Вариант В:
                                                                                    Написать редуцирующую функцию, которая возвращает не пароль, а вектор из пароля и соли. Тогда одна радужная таблица будет для всех возможных солей.

                                                                                    Какие подводные камни видишь у каждого из вариантов?
                                                                                    Ответить
                                                                                    • Соль нихуёвая. А где в радужных таблицах поиск? В твоем коде выше его нет.
                                                                                      Ответить
                                                                                      • Да, пароли у людей зачастую короткие, а соль обычно длинная. Пароль нередко подбирается по словарю или по комбинации нескольких словарей, а соль слишком произвольна. Время для перебора соли может оказаться нереально большим, если её не знать.

                                                                                        Код для поиска покажу чуть позже.
                                                                                        Ответить
                                                                                  • Syoma, ты давно ВУЗ окончил?
                                                                                    Ответить
                                                                                  • Два года без "Сёмы". Два года без русни и прыщей.
                                                                                    Ответить
                                                                    • Ну как нагенеришь - расскажешь. Да, чтобы добавить слова в словарь - надо будет перегенерить таблицы с 0?
                                                                      Ответить
                                                                      • Вообще да.

                                                                        Чисто теоретически можно построить функцию редукции, которая новые слова будет возвращать только для тех значений хэша, которых нет ни в одной старой цепочке. На практике для построения такой функции нужно полностью просканировать все старые цепочки, что по затратам эквивалентно генерации таблиц с нуля.

                                                                        Хотя у меня есть другая идея: заранее зарезервировать некоторые значения функции редукции, чтобы в них можно было добавлять новые слова, а при генерации цепочек прерывать цепочку, если встретилось зарезервированное значение. В теории это должно ухудшить статистику (будет много коротких цепочек, значит, таблицы займут больше памяти, и трудно угадать, как это отразится на покрытии словаря), но зато будет возможность добавлять слова без перестроения (кстати, можно будет продолжать старые цепочки, которые оборвались из-за получения зарезервированного значения).
                                                                        Ответить
                                                                        • Так ты используешь эти гибридные радужные таблицы, или просто потеоритезировать хочется? Софт готовый есть?
                                                                          Ответить
                                                                          • На практике использую обычные таблицы по словарю, места хватает и угадывается довольно много.

                                                                            Радужные оставлю на будущее, если вдруг совсем поеду и захочу перебрать чудовищные комбинации, которые в обычные таблицы не влезают.

                                                                            Готовый софт есть для радужных таблиц полного перебора, но они мне не нужны. Для гибридных радужных таблиц пока скачать не удалось. Свой велосипед для забавы я продемонстрировал. Сейчас он выдаёт короткие цепочки с циклами, хотя возможно, что это из-за короткого словаря. Нужно поколдовать с функцией редукции R.
                                                                            Ответить
                                                            • На самом деле претензия inho-pidar'а уместна.

                                                              Так вот теперь смотри и слушай. Бывают простые таблицы полного перебора, бывают простые таблицы по словарю, бывают радужные таблицы полного перебора, бывают так называемые «hybride rainbow tables».

                                                              Простые таблицы полного перебора весят много и считаются долго. В случае полного перебора радужные могут весить поменьше простых таблиц, но полный перебор нам не нужен. Мы же знаем, что в е-мейле будет ровно один символ @, причём он будет не первым и не последним символом строки, после @ будет валидный домен.

                                                              Возможно, тут бы подошли «hybride rainbow tables».

                                                              Я посчитал простые таблицы по словарю. «Радужные» в данном контексте было гиперболой, вроде как «передал в отдел по big data» у gost'а (или что там у него было).
                                                              Ответить
                                                              • простые таблицы с одинарным md5 тебе обойдутся дороже, чем без них.
                                                                Ответить
                                                              • Раз тебя не поняли - значит, гипербола была хуевой.
                                                                Ответить
                                                  • Ich
                                                    Ответить
                                      • показать все, что скрытоvanished
                                        Ответить
                                      • >> 0. Установлен «Fiddler» и настроена расшифровка HTTPS, а также включён флажок «Allow remote computers to connect»;

                                        По умолчанию «Fiddler» не захотел работать с протоколами TLS 1.1 и TLS 1.2. Проблема решилась вводом в окошке «QuickBox» команды:
                                        prefs set fiddler.network.https.SupportedServerProtocolVersions ssl3;tls1.0;tls1.1;tls1.2


                                        Какой-то прыщепердолинг.

                                        https://www.telerik.com/blogs/fiddler-and-modern-tls-versions

                                        Почему эти прыщебляди по умолчанию TLS 1.1 и TLS 1.2 не включили?
                                        Ответить
                                • С ключом от старого приложения все URL, кроме /version и /version/app/android, возвращают 403.
                                  Ответить
                    • показать все, что скрытоvanished
                      Ответить
          • Кстати, какие ещё есть сайты с удобным API, сливающим информацию о юзерах?

            И ещё на каких популярных сайтах используются граватары?
            Ответить
            • Добавлю: обнаружил граватары на сайтах stackoverflow.com и openhub.net. Где ещё они распространены?
              Ответить
            • показать все, что скрытоvanished
              Ответить
            • 1	stackoverflow.com
              2	gitlab.com
              3	bitbucket.org
              4	codepen.io
              5	wordpress.org
              6	askubuntu.com
              7	app.datadoghq.com
              8	rpm.newrelic.com
              9	css-tricks.com
              10	npmjs.com
              Ответить
              • 1. stackoverlow.com. Использует граватары. Есть API: https://api.stackexchange.com/docs/users
                Анонам дают 300 запросов в сутки, зарегистрированным приложениям 10 тысяч запросов в сутки.

                Кстати, askubuntu.com — это один из сайтов платформы SO. Полный список в подвале страницы.

                2. gitlab.com. Граватары опциональны, юзеры могут загружать свои картинки на сервер «Гитлаба».

                API есть, но доступ к некоторым функциям предоставляется только владельцам «серебряных» и «золотых» аккаунтов. Надо разбираться, что можно делать с бесплатной учёткой.

                3. bitbucket.org. API есть, но там вообще всё сложно: вместо REST и OAuth/OAuth2 у них какая-то сложная питушня. И опять же не всё доступно бесплатным учёткам.

                10. npmjs — граватары повсюду. API частично документирован в исходниках npm.

                Другие сайты: github.com пару лет назад отказался от граватаров. Но у него есть API, который иногда сливает е-мейлы.

                Нашёл такую штуку: https://libraries.io/api
                Это единый поисковик по репозиториям Go, npm, Packagist, PyPI, NuGet, Maven, Rubygems, Bower, CocoaPods, WordPress, CPAN, Cargo, Clojars, CRAN, Hackage, Meteor, Atom, Hex, Pub, PlatformIO, Puppet, Emacs, Homebrew, SwiftPM, Carthage, Julia, Sublime, Dub, conda, Racket, Elm, Haxelib, Nimble, Jam, Alcatraz, PureScript, Inqlude, Shards. Иногда в ответе можно поймать е-мейлы.
                Ответить
              • 11    https://russiancoders.dev/users/


                Найтмарец наклепал сайт с граватарами.

                Если его сайту передать неизвестный User-Agent, то вместо HTML-страницы он возвращает:
                PHP Parse error:  syntax error, unexpected ';' in /var/www/html/framework/router.php on line 327
                Ответить
              • https://www.google.com/search?q=inurl:/wp-content/uploads/wpdiscuz/cache/gravatars/
                Ответить
            • Ещё нашёл http://battlelog.battlefield.com/bf3/leaderboard/ и https://forums.battlefield.com/en-us/. Там есть ники, если получится спарсить — будет какой багор )))
              Ответить
            • http://battlelog.battlefield.com/bf3/leaderboard/None/specific/Mp_Main_Score/1/progression/soldier/1/0/
              Какой багор )))
              Ответить
            • На ebanoe.it используются граватары. Только вот у них API точно нет, да и с юзерами проблема.

              Зато можно красиво спамить с разноцветными аватарками
              Ответить
      • Принял, передал в почтовый отдел.
        Ответить
        • У «Гмейла» и у «Яндекса» есть ещё фишки, которые я не использовал:

          1. «Гмейл» игнорирует точки в имени. Ящики [email protected], [email protected] и [email protected] принадлежат одному пользователю. Если перебрать всевозможные положения точек между символами, то можно сильно увеличить размер радужной таблицы.

          2. Для «Яндекса» в логине минус и точка равнозначны. Ящики [email protected] и [email protected] принадлежат одному пользователю. Поменяв в адресах точки на минусы или минусы на точки, можно увеличить размер радужной таблицы.

          3. Наконец, и у «Гмейла», и у «Яндекса» можно добавлять «соль». [email protected] принадлежит тому же, кому и [email protected]. Однако, брут соли — слишком затратная операция, сопоставимая с брутом паролей, поэтому за него лучше не браться.
          Ответить
    • показать все, что скрытоvanished
      Ответить
      • Нет, все обновления будут в этом треде.
        Ответить
    • Кстати, сколько сейчас адресов? Вместе с обновлением получается 8 тысяч. Если вычесть @mailinator.com, @doanart.com, @rainmail.biz, то получается 4 тысячи.
      Ответить
    • О чем этот тред, собсно?
      Ответить
    • показать все, что скрытоhttps://www.youtube.com/watch?v=kzf4ZLjkKCs
      Ответить
    • показать все, что скрытоvanished
      Ответить
    • показать все, что скрытоСмарите на какую мандулу наткнулся
      https://upload.wikimedia.org/wikipedia/commons/f/fe/KL_Break_Out_Box_RS-232.jpg
      Ответить
    • hashes.org смог расшифровать 2565 хэшей. Нашлись даже чуваки, у которых почта на собственном домене.
      Ответить
    • Обновление. На настоящий момент расшифровано 11068 (11 тысяч с хвостиком) хэшей. Если вычесть ящики на доменах mailinator.com, doanart.com, rainmail.biz, остаётся 7335 адресов.

      Топ почтовых доменов:
      gmail.com,3218
      mailinator.com,1789
      doanart.com,1427
      mail.ru,1402
      yandex.ru,786
      rainmail.biz,517
      ya.ru,267
      bk.ru,134
      rambler.ru,126
      inbox.ru,116
      ukr.net,108
      list.ru,107
      tut.by,57
      lackmail.ru,39
      yahoo.com,28
      i.ua,28
      hotmail.com,24
      yandex.com,22
      bigmir.net,22
      mailforspam.com,21
      outlook.com,17
      ua.fm,17
      live.ru,16
      narod.ru,14
      mail.ua,13
      yandex.ua,13
      xakep.ru,12
      abv.bg,11
      test.com,11
      live.com,10
      meta.ua,9
      asdasd.ru,9
      xaker.ru,9
      spaces.ru,9
      checknew.pw,8
      nm.ru,8
      mail.com,7
      ngs.ru,7
      pisem.net,6
      sibmail.com,6
      inbox.lv,6
      smtp.ru,6
      shitmail.me,6
      trashmail.ws,6
      trbvm.com,6
      pochta.ru,6
      online.ua,5
      icloud.com,5
      msn.com,5
      open.by,4
      freemail.ru,4
      me.com,4
      p33.org,4
      li.ru,4
      yandex.by,4
      hotbox.ru,4
      e1.ru,4


      P.S. Новую таблицу передал в почтовый отдел gost'а.
      Ответить
      • Это только на говнокоде? И нахуй она ему нужна?
        Ответить
    • Гуглил слово «хурозвоз». Нашёл очередной сервис временной почты:
      https://faketempmail.com/huroz

      Он мне предложил такие ящики:
      [email protected]
      [email protected]
      [email protected]
      [email protected]
      Ответить

    Добавить комментарий