OSINT інструменти для розвідки на основі відкритих джерел
Аналітики Molfar використовують OSINT інструменти для збору даних з відкритих джерел. Інструменти OSINT побудовані на специфічних алгоритмах пошуку та аналізу даних, які допомагають швидко та у зручному вигляді отримати інформацію конкретного типу. Джерела OSINT поділяються на групи за походженням даних, відповідно інструменти для дослідження цих джерел також відсортовані по категоріях.
Вивчення ОСІНТ тулзів є частиною компетенцій аналітика: кожен новий OSINT інструмент збільшує можливості фахівця під час збору даних. Часом з’являються нові інструменти, що надають доступ до раніше закритої чи дуже фрагментарної інформації. Гарний аналітик хоче дізнатися про це одним з перших. Ще одна розповсюджена потреба – заміна старих інструментів на нові. Це роблять з метою оптимізації та покращення роботи, або просто через те, що попередні тулзи перестали працювати.
Усі чи майже всі створені інструменти використовують джерела OSINT, тобто більшість доступних тулзів є агрегаторами відкритої інформації. Проте деякі інструменти OSINT містять унікальні дані, наприклад, FlightRadar24 – інтерактивна мапа з трекінгом геолокації цивільних та деяких військових літаків в режимі реального часу. Або MarineTraffic – аналогічний сайт для трекінгу геолокації кораблів.
Ці OSINT інструменти є виключеннями, оскільки вони відображають унікальні дані, фрагменти яких не знаходяться у вільному доступі. Подібні тулзи створені та підтримуються спеціалізованими командами в рамках програм розвитку доступності даних, їх просто потрібно знати та використовувати.
Що таке OSINT інструменти?
OSINT інструменти – це сукупність ресурсів, додатків та програмного забезпечення, за допомогою яких аналітик може швидко отримати специфіковану інформацію з відкритих джерел. Всі інструменти OSINT поділяються на дві групи за ступенем розповсюдження: публічні та кастомні.
Публічні OSINT інструменти
Це сервіси, програми та додатки, що доступні всім без винятку користувачам інтернету. Наприклад, сервіс для пошуку людини за нікнеймом WhatsMyName.
Кастомні OSINT інструменти
Це специфічне програмне забезпечення, створене досвідченими аналітиками для власного користування. Кастомні тулзи використовують ті самі відкриті джерела, але зазвичай мають дуже спеціалізовану функцію. Наприклад: аналітики Molfar створили кастомний OSINT інструмент для пошуку інформації про людину за прізвищем серед вакансій та резюме на сайтах з пошуку роботи.
За статистикою, більшість людей мають дуже обмежені можливості у зборі та аналізі інформації з відкритих джерел. Розповсюдження знань про OSINT інструменти кратно збільшує шанси на успішність пошуків. Ми рекомендуємо регулярно приділяти час та сили вивченню тулзів. Для прикладу, всередині Molfar ми маємо спільні чати, у яких постійно обмінюємось корисними посиланнями та оглядами на новинки у галузі OSINT розвідки.
Хто використовує інструменти розвідки на основі відкритих джерел?
Здебільшого OSINT інструменти використовують розвідники, які працюють з відкритими джерелами інформації. Проте більшість тулзів створені для широкого кола користувачів.
Розглянемо небажаний (про це в наступному розділі) для використання сервіс Getcontact, який показує як підписані в інших людей номери з переліку ваших контактів. Сервіс створювався для задоволення цікавості простих людей, натомість знайшов широке використання під час дослідження персоналій у розвідці. Getcontact – чудовий приклад OSINT інструмента, який використовує широке коло людей.
Ще один приклад: OSINT інструмент Wayback Machine, створений для вивчення історичних змін вебсторінки. Ресурс не отримав масового поширення серед звичайних користувачів, натомість він активно використовується в розвідці для отримання інсайтів.
Як користуватися інструментами OSINT?
Ми вже згадали небажаний (!) для використання OSINT інструмент під назвою Getcontact. Головна проблема подібних тулзів полягає в умовах використання даних. Сервіс не тільки дає вам можливість подивитись як підписані номери в контактах у інших людей, але й надає іншим людям доступ до інформації з вашої телефонної книги. Це досить сильна вразливість, на яку добровільно погоджуються користувачі додатка.
Простими словами: інструменти OSINT можуть зашкодити тим, хто хоче їх використати. Щоб залишатися в безпеці, аналітики Molfar рекомендують використовувати сек’юрний девайс та сек’юрний акаунт.
Сек’юрний девайс
Смартфон, на якому не міститься жодної чутливої інформації. Чутлива інформація – це дані, виток яких може зашкодити вам чи пов’язаним із вами людям. Наприклад: паролі, адреси пошт чи фізичні адреси, персональні фотографії тощо. Деякі OSINT інструменти можуть не збирати чутливу інформацію з девайса безпосередньо, але через внутрішні вразливості бути в зоні потенційного втручання зловмисників.
Сек’юрний акаунт
Це адреса пошти, номер телефону та інші дані, які не розкривають справжньої інформації про вас та пов’язаних із вами людей. У разі отримання доступу до вашого сек’юрного акаунту, зловмисники не можуть встановити ваш вік, стать, ім’я та іншу правдиву інформацію.
Отже, які б інструменти OSINT ви не використовували, перш за все подбайте про власну безпеку. Інакше збір та аналіз інформації може зашкодити вашій приватності.
Чи є джерела OSINT безкоштовними?
Переважно так, більшість OSINT інструментів безплатні чи безплатні частково. Наприклад, сервіс для пошуку інформації про людину X-Ray.contact. Спершу користувач отримує можливість шукати персоналії безплатно, але після завершення пробних пошуків – за наступні запити доведеться заплатити.
За статистикою, більшість успішних інструментів OSINT врешті решт монетизуються. І тоді користування безплатною версією стає неефективним. Разом з тим, за спостереженнями аналітиків Molfar: платні версії тулзів справді коштують своїх грошей. Користі від отриманих даних можна винести значно більше в порівнянні з вартістю користування сервісом. До того ж монетизація OSINT інструмента вказує на те, що він постійно вдосконалюється командою, яка його створила. Часто це є гарантією того, що обраний інструмент не втратить своєї актуальності протягом довгого часу.
Чи легально використовувати OSINT інструменти?
Так, повністю легально! Тому що в основі кожного додатка, ресурсу чи програмного забезпечення – знаходяться джерела OSINT. Тобто інформація з відкритих баз, реєстрів та сайтів.
OSINT інструменти побудовані на використанні загальнодоступних даних, проте ми все одно наполягаємо на дотриманні правил безпеки під час їх використання.
Митні накладні по 30 країнах. Не пов'язує різні написання компаній в один профіль. Шукаємо у різних написаннях.
Онлайн зчитування будь-якої мови з картинок (OCR), в тріалі є до 10 сторінок.
Список офферів від основних сіток, дозволяє визначити партнерів будь-якого сервісу.
База даних ЗМІ країнами. Також можна сортувати за конкретними темами. Один з найбільших ресурсів новин з журналами та газетами з усього світу. Але пошуку за ключовими словами тут не передбачено.
Софт, який дозволяє переглядати контактну інформацію на сайтах компаній, а також контактні дані співробітників на сторінці профілю у Linkedin. У безкоштовній версії після реєстрації є 90 кредитів для перегляду пошти (1 кредит – 1 пошта).
AML/KYC рішення. Шукає згадку людини у списках санкцій. Перевіряє новини за країнами. Шукає світовими реєстрами.
Архів веб-сторінок. Також можна використовувати для архівування важливих пруфів.
Карти, схеми, фото із супутників, фото користувачів. Є перегляд вулиць.
Онлайн-редактор. Зручний, коли на фото видно якийсь об'єкт (наприклад, номер машини), однак, через недостатнє освітлення, ви не можете побачити деталі. Змінивши експозицію або збільшивши різкість, можна отримати результат.
Карти, схеми, фото із супутників, фото користувачів. Краща роздільна здатність і свіжіші фото, ніж у Google у частині локацій, проте точної дати зйомок не має.
Сервіс показує, які технології застосовуються на сайті (плагіни, системи аналітики, CMS та ін.), також є можливість перегляду списку сайтів із заданої вертикалі. Використовуємо для пошуку клієнтів компанії, що надає технології. Також можна аналізувати окремий сайт щодо технологій.
Пошуковиq сервіс, підтягує результати з Google та Yandex, розбиває результати на тематичні папки (офіси, LinkedIn, клієнти, revenue).
Розширення для браузера. Зручний для парсингу співробітників компанії LinkedIn.
Сайт із заявками на дозволи на ремонт, де можна знайти додаткову інформацію про нерухомість на ім'я, наприклад, опис робіт, підрядників. Реєстрація на фейкові дані.
Розширення Chrome. Моніторинг змін на сторінках. На вході ? елемент сторінки (xpath, js), на виході ? оповіщення зміни.
Розбиває вікно браузера на 3 вікна для одночасного перегляду з сервісів Google: супутниковий знімок, карти та перегляд вулиць.
Пошукова система, яка не зберігає IP-адреси користувачів і не збирає інформацію.
Це розширення для пошуку адрес електронної пошти на відвідуваних сторінках.
Експорт коментарів із постів: Facebook, Instagram, Twitter, TikTok тощо. Безкоштовно 500 коментарів.
Пошуковик дозволяє вибрати ресурс, на якому буде здійснюватися пошук (зручно відразу прочекати список соціальних мереж).
Інструмент з трекінгу зміни зображень, дозволяє проганяти зображення через світлові спектри, якщо на фото не вистачає деталей при “аналізі шумом” (ELA), то можна припустити, що воно змінене. Також дозволяє отримати метадані.
Соціальні мережі та ПІБ людини через пошту. Працює через Maltego.
Генерує обличчя з природним заднім фоном. При збереженні браузера дописувати розширення .jpg. Також на сайті є багато інших генераторів.
Пошук фото особи з бази згенерованої нейромережею, можливість вибору фільтрів за етнічними ознаками.
Сайт, що дозволяє малювати схеми. Більшість користувачів використовує безкоштовну версію, у зв'язку з чим їх схеми індексуються пошуковими системами.
Карти, схеми, фото із супутників, фото користувачів. Є перегляд вулиць.
Відстежування інформації на постійній основі. З появою нових статей, згадок тощо приходить повідомлення.
Десктопна версія, доступні історичні фото, об'єкти проглядаються під різними кутами.
Сервіс, який може створювати карти на основі даних із файлів різних форматів: .GPX, .kml, .xml, .xls та інших.
Плагін для перевірки дрібних граматичних помилок під час виконання завдань англійською мовою.
Інструменти на вкладці Tools, аналог RiskIQ PassiveTotal, не потребує реєстрації.
Інструмент, що дозволяє дивитися статистику коментарів на YT. Є фільтри за датою, кількість лайків і кількість відповідей на комент. Можна шукати з ніком автора коментаря.
Карти, схеми, фото із супутників, фото користувачів. Краща роздільна здатність і свіжіші фото, ніж у Google, у частині локацій, проте точної дати зйомок не має.
Пошта на ім'я/прізвище людини та домену компанії. Відображає формат пошти. 100 запитів/місяць.
OCR з обмеженим функціоналом, зчитує файли по одній сторінці. Підтримуює іврит.
Сервіс, який видаляє виділені частини зображення та добудовує їх за допомогою нейромережі.
Веб. Зручніше ніж Octoparse. У безкоштовній версії немає обходу loginwall.
Автоматичний збір усієї доступної інформації. На вході можна давати домен, IP, пошту, BTC-гаманець, зображення, нікнейм, ім'я та прізвище, телефон, локацію, keyword для пошуку файлу,
Зручний сайт для націлювання пошуку в Google, можна вказати точне місцезнаходження та мову.
Декомпілер додатків під Android. Наприклад, щодо компанії, яка робить соціальні ігри, можна побачити, які SDK встановлені в додатку.
Платформа показує ключові слова за введеним запитом будь-якою мовою та країною. У деяких запитах навіть видно, наскільки вони популярні, хоч послуга платна. Можна шукати ключові слова по Google, YouTube, Twitter, Instagram, Amazon, eBay, Play Store, Bing.
Дозволяє прослуховувати різні діапазони зв'язку в Києві, наприклад – радіопереговори операторів та патрулів охоронної фірми. Дозволяє вести запис з подальшим скачуванням. Працює у Firefox та Internet Explorer, в інших браузерах може не відтворюватися звук.
Збільшення чіткості, зумування. Реєстрація на фейкову пошту, 5 запитів, збільшення до 4-х разів.
Інструкція з пошуку LinkedIn профілів через додавання в контакти через клієнт Microsoft Outlook Online.
Інструмент для побудови та аналізу зв'язків між суб'єктами та об'єктами. Встановлює зв'язки між людьми, їх контактами (пошти, акаунти в соцмережах, телефонними номерами та адресами), компаніями, веб-сайтами, елементами інтернет-інфраструктури (доменні імена, DNS записи, IP адреси, мережеві блоки) та метаданими документами.
Пошук по відкритих FTP. Зручний тим, що навіть якщо доступ до сервера вже закрито, заголовки сторінок та назви файлів залишаються проіндексованими.
Дозволяє за допомогою ID Telegram, Discord, Twitter або Facebook знайти збережені копії акаунтів. Навіть якщо аккаунт був видалений, може показати фото та ім'я.
Android, iOS. Аналог Truecaller, GetContact для Саудівської Аравії.
Сервіси, що агрегують інформацію про домени, мережі, DNS, IP. Використовуються для розуміння, які ще проекти розміщені на IP головного сайту компанії, чи вони належать компанії і т. д. Myip.ms зручний тим, що відображає історію зміни IP.
OCR з обмеженим функціоналом, зчитує файли по одній сторінці. Підтримуює іврит.
KPI додатків. Дозволяє подивитися на рекламні кампанії та статистику щодо них.
Плагін-швейцарський ніж, який дозволяє завантажувати відео/зображення за посиланнями, розбиває відео покадрово, перевіряє репости у Twitter, автоматично проганяє через пошукові системи Google, Yandex, Tineye та Baidu. Доступний перегляд метаданих у відео та зображеннях, перевірка через ELA та різними спектрами на фейковість, зумування Є стандартний пошук для Twitter.
Десктоп. є можливість створення детальної блок-схеми дій. Може оминати loginwall.
Список офферів від основних сіток дозволяє визначити партнерів будь-якого сервісу.
Список офферів від основних сіток дозволяє визначити партнерів будь-якого сервісу.
Онлайн-редактор. Зручний, коли на фото видно якийсь об'єкт (наприклад, номер машини), проте через недостатнє освітлення ви не можете побачити деталі. Змінивши експозицію або збільшивши різкість, можна отримати результат.
OCR з обмеженим функціоналом, зчитує файли по одній сторінці. Підтримують іврит.
Пошук за уривками тексту, листів та коду, завантажених користувачами.
Швейцарський ніж для пошуку по картинці: шукає одночасно у Google, Yandex, Tineye і Bing. Завантажуємо розширення, обираємо пошукові системи ? ПКМ за зображенням ? пошук; схожі сервіси: Search by Image та Image Search - є Baidu, немає Bing.
Пошук за зображенням на сайтах, що індексуються, за допомогою технології аналогічної findclone. Відкриття результатів платне, але самі фото видно та видно, з якого ресурсу підтягнуло.
Телеграм бот для пробивання даних по людині. Розрахований на СНД. Віддає історичні дані з VK.
Пошук зв'язків людини. RelSci також дозволяє знаходити зв'язки людина/людина та людина/компанія.
Аналог Forensically, є пояснення до всіх фільтрів, кейси фейкових фото. Також доступний у плагіні InVID.
Сервіси, що агрегують інформацію про домени, мережі, DNS, IP. Використовуються для розуміння ,які ще проекти розміщені на IP головного сайту компанії, чи вони належать компанії тощо.
Пошта на ім'я/прізвище людини та домену компанії. Іноді знаходить особисті пошти та підтягує соц. мережі. 10 запитів безкоштовно.
Для швидкого перемикання між картами Google, Yandex, OpenStreet, ESRI та Apple.
Розширення для Google Chrome для швидкого пошуку у Facebook, Youtube, Vimeo, Stackoverflow та інших.
KPI мобільних додатків. На вході ? мобільний додаток, на виході ? завантаження, DAU/MAU, рекламодавці, конкуренти, ASO.
Статистика за кількістю сайтів, що використовують ту чи іншу технологію. Використовуємо для пошуку клієнтів компанії, що надає технології. Також можна аналізувати окремий сайт щодо технологій.
Через форму відновлення пароля можна отримати дані про пошту або телефон.
Платний, але найдешевший віртуальний номер. Є рідкісні країни, наприклад, Румунія. В оренду на 20 хвилин надається номер. Купуємо номер > відправляємо смс > чекаємо 2 хвилини > натискаємо зелену галочку для прочитання смс. У разі відсутності смс, гроші за оренду повертає на аккаунт.
Розширення браузера. Знаходить пошти профілів у LinkedIn. Дозволяє не заходити у профіль, а показувати пошти з форми пошуку одразу для 10 профілів.
Пошуковик хештегів, підтягує результати із соцмереж, де є хештег введеного слова (відразу видно демки фото).
Привносить функціонал Graph Search в Maltego (пролайкані пости, відзначені фото, затегані пости). Працює як окремий трансформ у Maltego.
Автоматичний збір усієї доступної інформації. На вході даємо домен, IP чи пошту. Кілька режимів роботи, в повному режимі працює пару годин і загребає чимало сміття, також є пасивний режим, в якому збирається максимум інформації без прямих запитів до мети. Є експорт у .csv, побудова графа зв'язків.
Сайт для перегляду сторіз та постів в Instagram без логіну в будь-якому обліковому записі. Також можна завантажити історію.
Директорія компаній з базовою інформацією та контактами співробітників.
Браузер для безпечного серфінгу. За допомогою Tor користувачі можуть зберігати анонімність в інтернеті під час відвідування сайтів, ведення блогів, надсилання миттєвих та поштових повідомлень, а також під час роботи з іншими додатками.
Підбірка сервісів для анонімної роботи: пошти, фото, смс, додавання фальшивих даних EXIF на фото.
Парсер VK, отриману інформацію можна завантажити до Maltengo для побудови графа.
Платформа великих даних. На платформі є russian Roots – реєстр компаній, пов’язаних з рф і рб, для перевірки (в тому числі масованої) та виявлення російського коріння. А також комплексні досьє компаній і ФОП.
Пошта на ім'я/прізвище людини та домену компанії. 50 запитів безкоштовно.
Розширення для Google Chrome для пошуку по фотографії, після встановлення розширення можна клацнути ПКМ на будь-яке фото і вибрати пошук в пошуковій системі, що цікавить: Google, Yandex, Bing, Tineye, Baidu, Reddit. Також є опція відкрити фото в окремому редакторі та скористатися кастомними інструментами: лупа для збільшення частин зображення, перевірка на предмет фотошопу та перегляд метаданих.
Карта з нанесеними Wi-Fi точками та назвою мережі. Якщо ви не знаєте точної адреси компанії, можна переглянути орієнтовний район та знайти точку з назвою компанії/проекту.
Карти, схеми, фото із супутників, фото користувачів. Доступні неофіційні записи про місця, колишніх власників. Краще роздільна здатність і свіжіші фото, ніж у Google у частині локацій, проте точної дати зйомок не має.
Плагін для Chrome. VPN. Якість роботи – 50/50, обмеження 10 Гб/міс., але періодично можна знайти промокоди для збільшення кількості трафіку. Також на сайті можна завантажити версію для desktop. Країни: US, CA, FR, DE, NL, NO, RO, CH, UK, HK.
Пошук з міжнародних та національних дослідницьких баз. Запит можна вводити будь-якою мовою, включаючи російську. Передбачено фільтри.
Карти, схеми, фото із супутників, фото користувачів. Є перегляд вулиць.
Дані щодо українських юридичних осіб. Основна перевага - історичні дані щодо керівників, засновників та адрес, а також пошук зв'язків за адресами та іменами. Також є фінансові показники як діапазонів.
Сервіси, що агрегують інформацію про домени, мережі, DNS, IP. Використовуються для розуміння, які ще проекти розміщені на IP головного сайту компанії, чи вони належать компанії тощо.