Projekt rozproszonej bazy grafowej oparty o MongoDB

SEO DB

DB

Klient zwrócił się do nas z zapytaniem o zaproponowanie rozwiązania abzodanowego pozwalającego na odwzorowanie połączeń między stronami www i łatwe/szybkie odnajdowanie połączeń między nimi, np. jakie adresy łączą domeny A i B. Ilość danych do analizy to ponad 2 terabajty.

  1. Dedykowane grafom rozwiązania open source nie sprawdziły się. Hadoop/batch processing był zbyt wolny
  2. Zbudowaliśmy własne rozwiązanie oparte o klaster MongoDB shardowany na kilka maszyn
  3. Dzięki uważnemu projektowi schematu bazy, zapytania realizowane poniżej 1 sekundy