Klient zwrócił się do nas z zapytaniem o zaproponowanie rozwiązania abzodanowego pozwalającego na odwzorowanie połączeń między stronami www i łatwe/szybkie odnajdowanie połączeń między nimi, np. jakie adresy łączą domeny A i B. Ilość danych do analizy to ponad 2 terabajty.

1. Dedykowane grafom rozwiązania open source nie sprawdziły się. Hadoop/batch processing był zbyt wolny
2. Zbudowaliśmy własne rozwiązanie oparte o klaster MongoDB shardowany na kilka maszyn
3. Dzięki uważnemu projektowi schematu bazy, zapytania realizowane poniżej 1 sekundy