Stworzenie kompletnego systemu duplikującego dane około 3,3 mln organizacji non-profit
Podsumowanie
Wyzwanie: GlobalGiving, Candid, GuideStar i TechSoup Global zwróciły się do nas z potrzebą uzyskania bogatszego dostępu do danych dla liderów organizacji non-profit, aby mogli dowiedzieć się o zmianach społecznych na dużą skalę.
Podejście: Opracowaliśmy kompletne rozwiązanie zintegrowane z chmurą AWS i zdolne do przechowywania i deduplikowania danych z milionów organizacji. W ramach projektu 97,4% organizacji pozarządowych otrzymało unikalny identyfikator: BRIDGE ID.
Rezultat: Zwiększona przejrzystość w sektorze organizacji pozarządowych dzięki systemowi, który sprawdził 3,3 miliona organizacji, zidentyfikował 540 0000 duplikatów i przypisał 2,7 miliona identyfikatorów BRIDGE ID.
Spis treści
O projekcie
Celem projektu BRIDGE było stworzenie jednego uniwersalnego identyfikatora, który usprawni przepływ informacji w całym sektorze oraz pozwoli lepiej zrozumieć przepływ funduszy.
Projekt Bridge (ang. Basic Registry of Identified Global Entities) został zrealizowany na zlecenie organizacji z sektora non-profit: GlobalGiving, Candid oraz TechSoup. Prace sfinansowały fundacje Bill & Melinda Gates i William and Flora Hewlett, a także Google.
Przedsięwzięcie miało na celu deduplikację baz danych posiadanych przez trzy organizacje charytatywne, które gromadzą informacje na temat milionów organizacji pozarządowych (NGO).
Innowacyjny system
System BRIDGE może odegrać znaczącą rolę w łączeniu różnych źródeł danych oraz zwiększaniu dostępu do tych danych dla liderów organizacji non-profit.
BRIDGE ma usprawnić obieg informacji w całym sektorze oraz pozwolić lepiej zrozumieć przepływ funduszy i efektywniej rozdzielać środki przekazywane przez darczyńców.
Było nam bardzo miło pracować z zespołem Future Processing. Okazało się, że ich inżynierowie są biegli technicznie, zaangażowani i otwarci na nowe pomysły. Zespół Future Processing wykonał znakomitą pracę zarządzając projektem, a produkt końcowy spełniał wszystkie nasze oczekiwania. Zdecydowanie chcielibyśmy ponownie współpracować z Future Processing i polecam tę firmę również innym.
Projekt BRIDGE w liczbach
540,000
zidentyfikowanych duplikacji
2.7 million
BRIDGE ID w systemie
3.3 million
organizacji non-profit dostarczonych przez klienta
18 months
tyle trwał pierwszy etap projektu
Zakres współpracy
Naszą rolą było stworzenie kompletnego rozwiązania — od środowiska, przez oprogramowanie na nim działające, po dokumentację opisującą system. Rozwiązanie to zostało zintegrowane w chmurze Amazon AWS i jest w stanie przechowywać i deduplikować dane milionów organizacji. Należało również zadbać o takie kwestie jak wydajność, bezpieczeństwo, tworzenie kopii zapasowych danych lub odpowiednia redundancja serwerów i klastrów systemów baz danych.
Byliśmy również odpowiedzialni za podejmowanie decyzji technicznych i wyznaczanie kierunku rozwoju. Ze względu na znany cel oraz wynikające z innowacyjnej charakterystyki przedsięwzięcia, ewoluujące oraz zmieniające się wymagania, zespół razem z klientami pracował zwinnie, zgodnie z założeniami Scrum.
Dobrze zarządzany projekt, odpowiedzialność za produkt i duża kreatywność. Dobre rezultaty od strony technicznej. Duża otwartość działań i postęp w pracy nad produktem prowadzącym nas tam, gdzie trzeba. Zaangażowanie zespołów w różne cotygodniowe spotkania. Podobały mi się prezentacje, konkretny postęp prac, otwartość na szukanie rozwiązań jak i nieszablonowe działania.
Deduplikacja danych
Pierwsza faza projektu trwała około 18 miesięcy. Future Processing była odpowiedzialna za tworzenie kompletnego systemu, który był w stanie deduplikować dane dotyczące około 3,3 miliona organizacji pozarządowych. W ramach projektu większości organizacji pozarządowych (97,4%) przypisano unikalny identyfikator: BRIDGE ID. W sumie zidentyfikowaliśmy około 540000 duplikatów, co dało wynik 2.7 mln Identyfikatorów BRIDGE w systemie.
Ze względu na bardzo dużą ilość informacji przechowywanych w systemie, system opiera się na rozwiązaniach NoSQL – MongoDB oraz nowoczesnym silniku wyszukiwania – ElasticSearch.
BRIDGE poprawił przepływ informacji oraz ulepszył wpłynął na podniesienie poziomu komunikacji.
Future Processing jest firmą bardzo elastyczną, profesjonalną i szybko reagującą. Bardzo zorganizowaną i każdy wydawał się poważnie traktować jakość pracy. Przez cały czas utrzymywaliśmy właściwy kierunek działań, a zespół wniósł do projektu swoje zdolności intelektualne i techniczne. Wydawało się, że zespół Future Processing autentycznie zaangażowaliście się w projekt.
SCRUM i doradca techniczny
W projekt był zaangażowany Doradca Techniczny, którego głównym celem było zapewnienie wysokiej jakości procesu tworzenia oprogramowania jak i dostarczonego produktu.
Doradca Techniczny blisko współpracował z zespołem programistów, inspirując ich do usprawniania istniejącego kodu.
Od rozpoczęcia prac projekt był realizowany w oparciu o metody SCRUM, co było idealnym rozwiązaniem zarówno dla zespołu jak i dla naszego klienta.
Zobacz wywiad
Ze względu na wyjątkową naturę, projekt BRIDGE, w którym współpracowaliśmy z wieloma klientami, był dla nas inny niż wszystkie przy których dotychczas pracowaliśmy. Obejrzyj nagranie, na którym Paul van Haver mówi więcej o naszej współpracy.
Identyfikacja wizualna
Chcieliśmy stworzyć logo kojarzące się ze stabilnością. Stąd pomysł by przedstawiało ono most, czyli stabilną i bezpieczną konstrukcję, a jednocześnie nawiązywało do nazwy projektu.
Łączy on ludzi, trzymających się za ręce, co z kolei symbolizuje wzajemne wsparcie osób pracujących nad systemem. Dlatego też zastosowaliśmy kolor niebieski w logo, który kojarzy się z zaufaniem.
Było nam bardzo miło pracować z zespołem Future Processing. Okazało się, że inżynierowie z FP są biegli technicznie, zaangażowani i otwarci na nowe pomysły. Zespół Future Processing wykonał znakomitą pracę zarządzając projektem, a produkt końcowy spełniał wszystkie nasze oczekiwania. Zdecydowanie chcielibyśmy ponownie współpracować z Future Processing i polecam tę firmę również innym.
Technologie użyte w projekcie
