Back Studii de caz

Platforma de big data on-premise pentru Carrefour

eSolutions a implementat pentru Carrefour Romania o platforma de big data cu scopul de a eficientiza operatiunile companiei. Sunt centralizate informatii despre stocuri, preturi, vanzari, promotii, comenzi etc. din magazinele si depozitele din tara.

Datele sunt agregate si procesate centralizat pentru a fi ulterior consumate de catre alte  sisteme/ aplicatii prin API-uri sau transmise catre sisteme externe.

Platforma de big data implementata pentru Carrefour creste performanta si scalabilitatea proceselor, are disponibilitate ridicata pentru a efectua activitati zilnice de rutina si faciliteaza accesul la date pentru intreg ecosistemul de aplicatii si sisteme IT. Platforma sprijina automatizarea ciclului de viata al produselor  prin intermediul tehnologiilor integrate si mareste viteza cu care pot fi realizate modificari, contribuind la eficientizarea operatiunilor prin scaderea timpilor de procesare a datelor.

Carrefour
Carrefour

Clientul

Cu peste 10.100 de magazine in 34 de tari, Grupul Carrefour este al doilea retailer mondial si numarul unu in Europa. Zilnic, peste 10 milioane de clienti viziteaza magazinele Carrefour din lumea intreaga, bucurandu-se de o gama larga de produse si servicii la preturi echitabile. In Romania, Grupul Carrefour ofera clientilor sai multiple posibilitati de a face cumparaturi, atat in magazinele fizice din tara, cat si online, prin portalul unic www.carrefour.ro sau prin serviciul de livrare BRINGO.

Provocarea

Odata cu evolutia companiei, au crescut nevoile de business si cerintele tehnice. Astfel, partenerul nostru se confrunta cu o serie de provocari precum: cresterea numarului de magazine si acumularea de date in timp, produse de sisteme eterogene; cresterea nevoilor de procesare a datelor si transformarea acestora in informatie valorizata; nevoia reducerii dramatice a timpului in care datele devin disponibile (real time/ near real time). Astfel, clientul intampina dificultati in centralizarea, prelucrarea si transmiterea datelor din cauza volumului mare, a inconsistentei si nestandardizarii acestora. Comunicarea dintre aplicatii si platforme era ingreunata de complexitatea ecosistemului si inexistenta unei abordari standardizate.

Solutia livrata

  • Primul pas în construirea funda?iei platformei de big data a fost instalarea si configurarea infrastructurii (servere, masini virtuale). Am optat pentru o infrastructura cloud-ready, scalabila, folosind platforma Hadoop.
  • Pentru layerul de data collection / transfer / ingestion am optat pentru Apache NiFi, care care este o solutie extrem de flexibila, eficienta si completa.  
  • Stocarea distribuita a datelor se face cu Apache Hadoop (HDFS), pe multiple noduri.
  • Procesarea distribuita a datelor se face cu Apache Spark, iar evenimentele in timp real sunt procesate cu Apache Kafka (Kafka streams). 
  • Stocarea datelor procesate in functie de nevoile de business se face in Apache Cassandra (performanta ridicata pentru scalabilitate, throughput si disponibilitate). Pentru alte scenarii de utilizare se folosesc si PostgreSQL, Redis si Apache Druid.
  • Datele sunt oferite spre consum in diverse formate, prin API-uri securizate sau trimise catre alte sisteme externe prin servicii push.
  • Din punct de vedere al securit??ii, s-a configurat  acces diferentiat între diferitele zone de date, au fost configurate alerte, dar si proceduri de recuperare a datelor in caz de urgen??. 
  • Platforma include o solutie de monitorizare, care ofera informatii si alerte despre infrastructura si componentele tehnice, dar si pentru procesele de business care sunt executate. Logurile componentelor platformei sunt centralizate folosind ELK Stack (Elasticsearch, Logstash, Kibana).
  • Solu?ia a fost construit? astfel incat orice componenta sa poata scala orizontal pentru nevoi noi ale business-ului sau pentru evolutia tehnologiei, în acela?i timp oferind disponibilitate ridicat? ?i acces rapid la date.

Rezultate

Platforma de big data implementata pentru Carrefour aduna informatii din peste 400 de magazine despre 500.000 de produse unice, datele fiind actualizate si servite catre alte aplicatii aproximativ in timp real. Sunt agregate, intre altele, 35 de milioane de inregistrari care redau imaginea fiecarui produs (stoc, pret, atribute, promotii etc.) din toate magazinele. Fluxurile de date procesate intr-o zi depasesc 10 miliarde de inregistrari. Astfel, platforma ajuta la eficientizarea si simplificarea proceselor interne, asigurand accesul la date, in timp real, intregului ecosistem de aplicatii Carrefour, devenind unica sursa de date operationale. Pentru clientii Carrefour, intregul proces se traduce in imbunatatirea experientei de cumparare prin intermediul platformei de e-Commerce si serviciilor de livrare produse (Bringo).

Echipa

Prima faza a proiectului a demarat la sfarsitul anului 2017. Ulterior, au fost dezvoltate constant noi fluxuri si functionalitati, proiectul fiind inca in derulare. Echipa de proiect este una complexa, incluzand Big Data Solution Architects, Big Data Developers, Big Data Engineers, SysOps, Project Manager.

Tehnologii

NiFi (pentru Data Ingest), HDFS (pentru Data Lake), Kafka Streams (pentru Event Sourcing), Spark (pentru Batch Processing), PostgreSQL, Redis, Cassandra, Druid (pentru Data Storage).

Ti s-a parut utila solutia noastra?

Te putem ajuta si pe tine. Lasa-ne detalii despre proiectul tau si revenim cu un raspuns cat de curand.

Contacteaza-ne
Back Studii de caz
Suntem aici
Mereu bucurosi sa cunoastem oameni noi - va incurajam sa ne contactati pentru orice intrebari ati avea!
Suntem parte dintr-o comunitate internationala de profesionisti

eSolutions este membru al grupului Qvest

Bucuresti
Str. General Constantin Budisteanu nr. 28C, Bucuresti, 010775
Program
Luni-Vineri: 09.00 -18.00
Bonn
Am Dickobskreuz 10, D-53121 Bonn
Berlin
Kohlfurter Strasse 41/43, D-10999 Berlin
Koln
Kennedy-Ufer 11, D-50679 Koln
Copyright 2024 eSolutions. Toate drepturile rezervate.