{"id":606,"date":"2022-08-05T09:57:18","date_gmt":"2022-08-05T07:57:18","guid":{"rendered":"https:\/\/dataarchitects.ai\/\/?p=606"},"modified":"2024-01-07T16:57:07","modified_gmt":"2024-01-07T15:57:07","slug":"nowoczesna-architektura-danych-w-organizacji-data-lakehouse","status":"publish","type":"post","link":"https:\/\/dataarchitects.ai\/en\/nowoczesna-architektura-danych-w-organizacji-data-lakehouse\/","title":{"rendered":"Nowoczesna architektura danych w organizacji: Data Lakehouse"},"content":{"rendered":"

Dzia\u0142anie wsp\u00f3\u0142czesnych przedsi\u0119biorstwa w znacznym stopniu jest oparte o narz\u0119dzia informatyczne takie jak np. CRM, systemy operacyjne, transakcyjne, kt\u00f3re generuj\u0105 ogromne ilo\u015bci informacji. Przez wiele lat standardem by\u0142a budowa hurtowni danych, kt\u00f3rej celem by\u0142o przechowywanie i udost\u0119pnienie oczyszczonych danych dla analityk\u00f3w oraz innych u\u017cytkownik\u00f3w. Hurtownia mia\u0142a by\u0107 centralnym repozytorium danych dla ca\u0142ej organizacji. Wraz z wzrostem organizacji, ich cyfryzacj\u0105 oraz rozwojem jednostek analitycznych, centralizacja danych sta\u0142a si\u0119 idealistyczn\u0105 koncepcj\u0105, kt\u00f3r\u0105 trudno osi\u0105gn\u0105\u0107. Nadto okaza\u0142o si\u0119, \u017ce hurtownie danych sprawdza\u0142y si\u0119 do\u015b\u0107 dobrze przy przetwarzaniu mniejszych i ustrukturyzowanych zbior\u00f3w danych. Wraz z wzrostem wolumenu danych oraz ich zmienno\u015bci hurtownie przesta\u0142y spe\u0142nia\u0107 swoj\u0105 rol\u0119 jako narz\u0119dzie dost\u0119pu do istotnych danych dla analityk\u00f3w oraz data scientist\u00f3w. Koniecznym by\u0142o wypracowanie rozwi\u0105zania, kt\u00f3re b\u0119dzie odpowiada\u0107 na problemy zwi\u0105zane z hurtowniami danych. Rozwi\u0105zaniem odpowiadaj\u0105cym na te potrzeby sta\u0142o si\u0119 \u201edata lake\u201d. <\/p>\n\n\n\n

Data lake jest repozytorium, kt\u00f3re umo\u017cliwia przechowywanie danych ustrukturyzowanych oraz nieustrukturyzowanych w dowolnym formacie bez znacz\u0105cych limit\u00f3w ilo\u015bciowych. Data Lake pozwala przechowywa\u0107 dane surowe bez  konieczno\u015bci uprzedniej ich strukturyzacji, co ogranicza konieczno\u015b\u0107 proces\u00f3w ekstrakcji, transformacji oraz przetwarzania dla danych, kt\u00f3re nie maj\u0105 zastosowania w momencie ich kreacji. Oznacza to, \u017ce in\u017cynierowe danych oraz analitycy buduj\u0105 procesy dopiero kiedy pojawia si\u0119 rzeczywisty scenariusz biznesowy. Takie podej\u015bcie zwi\u0119ksza elastyczno\u015b\u0107 budowanych rozwi\u0105za\u0144 oraz wyzwala kreatywno\u015b\u0107 w podej\u015bciu do pracy z danymi. Data Lake cz\u0119sto uto\u017csamiany jest w technologi\u0105 Hadoop, jednak jego implementacje mo\u017cemy r\u00f3wnie\u017c znale\u017a\u0107 w \u015brodowiskach chmurowych takich jak Azure Data Lake Storage, Amazon S3, Google Cloud Storage kt\u00f3re coraz cz\u0119\u015bciej s\u0105 wybierane przez przedsi\u0119biorstwa. <\/p>\n\n\n\n

W data lake w odr\u00f3\u017cnieniu od hurtowni dane zapisywane s\u0105 w swoim oryginalnym formacie, schemat definiuje si\u0119 kiedy chcemy odczyta\u0107 lub zapisa\u0107 dane. W hurtowni dane przechowywane s\u0105 w  formie relacyjnych tabel, posiadaj\u0105cych zdefiniowan\u0105 struktur\u0119 oraz typy danych. Spos\u00f3b przechowywania i pracy z danymi w data lake sprawi\u0142, \u017ce jest on wykorzystywany tylko przez w\u0105sk\u0105 grup\u0119 do\u015bwiadczonych in\u017cynier\u00f3w danych. Odpowiedzi\u0105 na ograniczenia zar\u00f3wno hurtowni jak i data lake mo\u017ce by\u0107 nowoczesne podej\u015bcie do modelowania architektury danych okre\u015blone mianem Data Lakehouse. <\/p>\n\n\n\n

Czym jest Data Lakehouse?<\/h2>\n\n\n\n

Data lakehouse \u0142\u0105czy podej\u015bcia architektury opartej na hurtowni danych oraz na data lake. Lakehouse implementuje najlepsze rozwi\u0105zania z obu wcze\u015bniejszych podej\u015b\u0107. Do najwa\u017cniejszych cech tego systemu mo\u017cemy zaliczy\u0107: <\/p>\n\n\n\n

    \n
  1. Wydzielenie cz\u0119\u015bci przechowuj\u0105cej dane od mechanizm\u00f3w przetwarzania danych \u2013 mechanizm ten umo\u017cliwia bardziej efektywne wykorzystanie zasob\u00f3w, co jest szczeg\u00f3lnie istotne w przypadku pracy z chmur\u0105 obliczeniow\u0105.   <\/li>\n\n\n\n
  2. Wsparcie transakcyjno\u015bci w\u0142a\u015bciwo\u015bci ACID (niepodzielno\u015b\u0107, sp\u00f3jno\u015b\u0107, izolacja, trwa\u0142o\u015b\u0107) \u2013 transakcyjno\u015b\u0107 zapewnia integralno\u015b\u0107 danych oraz zwi\u0119ksza zaufanie analityk\u00f3w do jako\u015bci danych.<\/li>\n\n\n\n
  3. Obs\u0142uga szerokiego spektrum typ\u00f3w danych \u2013 lakehouse pozwala na przetwarzanie r\u00f3wnie\u017c danych nieustrukturyzowanych np. obrazy, audio, wideo oraz wiele innych. <\/li>\n\n\n\n
  4. Bezpo\u015bredni dost\u0119p do \u017ar\u00f3d\u0142a danych \u2013 rozwi\u0105zanie pozwala na dost\u0119p do danych bezpo\u015brednio w \u017ar\u00f3dle co ogranicza konieczno\u015b\u0107 tworzenia kopii danych oraz zapewnia aktualno\u015b\u0107 danych. <\/li>\n\n\n\n
  5. Wsparcie dla zarz\u0105dzania danymi \u2013 platformy tego typu udost\u0119pniaj\u0105 mechanizm umo\u017cliwiaj\u0105cy kontrol\u0119 oraz monitorowanie przep\u0142yw\u00f3w danych w organizacji. <\/li>\n\n\n\n
  6. Przetwarzanie danych w czasie rzeczywistym \u2013 lakehouse przy\u015bpiesza projektowanie raport\u00f3w oraz aplikacji biznesowych w oparciu o dane w czasie \u201enear real-time\u201d. <\/li>\n<\/ol>\n\n\n\n
    \"\"<\/figure><\/center>\n\n\n\n

    Koncepcja lakehouse \u0142\u0105czy elementy hurtowni danych oraz data lake posiada jednocze\u015bnie wiele innych istotnych korzy\u015bci dla biznesu jak na przyk\u0142ad pozwala ograniczy\u0107 przep\u0142yw danych pomi\u0119dzy systemami, redukuje koszty zwi\u0105zane z utrzymaniem systemu i proces\u00f3w ETL oraz u\u0142atwia zarz\u0105dzanie danymi. <\/p>\n\n\n\n

    Je\u015bli chcesz dowiedzie\u0107 si\u0119 wi\u0119cej o nowoczesnym podej\u015bciu do projektowania architektury danych w organizacji skontaktuj si\u0119 z nami!<\/strong><\/strong><\/p>","protected":false},"excerpt":{"rendered":"

    Dzia\u0142anie wsp\u00f3\u0142czesnych przedsi\u0119biorstwa w znacznym stopniu jest oparte o narz\u0119dzia informatyczne takie jak np. CRM, systemy operacyjne, transakcyjne, kt\u00f3re generuj\u0105 ogromne ilo\u015bci informacji. Przez wiele lat standardem by\u0142a budowa hurtowni danych, kt\u00f3rej celem by\u0142o przechowywanie i udost\u0119pnienie oczyszczonych danych dla analityk\u00f3w oraz innych u\u017cytkownik\u00f3w. Hurtownia mia\u0142a by\u0107 centralnym repozytorium danych dla ca\u0142ej organizacji. Wraz z […]<\/p>\n","protected":false},"author":5,"featured_media":766,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"tpgb_global_settings":"","_eb_attr":"","inline_featured_image":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-606","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t