Data Warehouse - Prezentare generală

Data Warehouse - Prezentare generală

Un depozit de informații constă din cunoștințe din o serie de surse de cunoștințe eterogene și este utilizat pentru raportarea analitică și luarea de rezoluții. Depozitul de informații este un loc central în care cunoștințele sunt salvate din surse și scopuri de cunoștințe complet diferite.

Perioada de timp Depozitul de informații a fost inventat pentru prima dată de Invoice Inmom în 1990. Un depozit de informații este în orice moment salvat separat de o bază de date operațională.

Informațiile dintr-un sistem DW sunt încărcate din programe operaționale de tranzacții precum -

  • Vanzari en gros
  • Publicitate și marketing
  • HR
  • SCM și așa mai departe.

S-ar putea muta de către vânzătorul de cunoștințe operaționale sau diferite transformări mai devreme decât este încărcat în sistemul DW pentru procesarea datelor.

Un depozit de informații este utilizat pentru raportarea și analiza datelor și a magazinelor pentru fiecare cunoștință istorică și actuală. Informațiile din sistemul DW sunt utilizate pentru raportarea analitică, care este ulterior utilizată de către analiștii de întreprindere, managerii de vânzări brute sau angajații de informații pentru luarea deciziilor.

Depozitul de date

În imaginea de mai sus, puteți vedea că informațiile provin o serie de cunoștințe eterogene surse către un depozit de informații. Sursele de cunoștințe răspândite pentru un depozit de informații constau în -

  • Baze de date operaționale
  • Scopuri SAP și non-SAP
  • Informații plate (xls, csv, txt recordsdata)

Informațiile din depozitul de cunoștințe sunt accesate de clienții BI (Enterprise Intelligence) pentru raportare analitică, extragere de informații și evaluare. Aceasta este utilizată pentru luarea de rezoluții de către clienții întreprinderii, supervizorul vânzărilor brute, analiștii pentru a contura tehnica viitoare.

Opțiunile unui depozit de informații

Este un depozit central de cunoștințe, locul în care cunoștințele sunt salvate dintr-o serie de surse de cunoștințe eterogene. Un sistem DW stochează fiecare cunoștință prezentă și istorică. De obicei, un sistem DW stochează 5-10 ani de cunoștințe istorice. Un sistem DW este salvat tot timpul separat de un sistem operațional de tranzacții.

Informațiile dintr-un sistem DW sunt utilizate pentru mai multe tipuri de raportare analitică variază de la comparabilitatea trimestrială la cea anuală.

Depozit de informații Vs Baza de date operațională

Variațiile dintre un depozit de informații și o bază de date operațională sunt după cum urmează -

  • An Sistem operațional este conceput pentru sarcini de lucru și tranzacții recunoscute, cum ar fi actualizarea unui fișier persoană, căutarea unui fișier și așa mai departe. Cu toate acestea, tranzacțiile din depozitul de informații sunt extrem de avansate și sunt un tip normal de cunoștințe.
  • An Sistem operațional încorporează cunoștințele actuale ale unei corporații și depozitul de informații încorporează de obicei cunoștințele istorice.
  • An Baza de date operațională ajută la procesarea paralelă a mai multor tranzacții. Sunt necesare mecanisme de gestionare și restaurare a concurenței pentru a menține coerența bazei de date.
  • An Baza de date operațională întrebarea permite învățarea și modificarea operațiilor (inserare, ștergere și înlocuire), în timp ce o întrebare OLAP dorește doar introducerea numai în citire a cunoștințelor salvate (Alegeți afirmația).

Structura depozitului de informații

Depozitarea informațiilor implică curățarea cunoștințelor, integrarea cunoștințelor și consolidarea cunoștințelor. Un depozit de informații are o structură cu 3 straturi -

Stratul de furnizare de informații

Acesta definește modul în care informațiile implică un depozit de informații. Aceasta implică surse de cunoștințe variate și programe operaționale de tranzacții, date plate de înregistrare, scopuri și așa mai departe.

Strat de integrare

Se compune din vânzător de informații operaționale și spațiu de organizare. Spațiul de organizare este utilizat pentru a efectua curățarea cunoștințelor, transformarea cunoștințelor și încărcarea cunoștințelor din surse complet diferite într-un depozit de informații. Deoarece pot fi găsite o serie de surse de cunoaștere pentru extragere în fusuri orare complet diferite, spațiul de etapizare este utilizat pentru a revendica informațiile și, ulterior, pentru a utiliza transformări pe cunoștințe.

Strat de prezentare

Aceasta este utilizată pentru realizarea raportării BI de către clienții finali. Informațiile dintr-un sistem DW sunt accesate de clienții BI și utilizate pentru raportare și evaluare.

Următoarea ilustrație prezintă structura frecventă a unui sistem de depozitare a informațiilor.

Arhitectura Data Warehouse

Trăsăturile unui depozit de informații

Următoarele sunt trăsăturile importante ale unui depozit de informații -

  • Subiect orientat - Într-un sistem DW, informațiile sunt clasificate și salvate de un subiect de întreprindere ușor decât de utilități, cum ar fi planurile de echitate, acțiuni, împrumuturi și așa mai departe.
  • Built-in - Informațiile dintr-o serie de surse de cunoaștere sunt încorporate într-un depozit de informații.
  • Non instabil - Informațiile din depozitul de cunoștințe sunt nevolatile. Înseamnă că atunci când cunoștințele sunt încărcate în sistemul DW, nu sunt modificate.
  • Varianta de timp - Un sistem DW încorporează cunoștințe istorice ca în comparație cu sistemul tranzacțional care încorporează numai cunoștințe prezente. Într-un depozit de informații, puteți vedea cunoștințe timp de trei luni, 6 luni, 1 an, 5 ani și așa mai departe.

OLTP vs OLAP

În primul rând, OLTP înseamnă Procesare tranzacții on-line, în timp ce OLAP înseamnă Procesare analitică online

Într-un sistem OLTP, există o mulțime de tranzacții on-line scurte asemănătoare cu INSERT, UPDATE și DELETE.

În timp ce, într-un sistem OLTP, o măsură eficientă este timpul de procesare a tranzacțiilor scurte și poate fi mult mai puțin. Controlează integritatea cunoștințelor în medii cu acces multiplu. Pentru un sistem OLTP, varietatea tranzacțiilor pe secundă măsoară eficiența. Un sistem OLTP Information Warehouse încorporează cunoștințe prezente și detaliate și este menținut în cadrul schemelor din cadrul manechinului entității (3NF).

De exemplu -

Un sistem de tranzacții de zi cu zi într-un comerciant cu amănuntul, locul în care informațiile despre client sunt inserate, actualizate și șterse în fiecare zi. Oferă o procesare mai rapidă a întrebărilor. Bazele de date OLTP cuprind cunoștințe detaliate și prezente. Schema utilizată la baza de date OLTP a retailerului este manechinul Entity.

Într-un sistem OLAP, există o varietate mai mică de tranzacții ca în comparație cu un sistem tranzacțional. Interogările executate sunt de natură avansată și implică agregări de cunoștințe.

Ce este o agregare?

Salvăm tabele cu cunoștințe cumulate, cum ar fi anual (1 rând), trimestrial (patru rânduri), de la lună la lună (12 rânduri) sau cam așa, dacă cineva trebuie să facă o comparabilitate de la an la an, ar putea fi procesat doar un rând. Cu toate acestea, într-un birou neagregat va examina toate rândurile. Aceasta este cunoscută sub numele de Agregare.

Există numeroase caracteristici de agregare care pot fi utilizate într-un sistem OLAP precum Sum, Avg, Max, Min și așa mai departe.

De exemplu -

SELECT Avg(wage)
FROM worker
WHERE title = 'Programmer';

Variații cheie

Acestea sunt cele mai importante variații între un sistem OLAP și un sistem OLTP.

  • Indexuri - Un sistem OLTP are doar puțini indici, în timp ce într-un sistem OLAP există o mulțime de indici pentru optimizarea eficienței.
  • Se alătură - Într-un sistem OLTP, varietatea gigantică de asocieri și cunoștințe sunt normalizate. Cu toate acestea, într-un sistem OLAP există mult mai puține îmbinări și sunt de-normalizate.
  • agregare - Într-un sistem OLTP, cunoștințele nu vor fi agregate, în timp ce într-o bază de date OLAP sunt utilizate agregări suplimentare.
  • Normalizare - Un sistem OLTP încorporează cunoștințe normalizate, totuși cunoștințele nu vor fi normalizate într-un sistem OLAP.

OLTP

Informații Mart Vs Depozit de informații

Information mart se concentrează pe un singur spațiu util și reprezintă cel mai bun tip de depozit de informații. Gândiți-vă la un depozit de informații care încorporează cunoștințe pentru vânzări brute, publicitate și marketing, resurse umane și finanțe. Un martie de informații se concentrează pe un singur spațiu util, cum ar fi Vânzări brute sau Publicitate și marketing.

Data Mart Vs Data Warehouse

În imaginea de mai sus, puteți vedea distincția dintre un depozit de informații și un depozit de informații.

Reality vs Dimension Desk

Un birou al adevărului reprezintă măsurile pe care se efectuează evaluarea. În plus, încorporează chei de peste mări pentru cheile de dimensiune.

De exemplu - Fiecare vânzare este un adevăr.

Cust Id Cod produs ID-ul timpului Cantitate oferită
1110 25 2 125
1210 28 4 252

Biroul Dimension reprezintă trăsăturile unei dimensiuni. O dimensiune Cumpărător poate avea Customer_Name, Phone_No, Intercourse și așa mai departe.

Cust Id Cust_Name Telefon Relaţii sexuale
1110 escapadă 1113334444 F
1210 Adam 2225556666 M
Etichete: