ETL (Extract, Transform, Load) je proces koji se sastoji od tri ključna koraka: izdvajanja podataka iz različitih operativnih izvora, njihove transformacije (prilagodbe i čišćenja) te učitavanja u ciljno skladište podataka.

Važnost: ETL je ključan jer pretvara neobrađene, često "prljave" podatke iz različitih sustava u konzistentne, točne i integrirane informacije spremne za analizu. Bez ETL-a, skladište podataka bi sadržavalo duplikate, nekonzistentne formate i pogrešne informacije, što bi dovelo do donošenja pogrešnih poslovnih odluka. Omogućuje održavanje metapodataka, sumiranje podataka i restrukturiranje ključeva, čime se osigurava da podaci u skladištu budu "jedinstveni izvor istine".

• Centraliziranost: Djeluje kao sveobuhvatno i centralizirano spremište koje integrira podatke iz cijele organizacije.
• Predmetna orijentiranost: Podaci su organizirani oko ključnih poslovnih subjekata (npr. kupci, proizvodi, prodaja), a ne oko aplikacija.
• Integriranost: Podaci iz različitih izvora moraju biti usklađeni (npr. ista definicija KPI-a za cijelo poduzeće).
• Povijesna perspektiva: Skladišta čuvaju povijesne podatke ključne za praćenje trendova kroz vrijeme.
• Nepromjenjivost: Jednom učitani, podaci se u pravilu ne mijenjaju (samo se dodaju novi), što osigurava stabilnost analiza.

• Slice (Sečenje): Izdvajanje podskupa podataka tako da se zadrže samo određene vrijednosti za jednu ili više dimenzija.
• Dice (Kocka): Selektovanje podskupa podataka, ali za razliku od sečenja, možete izabrati više od jedne vrijednosti za svaku dimenziju.
• Pivot (Rotacija): Promjena orijentacije dimenzija u višedimenzionalnoj kocki podataka radi boljeg razumijevanja.
• Roll-Up (Agregacija): Prikaz podataka na višem nivou hijerarhije, tako da se detaljni podaci "sabiraju" u općenitije prikaze (grad – država – regija).
• Drill-Down (Dublje kopanje): Istraživanje podataka na nižem nivou hijerarhije dimenzija radi detaljnijih informacija.

Prema porijeklu:

• Interni izvori: ERP moduli, CRM sustavi, interni dokumenti, podaci senzora i pozivnih centara.
• Eksterni izvori: Društveni mediji, službena statistika, vremenske prognoze, podaci poslovnih partnera i internet.

Prema strukturi:

• Strukturirani: Relacijske baze podataka (npr. ERP, CRM).
• Nestrukturirani/polustrukturirani: Dokumenti, slike, zvuk, video zapisi.

Metapodaci su "podaci o podacima" koji opisuju sadržaj, strukturu, format, značenje i porijeklo drugih podataka.

Vrste metapodataka:

• Opisni: Opisuju sadržaj radi identifikacije i pretraživanja (naslov, autor, ključne riječi).
• Administrativni: Pomažu u upravljanju resursom (kada i kako je nastao, ko ima pristup).
• Strukturni: Opisuju kako su dijelovi podataka organizirani i povezani.
• Tehnički: Opisuju format, sistemske zahtjeve i tehničke karakteristike podataka.
• Metapodaci o porijeklu: Prate izvor i historiju nastanka/promjena podataka (data lineage).
• Metapodaci o pravima: Sadrže informacije o vlasništvu, licenciranju i pravima korištenja.
• Metapodaci o očuvanju: Odnose se na dugoročno čuvanje i arhiviranje podataka.

Važnost metapodataka za skladište podataka:

• Omogućuju korisnicima da pronađu i razumiju podatke.
• Opisuju značenje podataka (data dictionary).
• Omogućuju praćenje porijekla podataka (data lineage).
• Pomažu u upravljanju ETL procesima i skladištem podataka.
• Osiguravaju konzistentnost i održivost skladišta podataka.

1. Kvaliteta i količina digitalnih podataka: Za pouzdane zaključke potrebne su ogromne količine podataka koje su prethodno očišćene i integrirane, što se obično osigurava kroz skladište podataka.
2. Stručnost i poslovna kompetencija: Rezultati algoritama mogu biti besmisleni bez osobe koja ih zna interpretirati na smislen način i pretvoriti u vrijednu informaciju.

Data Mart (DM) je manji podskup Data Warehouse, predmetno orijentirano skladište podataka namijenjeno specifičnim analitičkim potrebama određenog odjela (npr. prodaja, marketing).

Ovisni Data Mart: Podatke dobiva izravno iz centralnog skladišta podataka poduzeća (EDW).

Kada se koristi: Kada određena grupa korisnika treba brz pristup specifičnom podskupu podataka, bez potrebe za pretraživanjem cijelog EDW-a, čime se poboljšavaju performanse i olakšava analiza za taj poslovni segment.

Prednosti: Konzistentnost podataka (svi DM-ovi crpe iz jednog izvora istine), lakše održavanje, pouzdanost.

Podaci su temelj za "data-driven" poslovanje. Oni omogućuju menadžmentu da dobije točnu sliku o najboljim kupcima, učinkovitosti marketinških kampanja i tržišnim trendovima. Bez kvalitetnih podataka, odluke se donose na temelju intuicije, što može dovesti do ulaganja budžeta u pogrešne segmente. Kvalitetno analizirani podaci omogućuju otkrivanje skrivenih obrazaca koji donose konkurentsku prednost.

• "Prljavi" podaci: Prisutnost duplikata, neaktivnih e-mailova i nedosljednih formata u izvornim sustavima (poput lošeg CRM-a) čini PI alat beskorisnim ili štetnim.
• Tehnološka kašnjenja: Hardver ili softver koji ne može dovoljno brzo isporučiti informacije čini ih manje vrijednima jer su najvrjednije informacije dobivene "u trenutku".
• Nerazumijevanje podataka: Ako su podaci slabo dokumentirani ili razasuti po mreži, korisnici ih ne mogu pronaći ili ne znaju kako ih ispravno koristiti, što dovodi do pogrešnih rezultata.

1. Izvor podataka — interni/eksterni podaci, ERP, cloud; ovdje se radi ETL
2. Skladište podataka (DWH) — centralizirani, čisti, integrirani historijski podaci
3. Sloj obrade — upiti, agregacije, izračun metrika
4. Sloj prezentacije — dashboardi, izvještaji, vizualizacije za krajnjeg korisnika
5. Sloj poslovne logike — pravila, filteri, kompleksni izračuni

Koji sloj povezuje sve? Metadata Layer (sloj metapodataka) — opisuje strukturu i značenje podataka u svim slojevima, omogućava integraciju cijele arhitekture u jednu cjelinu.

Stabla odlučivanja su popularni DM alati jer rastavljaju probleme na diskretne skupove kroz čvorove i grananja. Glavni izazovi:

• Kvaliteta ulaznih podataka: Problematični podaci (nedostajuće vrijednosti, netočne informacije) izravno utječu na preciznost stabla.
• Pouzdanost zaključaka: Potrebne su velike količine podataka kako bi se izbjegao overfitting i osiguralo da su izvedena pravila primjenjiva na nove slučajeve.
• Nestabilnost: Mala promjena u podacima može potpuno promijeniti strukturu stabla.

1. Izgradnja modela (učenje): Algoritam proučava temeljna pravila i osobine skupa podataka za obuku kako bi identificirao obrasce.
2. Primjena i provjera modela: Model se testira na neovisnom skupu podataka kako bi se utvrdila njegova preciznost i zatim se koristi za predviđanje kategorije novih, nepoznatih podataka.

• Star model (zvijezda sema): Jedna vrijednosna tablica i nekoliko dimenzijskih tablica. Denormaliziran model.
• Snowflake model (pahuljasta sema): Normalizacija i proširenje dimenzijskih tablica tako što se stupci niže kardinalnosti premještaju u posebne normalizirane tablice koje povezuju s izvornom dimenzijskom tablicom
• Multi-star model (višestruka zvijezda shema): Dimenzijski model koji ima veći broj vrijednosnih tablica povezanih preko dimenzija.

Data Mart (DM) je manji podskup Data Warehouse, predmetno orijentirano skladište podataka namijenjeno specifičnim analitičkim potrebama određenog odjela (npr. prodaja, marketing).

Kada se koristi: Kada organizacija želi implementirati rješenje za specifičan poslovni problem (npr. samo za prodaju) bez čekanja na izgradnju cjelokupnog EDW-a, ili kada specifični timovi trebaju veću autonomiju i brže performanse nad svojim podacima.

Do razvoja PI dovela je činjenica da su podaci postali razasuti po mrežama u previše verzija i nejasnih razlika, te da korisnici nisu mogli dobiti potrebne informacije bez pomoći eksperata. Postojao je jaz između ogromne količine podataka u operativnim sustavima i nemogućnosti njihove uporabe za strateško odlučivanje. Također, isti podaci su se različito izračunavali u različitim odjelima, što je zahtijevalo uvođenje jedinstvenog izvora istine.

Klaster analiza je metoda nenadgledanog učenja koja grupira objekte na temelju njihove sličnosti. U klaster analizi mogu se koristiti različiti tipovi podataka:

• Numerički podaci - vrijednosti izražene brojevima (npr. dob, prihod, temperatura).
• Kategorički podaci - podaci koji predstavljaju kategorije (npr. tip proizvoda, boja, ocjene).
• Tekstualni podaci - dokumenti ili tekstualni zapisi koji se grupiraju prema sličnosti sadržaja.
• Vremenski podaci - podaci prikupljeni kroz određeni vremenski period.
• Multimedijalni i geoprostorni podaci - slike, zvuk, video i podaci o lokaciji.

Također se često koriste strukturirani podaci iz baza podataka i skladišta podataka koji su prethodno očišćeni i pripremljeni za analizu.

Dimenzijski model (Star ili Snowflake shema) razlikuje:

• Tablice činjenica (Fact tables): Sadrže numeričke mjere/metrike (npr. iznos prodaje, količina) povezane s poslovnim procesima. Obično su vrlo velike i nalaze se u središtu modela.
• Tablice dimenzija (Dimension tables): Sadrže opisne atribute (npr. ime kupca, naziv proizvoda, datum) koji daju kontekst činjenicama. Omogućuju korisnicima da "filtriraju" i promatraju podatke iz različitih perspektiva.

Razlika između Star i Snowflake modela leži u organizaciji dimenzija i nivoima hijerarhije. Zvezdasti model je jednostavniji i ima manje tabela, dok snežna pahulja model može biti više normalizovan i ima više tabela koje su povezane.

Sličnost: Oba su analitički sistemi koji služe podršci odlučivanju u poslovnoj inteligenciji. Oba integrišu podatke iz različitih izvora i optimizovana su za analizu i izvještavanje.

Razlika: Skladište podataka je centralizovan i sveobuhvatan sistem koji pokriva cijelu organizaciju, dok je Data Mart njegov manji podskup usmjeren na određeni odjel ili poslovnu oblast.

1. Eksplozija podataka (tehnološki pritisak): Pojava ogromnih količina neobrađenih podataka koje operativni sustavi nisu mogli analizirati.
2. Potreba za bržim i točnijim odlučivanjem (poslovni pritisak): Zahtjev menadžmenta za informacijama u realnom vremenu i povijesnom perspektivom radi konkurentske prednosti.

• Volume (Volumen): Ogromna količina podataka (Terabajti, Petabajti).
• Velocity (Brzina): Brzina kojom se novi podaci generiraju i trebaju obrađivati (npr. streaming integration).
• Variety (Raznolikost): Podaci dolaze u strukturiranim, polustrukturiranim i nestrukturiranim oblicima.
• Veracity (Vjerodostojnost): Kvaliteta i točnost podataka.
• Value (Vrijednost): Sposobnost izvlačenja korisnih uvida iz podataka.

Klasifikacija: Nadzirano učenje gdje su kategorije (klase) unaprijed poznate, a cilj je dodijeliti nove podatke u te definirane grupe (npr. stabla odlučivanja).

Klasteriranje: Nenadzirano učenje gdje grupe nisu unaprijed definirane; algoritam sam pronalazi prirodne grupacije u podacima na temelju sličnosti (npr. klaster analiza).

• Pretvaranje sirovih podataka u strateško znanje.
• Brže i preciznije donošenje odluka koje se temelje na činjenicama, a ne nagađanjima.
• Otkrivanje skrivenih obrazaca kupovine i predviđanje budućih trendova.
• Integracija svih podataka na jednom mjestu kako bi svaki odjel koristio iste, provjerene informacije.

• Orijentacija: Operativni su aplikacijski orijentirani (podržavaju rad sustava), dok su DSS predmetno orijentirani (podržavaju analizu).
• Detaljnost: Operativni su detaljni; DSS su sumarni i redefinirani.
• Promjenjivost: Operativni se stalno mijenjaju; DSS su statični (nepromjenjivi nakon učitavanja).
• Vrijeme: Operativni se odnose na kraći period (najčešće jednu godinu); DSS nemaju vremensko ograničenje i prate povijest.
• Količina: Operativne obrade koriste manju količinu podataka; DSS obrade koriste ogromne količine.

• Donošenje odluka bazirano na činjenicama.
• Kvalitetu informacija.
• Smislenost oblika informacija.
• Kvantitetu informacija.
• Dijeljenje informacija.

• Održavanje: Podrška svakodnevnom upravljanju i ažuriranju skladišta podataka.
• Rješavanje problema: Pomažu u dijagnosticiranju grešaka i nedosljednosti u podacima.
• Dokumentiranje: Bilježe strukturu, značenje i porijeklo podataka.
• Evidentiranje / Metrika: Prate korištenje i performanse sistema.

Integriranje podataka je proces kombiniranja podataka iz višestrukih izvornih sustava sa svrhom stvaranja objedinjenih skupova informacija za operativnu i analitičku upotrebu.

Osnovne metode:

• ETL (Extract, Transform, Load)
• ELT (Extract, Load, Transform)
• CDC (Change Data Capture)
• Data replication
• Data virtualization
• Streaming data integration
• Data pipelines

• Čišćenje podataka (Data cleaning)
• Integriranje podataka (Data integration)
• Transformiranje podataka (Data transformation)
• Reduciranje podataka (Data reduction)
• Diskretizacija podataka (Data discretization)

Učitavanje je proces smještanja obrađenih (izdvojenih, transformiranih i validiranih) podataka u skladište podataka.

Prema količini podataka:

• Potpuno: Pri svakom pokretanju ETL procesa briše se postojeći skup podataka i ponovno učitava novi.
• Inkrementalno: Učitavaju se samo novi ili izmijenjeni zapisi.

Prema vremenu učitavanja:

• Online: Podaci se učitavaju često i kontinuirano dok je skladište dostupno.
• Offline: Učitavanje se odvija u zakazanim terminima (najčešće noću), kada korisnici ne rade na sistemu.

• Korištenje SQL-a za dodavanje ili unos novih podataka.
• Korištenje batch (grupnog) učitavanja.

ETL: Uzima neobrađene podatke, pretvara ih u unaprijed određeni format, zatim ih učitava u ciljno skladište podataka.

ELT: Uzima neobrađene podatke, učitava ih u ciljano skladište podataka, a zatim ih transformira neposredno prije analitike.

Šta je bolje: ELT je obično bolji izbor jer je brži zahvaljujući mogućnosti korištenja unutarnjih resursa skladišta podataka. Ima i širu kompatibilnost (radi sa strukturiranim, nestrukturiranim i polustrukturiranim podacima) i obično je isplativiji od ETL-a.

Rudarenje podataka (data mining) je potraga za informacijama i znanjem gdje je potrebno "prosijati", odnosno obraditi, ogromne količine podataka kako bi se pronašao neki do tada nepoznat obrazac ili relacija unutar podataka.

Data mining se uglavnom odnosi na pronalaženje korisnih informacija u podatkovnim skupovima i iskorištavanje tih informacija za otkrivanje skrivenih obrazaca.

Zašto je važan:

• Konsolidacija podataka — baze i skladišta podataka prikupljaju ogromne količine podataka na jednom mjestu.
• Eksponencijalni rast tehnologija za obradu i pohranu podataka.
• Smanjenje troškova hardvera i softvera za obradu i pohranu.
• Neiskorištena vrijednost — u velikim izvorima podataka postoji skrivena vrijednost koja se ne koristi.
• Internet — iznimno brzo generira ogromne količine podataka.
• Intenzivnija globalna konkurencija.

Rudarenjem je moguće utvrditi sljedeće vrste informacija:

• Klase — postupkom klasificiranja prema unaprijed definiranim klasama.
• Klastere — postupkom grupiranja bez unaprijed zadanih klasa.
• Asocijacije — uvjetovane odnosima između događaja.
• Sekvence — događaji koji s određenom vjerojatnošću slijede jedan za drugim.
• Prognoze — predviđanje budućnosti na osnovu postojećih podataka.

Primjer je stablo odlučivanja: banka želi predvidjeti hoće li klijent vraćati kredit. Na osnovu historijskih podataka (bračni status, prihod, podnošenje povrata poreza), stablo gradi model poput:

• Ako klijent ne podnosi povrat poreza — nije rizičan.
• Ako podnosi povrat, a bračni status je "Married" — nije rizičan.
• Ako podnosi povrat, bračni status je "Single/Divorced", a prihod veći od 80k — rizičan (varalica).

Data mining: Pronalaženje obrazaca u podacima kako bi se objasnili neki fenomeni.

Umjetna inteligencija: Kreiranje načina na koji strojevi mogu oponašati ljudsko ponašanje — ugradnja inteligencije u računar.

Cilj data mininga je pronalaženje pravila u velikim količinama podataka, dok mašinsko učenje uči računar kako razumjeti zadane parametre. Ključna razlika: data mining ne može proći bez prisustva ljudi, dok je kod mašinskog učenja ljudski faktor potreban samo pri definiranju algoritma — nakon toga algoritam sam zaključuje.

Data mining: Proces otkrivanja skrivenih obrazaca i pravila u postojećim podacima.

Deep learning: Podskup mašinskog učenja s ciljem osposobljavanja računara da izvršava zadatke slične ljudskim, poput prepoznavanja govora, identifikacije slika i predviđanja.

1. Identificirati poslovnu mogućnost.
2. DM i transformiranje podataka u korisne informacije.
3. Djelovanje na temelju informacija.
4. Mjerenje rezultata.

OLAP (OnLine Analytical Processing) su sistemi namijenjeni analitičkoj obradi i donošenju odluka na temelju velikih količina podataka.

Omogućava korisnicima dublje razumijevanje i znanje o različitim aspektima organizacijskih podataka kroz brz, konzistentan i interaktivan pristup različitim mogućim pogledima na podatke. Također omogućava bržu izvedbu složenih analitičkih upita korištenjem optimiziranih tehnika indeksiranja i agregacije.

• Optimiziran za složenu analizu podataka i izvještavanje — omogućava ad hoc upite, raščlanjivanje podataka i višedimenzionalna izvješća.
• Brza izvedba upita zahvaljujući optimiziranim tehnikama indeksiranja i agregacije.
• Koristi višedimenzionalni podatkovni model koji omogućuje analizu podataka iz različitih perspektiva.
• Koristi se za analizu historijskih podataka, omogućujući praćenje trendova kroz vrijeme.
• Omogućava dublje razumijevanje podataka i pomaže u donošenju informiranih odluka.

Stablo odlučivanja je klasifikacijski algoritam u formi stablaste strukture koji klasificira atribute s obzirom na zadanu ciljnu varijablu.

• Sposobnost generiranja razumljivih modela.
• Relativno mali zahtjevi za računalnim resursima.
• Sposobnost korištenja svih tipova atributa.
• Jasno odražavaju važnost pojedinih atributa za konkretni klasifikacijski/predikcijski problem.

• Razumijevanje korisnika.
• Primjena paradigme broja klikova.
• Napredniji korisnici trebaju biti i konzumenti i proizvođači informacija.
• Uspostava i unapređenje kulture mjerenja.
• Razvoj PI treba biti strateško opredjeljenje tvrtke.

1. Identificiranje poslovnog procesa: Odnosi se na izvorni sistem — ne smije se miješati s poslovnim odjelom ili funkcijom.
2. Identificiranje usitnjenosti: Razina detalja povezana s mjerama iz fakt tablice. Kritičan korak koji treba biti na najdetaljnijoj mogućoj razini.
3. Identificiranje dimenzija: Lista svih diskretnih, tekstualnih atributa koji proizlaze iz fakt tablice (koristi se riječ "po" za opis zahtjeva).
4. Identificiranje činjenica: Mora odgovarati usitnjenosti iz koraka 2. Tipične činjenice su numerički zbrojive i odgovaraju na pitanje "šta se mjeri".

Primjer je Min-max normalizacija, koja se računa po formuli x' = (x - min) / (max - min).

Npr. za vrijednosti x → 10, 20, 30, 40 dobivaju se normalizirane vrijednosti: 0, 0.33, 0.67, 1.

Skladište podataka je sveobuhvatan (centralizovan) repozitorij podataka poduzeća koji integrira podatke iz različitih izvora u cijeloj organizaciji. Za razliku od Data Marta, koji je usmjeren na određenu poslovnu funkciju, odjel ili skupinu korisnika, skladište podataka obuhvata podatke cijelog poduzeća.

Osnovne karakteristike:

• Orijentisanost: Podaci su organizirani prema poslovnim područjima ili predmetima, a ne prema pojedinačnim aplikacijama.
• Integriranost: Podaci iz različitih izvora objedinjeni su u jedinstvenu i usklađenu cjelinu.
• Relativna stabilnost: Podaci se nakon učitavanja uglavnom ne mijenjaju, već služe za analizu.
• Vremenska orijentisanost: Skladište podataka čuva historijske podatke, što omogućava praćenje promjena i analizu kroz vrijeme.