Get these flashcards, study & pass exams. For free! Even on iPhone/Android!

Operational Database -> Extract, Transform, Load -> Data Warehouse -> Online analytical processing (OLAP) -> Berichterstellung

(Datenerfassung -> Datenbereitstellung -> Informationsentdeckung -> Kommunikation)

Erhöhte Profitabilität (Differenzierung gute / schechte Kunden)
Besseres CRM (Loyalty / besserer Customer Service)
Geringere Kosten (geringere Operationale Kosten)
Geringere Risiken (Credit / implicit Data)

Operationale Benutzung: Daten helfen Business zu bewegen

Strategische Benutzung: Daten helfen Business zu verbessern


Data sollte als strategische Ressource aufgefasst werden (RBV)

Entscheidung :: Aktionen -> Actionable Knowledge
Pragmatics ^- Knowledge -> Verknüpfte Informationen
Semantics ^- Informationen -> Interpretierbare Daten
Syntax: ^- Daten --> Character Strings
^- Zeichen / Buchstabe -> alpha-/numeric char

Daten -> Informationen (wähle relevante Daten)
Informationen -> Wissen (kumuliert & analysiert mittels analytical tools)
Wissen -> Aktion (Formuliere ein Plan of Action für Lösung eines Business Problems)

Type-1: Entdecke etwas neues mit deinen Daten (Amerikaner kaufen Pop-Tarts / Bier vor Hurricanes)

Type-2: Wiederhole die Entscheidungen in massiver Skala (Predict Customer Churn - wer bekommt Angebot?)

Unterstützen Umgang mit Daten, Sammeln Daten von Operational Databases für Data Warehouses, Akkumulieren historische Daten,
ermöglicht umgang mit Big Data

Volume (TBs)
Velocity (one time, snapshot, frequency, streams)
Variety (structured, numeric, alpha, text, sound,..)
Veracity richtigkeit (Validation, noise lvl, deception, detection, relevance)

Data Science -> Finde Informationen mit beschreibenden Eigenschaften und unterstütze "Data-Driven Decision Making"

Mathematisch (alle relevanten Variablen und Beziehungen können identifiziert werden, optimale Lösung kann abgeleitet werden vom Modell)

Datengetrieben (empirisch) nicht alle Variablen / Beziehungen identifizierbar (mittels historische transaktionbale daten mit Verwendung von Data Mining)

Data science: Sammlung fundamentaler Prinzipien der Extraktion von Wissen aus Daten unterstützt
(Daten in wirkliche Werte übersetzen, beinhaltet extraction, preparation, exploration, transformation, sorage & retrieval, computing, mining & learning, explanation & prediction & exploration of results - berücksichtigt ethical, social, legal & business aspects)

Data Mining:
Extraktion von Wissen aus Daten mittels Tools / Technologien welches Prinzipien berücksichtigt)

Benutzt Prozesse, Technologien und Werkzeuge
um Daten in Informationen,
Informationen in Wissen,
Wissen in Pläne zu transformieren.

Umfässt: Data Warehousing, Business Analytics, Inhalt-/Wissensmanagement

Sammlung der Daten ist:
subject-oriented: organisation nach business context
integrated: internal / external quellen in DWH
time-variant: time series analysis möglich
non-volatile: stored persistently & read-only

Integration vieler Datenquellen
xBessere Basis für Data Mining
xKontrolle über "information flooding" indem operative data
     Strukturiert und aggregiert wird
xAnalyse Tools können bei komplexen Fragen angewandt werden

analytic databases for a special group of people (departments / workgroups)

Data marts

Central data warehouse
(analytische Datenbasis sicherstellung Daten & Quality; transformed & coordinated zu local data marts)

Enterprise Data Warehouse
(providing data and information for whole company)

Bottom up: Begin with datamarts, dann Transformation in global data models & integrate in central DWH, minimierung redundancy & inconsistency)


Top Down: Begin design Prozess mit normalisiertem Enterprice data warehouse mit Data im high level of detail (erstelle Data marts)

Parallel (hybrid): hub & "spoke" architecture

Centralized: + weniger redundanz + billigere Hardware
-wenig möglichkeiten für Modularisierung -entwicklung zu komplex -user friendliness & efficiency nur für kleine Unternehmen ausreichend

hierarchische: +data marts werden koordiniert vom ED(ata)WH +extrahiert, integriert und verteilt daten nach bedarf -Berichtigung der Attribute nötig (customer=person=client??)

enterprise data mart architecture: +central DWH replaced & nurnoch coordinated data marts +basiert auf verteiltem datenbankensystem +fokus auf maximierung von interner Modulierung & minimierung intermodularity von data marts
-high efforts for coordination (load, access/data model bzw metadata)

Region, Period, Product

structured & tuned für optimale abfragen allgemeiner proprietary systems

gibt noch polystructured models für large & diverse data sets (bspw social media / sensor data)

Programmed reports (procedual querying) - stark modifizierbar, programmierer required

Query Language (declarative querying (statementsbasiert) standardisiert und powerful, schwer zu lernen?)

OLAP (flexible ad-hoc querying possible without expertise)

Fast (analyze queries within secs)
Analysis of (passt zu jeder business logic / statistische analyse)
Shared (mehrere user greifen mit versch rollen & sec req)
Multidimensional (konzeptionelle Sicht der daten)
Information

Verschiedene Repräsenatationen
Absolut&Relativ (%)
3D Analysen
Verschiedene Berechnungsoptionen

Special Cube operators:
drilling (detailieren / aggregation entlang dimension)
pivoting bzw rotating (switch rows / columns)
slicing: reduce number dimensions
dicing: cutting parts OUT of cube (filtering)

+ weitreichend anwendbare methoden
+ exakte Resultate
+ methoden plausibel

-needs lots of user interaction
-regularly lots of computing ressources
-schwer automated datamining routinen in kombi mit OLAP zu nutzen

Konzeptuelles Daten Modell erstellen


Ableiten des Logischen Daten Modells


Ableiten physischen Datenmodell

numerische Messungen, referenzieren zu wichtigen Tatsachen & repräsentieren sie konkretisiert. bieten  informationen über business issues & unterstützen somit decision processes in company

Will Business measures analysieren von verschiedenen Sichten (dimensionen)

"What amount were the sales revenues for harddisks within the past quarter?"
fact: sales revenues
dimensions: range of products, time

adaptiert generelles konzeptionelles schema zur bestimmten datenbank technologie (star scheme for RDBMS)

hat business / technische sicht

+aggregierten summentabellen (materialisierte Views) +easy browsing implementation +n:m relations +keine redundanz +effizient für viele unabhängige attribute
-mehrere joins benötigt -mehrere physische tabellen benötigt -höhere lvl von komplexität (etl prozess, maintenance, sql queries)

+Einfaches intuitives Model,+nicht viele phys. joins, +nicht viele phys. tabellen

-große dimensionstabelle = schlechte Antwortzeiten, -einstellung von aggregierten summentabellen schwierig weil redundanz, -mehrfaches zählen von einträgen durch redundanz

Analyse von beobachtenden Datasets um unerwartete beziehungen zu finden und die daten in neuartigen arten zusammenfassen, die sowohl verständlich und nützlich sind

Large Datasets, Observational data, Relationships and similarities, Novel, understandable

Summarization, Classification, Clustering, Association, Trend Analysis

Raw Data > (1) Selection > Target data > (2) Preprocessing > preprocessed data > (3) Transformation > transformed data > (4) Data Mining > Patterns > (5) Interpretation/Evaluation > knowledge

Charakterisieren eine typischen Verhaltensweise einer Gruppe / Population (behavior description)

Data Reduktion versucht große Datensets mit kleineren zu ersetzen wobei relevante Informationen beibehalten werden (VERSUCH --> easier processing, loss of info)

Link Prediction versucht Verbindungen zwischen Dataitems herzustellen (bspw social network)

Versucht spezifische Targets (Zielpersonen) näher zu analysieren

sucht nach bestimmten Aussagen wie (Finden wir Gruppen von Kunden die eine höhere wahrschlkt haben ihr Vertrag auslaufen zu lassen?)

-> Klassifikation & Regressionsanalyse

Kein Spezifisches Target

"Do our customers naturally fall into different groups?"

-> Clustering, Co-occurence grouping, Profiling

Classification Problem
Classification Problem
Regression Problem

[Verstehen des Problems] das gelöst werden soll, sowie sein Kontext und Anforderung zur Lösung

Entwurf der Lösung ist [Iterativer Prozess] des Erkundens

[Analytische Kreativität] ist wichtig

[Strukturiere das Problem], sodass eins oder mehrere Teilprobleme entstehen, die mittels Klassifikation / Regression,... gelöst werden können

Daten sind die [vorhandenen Rohmaterialien] mit der eine Lösung zu generieren ist.
(Historische Daten werden gesammelt um nicht nur das momentane Business Problem zu behandeln)

Schätze [Kosten, Vorteile und Qualität] jeder Quelle

Verbinde Business problem zu einer oder verschiedenen Data mining task (Summarization, Classification, Clustering, Association, Trend Analysis)

Daten müssen oftmals geändert bzw. transformiert werden, in
Formen, in denen sie bessere Ergebnisse erbringen
convert to format or different types / remove missing values

Match data mit Anforderungen für Data Mining Techniken

Wähle relevante Variablen

Normalisiere oder Skaliere numerische Variablen

Wende Data Mining Techniken an dem Data Set an.

wähle ein Modell generiere ein test design und baue das Modell und beurteile es anschließend

Data Mining Ergebnis streng bewerten
(Erörtere ob Ergebnisse Valide und zuverlässig sind)

Stelle sicher, dass das Modell die Business goals (Entscheidungsfindung unterstützt) befriedigt

Stellle Verständlichkeit sicher zu den Stakeholders vom Modell

Entwerfe Experimente für Tests im Live System

Das verhalten kann sich verändern aufgrund des Model Deployments

Modelle werden tatsächlich genutzt* um sich zu rentieren.
(Implementiere ein vorhersagendes Modell in einigen Business Processes)

Trend: Data mining Techniken selbst werden eingesetzt; System baut und testet Modelle automatisch in der Produktion

Involviere Data Scientists in final deployment

DM closer to research (explorative analysis)
(outcomes far less certain)
(results may change fundamental understanding of problem)
(do not deploy results of dm directly)

DM requires skill that may not be common among programmers
(formulate problems well, analyze results)
(prototype solutions quickly)
(design experiments represent good investments)
(make reasonable assumptions for ill-structured problems)