Moneyball: The Art of Winning an Unfair Game

In a book & movie there’s poor Oakland Athletics baseball team seeking for a way how to compete against rich giants such as New Your Yankees.

In the real life the competition is usually unfair. Some people complain. Some resign. And there are few who find own way to score a goal in unfair game. Think different than mainstream.

Concept is general, applications uncountable.

Good luck! If you missed something here watch the movie and read the book.

And enjoy this amazing song from the movie.

"Wherever possible this (client value) should be measured by profitability rather than revenue."

-Ross Dawson

Client knowledge: In what areas do we know we need to
improve our client knowledge? What action steps will
enhance our knowledge in these areas? How can we
uncover other issues at the client we do not know to ask
about?
• Client openness: What can we do to get the client to be more
open and disclose more? What will clearly demonstrate to the
client the value of being more open? How do we gain greater
client access, attention, and interaction?
• Adding value with knowledge: How do we add clear value to
client knowledge, decision making, and capabilities?
• Customization: How do we apply deep client knowledge to
customizing information and service delivery in ways that are
meaningful to the client? How do we adapt our engagement
style and interaction to the client?
• Client recognition of value: How do we demonstrate to the
client we are using deep knowledge of their business to their
benefit? How do we get the client to acknowledge the value of
service customization and knowledge transfer? How do we
shift to new pricing models that reflect the additional value
created for the client?

#1 Olivia Par Rud: Data-mining Cookbook

(http://www.martinus.sk/?uItem=10580)

Kuchárka s receptami pre data-mining. Krok po kroku rieši typické úlohy – hlavne reakciu v marketingovej kampani, hodnotenie rizika, segmentácie. Príklady v SASe sú fakt skvelé – teda hlavne pre tých, čo majú SAS. Vyšla aj v slovenčine, ale kúpiť ju je už skoro nemožné.

Data mining cookbook od Olivie Parr Rud

#2 Linoff, Berry: Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management

Títo chlapíci idú k veci z inej strany. Popisujú vlastnú metodiku – Virtuous Cyrcle of data-mining, nezabudnú popísať všetky bežné metódy a aplikácie. Každopádne inšpiratívne. Iba v angličtine.

#3 Tom Davenport: Competing On Analytics

(http://www.tomdavenport.com/books.html#coa)

Davenportovi sa podarilo vysvetliť, čo je to analytika, kto, prečo a načo ju môže používať. Nie je to kniha o metódach a algoritmoch. Je to o prínosoch a organizácií analytických projektov. Lahôdka. V angličtine.

Neskončil pri tejto knihe a koho zaujala, mal by si prečítať aj ďalšiu: Analytics at Work: Smarter decision-better results (http://www.tomdavenport.com/books.html)

4. Ján Paralič: Objavovanie znalostí v databázach

http://people.tuke.sk/jan.paralic/knihy/ObjavovanieZnalostivDB.pdf

Niekedy je ťažké pochopiť a cudzí jazyk kníh chápanie ešte komplikuje. Táto kniha hovorí našim jazykom a popisuje metodiku KDD procesu, algoritmy a veľa užitočnej teórie. O aplikáciach tam toho ale veľa nenájdete. V slovenčine.

5. Andrew Moore: Statistical Data-Mining Tutorial

http://www.autonlab.org/tutorials/

Tak Andrew to vie. Na jeho webe nájdete veľmi odborné a zároveň zrozumiteľné prednášky – výnimočná kombinácia. Ak ste dobrí a chcete sa stať lepším, ideálne miesto.

Dáta mining je podľa definície proces objavovania zaujímavých a užitočných vzorov v dát. Je to cielený proces za jasne stanoveným účelom.

Napríklad: aký zákazníci si zvyčajne kupujú pivo?

Odpoveď na otázku “aký” príde najčastejšie vo forme pravidiel..

Príklad pravidiel pre nákup piva môže byť:

- zákazník má viac ako 18 rokov (aká veda, keď mladším pivo nepredajú)

- v nákupnom košíku nie je mlieko (skúšali ste pivo zapiť mliekom? kto skúsil mi dá zapravdu, že to už neurobí)

- ten, kto vrátil nejaké fľaše (čo iné okrem piva sa predáva vo vrátnych fľašiach? mlieko sme už škrtli)

- a možno niečo prekvapivé k tomu

Nikde tu nie je informácia, že môj sused Fero si kúpi pivo! Prečo? Aj keď Fero pivo rád, data-mining je na vyššej úrovni – skupiny ľudí, nie jednotlivci. Všeobecné pravidlá namiesto konkrétnych ľudí.

ID   Hodnota1 Hodnota2 Hodnota3

1      Fero            Košice      15

2      Marek         Trnava       21

3      Miro            Zvolen       40

India

Outsourcing je dnešný trend podložený ľahkou matematikou.

1 deň – 1 európan – X EUR

1 deň – 1 ind – X / 3 EUR

A ráta s predpokladom, že 3 Indovia sú viac ako 1 Európan.

Predpokladá sa, že Indovia sú:

- vyškolení a certifikovaní

- maximálny odborníci a profesionáli

- ovládajú všetko, čo si vopred poviete, aby ovládali

A výsledkom outsourcing modelu potom majú byť:

- úspory v nákladoch alebo viac práce za menej peňazí

- rovnaká pridaná hodnota

Ak je Ind priamo u zákazníka, treba mu platiť hotel, diéty, cestovanie. Tak nech radšej sedí doma a budeme platiť iba výkony.

Výkony = počet odpracovaných hodín * X / 3

Poznáte úspešné príklady tohto modelu? Vraj existujú.

Mám alternatívu k Indickému modelu.

Výhody alternatívy:

- všetky, ktoré má model s Indami

- rovnaká cena ako s Indami

- peniaze ostanú u nás

- vytvorí sa množstvo profesionálov, ktorí nášmu regiónu

Zamestnajme študentov a absolventov stredných škôl.

Vyškoľme ich, tak ako to robia v Indii.

Dajme im primeraný plat, aspoň taký ako v Indii.

Nájdime im uplatnenie primerané ich skúsenostiam.

Dajme im možnosť zlepšiť sa.

Blbosť? A poznáte nevýhody práce s Indami?

- nesamostatnosť – urobia len to, čo im presne do detailu poviete – to urobí rovnako dobre študent

- pochybné vzdelianie – rýchle kurzy nerobia expertov na problematiku!

- vlastné pracovné postupy – s ktorých akceptáciou môžete mať neprekonateľný projekt

- pochybná kvalita výstupov – dodajú vám riešenie, ale bez akejkoľvek záruky, že je správne a tým, že sú ďaleko, ich ani nemáte ako kontrolovať

- časový posun – kým sa váš pracovný deň rozbehne, ich skončí

- nedostupnosť – ak Ind zmizne, nemáte ho ako nájsť. A Indovia miznú.

A prečo … ?

Prečo u nás Indovia nerobia manažérov? Veď sú lacnejší, majú certifikáty, sú trénovaní, skúsení, jazykovo zdatný a dokážu to robiť na diaľku.

Pretože by priviedli firmu do pekla.

Používame ich na menej sofistikované úlohy. A tie zvládnu rovnako dobre aj naši študenti a zaškolení ľudia so stredoškolským vzdelaním. Za veľmi podobné peniaze. Len je ich menej, keďže v Indii sú miliardy.

Už to funguje

Podobný koncept používa náš Soitron, T-Systems a mnoho ďalších. Vďaka im za to. Sú to úspešné firmy a potvrdzujú, že outsourcovať s nízkymi nákladmi sa dá aj bez Indov a možno oveľa lepšie.

S a m o z r e j m e.Čas, keď analytici mali mesiace na tvorbu analýz a modelov predikujúcich budúcnosť sa stávajú minulosťou. Dnes pred nami stoja problémy, pri ktorých hrá schopnosť rýchlo reagovať jednu z kľúčových úloh.

Čo je pre rýchlu reakciu potrebné?

1. Dostupnosť dát – aktuálne, integrované, čo najpresnejšie a vhodne predspracované dáta.

2. Analytická platforma – schopná rýchlo analyzovať objemy dát a výsledky bezodkladne propagovať do systémov rozhodovania.

3. Skúsenosť ľudských zdrojov – schopných v krátkom čase doručiť kvalitné výsledky. Aj napriek vysokej miere automatizácie v dobre navrhnutom systéme je ľudský dozor nenahraditeľný.

Ako to dosiahnuť?

1. Chcieť – Prvým krokom je dosiahnuť presvedčenie, že optimalizácia s využitím dátových analýz nám môže pomôcť na rôznych úrovniach – v jednej, alebo viacerých oblastiach, oddeleniach.

2. Môcť – Druhým je vytvoriť centrum kompetentnosti – ľudí a techniky, schopných pružne riešiť úlohy. A v čase pokoja vyhľadávať nové optimalizačné úlohy naprieč spoločnosťou.

3. Urobiť to – Tretím je vytvoriť procesy, ktoré dokážu na základe výstupov analýz promptne reagovať.

Výsledok?

Zvýšenie efektivity vo viacerých oblastiach spoločnosti pri spotrebovaní minimálnych nákladov. Správny krok k predbehnutiu konkurencie.

Tradičný prístup: Plan – Analyse – Design – Build – Test – Use stojí veľa. Času, prostriedkov a energie.

Čo takto agilný prístup? Vytvoriť PROTOTYP (kostru, draft) a postupne ho zdokonaľovať až do finálnej fázy.

Výhody?

• Rýchly a vývoj
• Prvé výsledky veľmi skoro
• Pribežne zapracovanie zmien (Change requests)

Nevýhody?

• Vyžaduje vysoké nasadenie, flexibilitu a skill
• Vyžaduje skúsenosti, aby sa aj komplexnejšie úlohy dopadli dobre

Každý objednávateľ riešení by sa mal spýtať svojho dodávateľa, či je toho schopný. Ak áno, môže ušetriť 40-60% nákladov. Alebo dostať za rovnaké peniaze viac. Ak aj dá náklady bokom, tak hlavne predíde sklamaniu zo zistenia, že dizajn na papiery nespĺňa jeho požiadavky a očakávania.

Hodnotenie:

1. C&RT – slabé aj na train dátach

2. SVM – preučené na train, na test pod-priemerné

3. Simple linear regresion – dosahuje priemerné výsledky (27. miesto)

4. Súťaž priebežne vedie prístup: sprav X lineárnych regresií modelov na X radnom vzorkách dát a urob ich priemer.

17.10.2009 20:57

Ok, môžme začať.

Čo máme?

Softvér – PASW Modeler 13

Hardvér – Notebook Intel Centrino CPU, 2GB ram, 4GB free HDD

Zadanie – zatiaľ je dostupná MEDIUM challenge – dosiahnúť max. úspešnosť na SCORE SET.

Train set:  25MB CSV súbor, 20 000 riadkov, 200 výsledkov modelov, 1 cieľový atribút.

Score set: 25MB CSV súbor, 20 000 riadkov, 200 výsledkov modelov.

Cieľový atribút má 2 verzie {-1,1} alebo {1,2,3,4,5}

Zdrojové dáta – výsledky 200 modelov, ktoré mali predikovať hodnotu z intervalu <1,5>

Hodnoty dát v train sete sú vynásobnené 1000 – t.j. pôvodný intervalu <1,5> bol transformovaný na <1000,5000> aby sa predišlo problémom s importom desatinných čiarok.

Ako na to? Otvorené otázky…

1. Čo predikovať?

a) riešiť predikciu cez pravdepodobnosť(T) z <0,1>

b) ako klasifikáciu T z {1,2,3,4,5} ?

c) alebo ako Ppavdepodobnosť, ktorá bude transformovaná do tried?

Tá transformácia by mohla byť 0.0-0,2 -> 1 0, 0.2-0.4 -> 2, 0.4-0.6 -> 3, 0.6-0.8 ->4 a 0.8-1.0->5,

d) alebo ešte lepšie podľa distribúcie T.

0.0-podiel 1 v % ->1

podiel 1 v % – podiel 1,2 v % ->2

podiel 1,2 v % – podiel 1,2,3 v % ->3

podiel 1,2,3 v % – podiel 1,2,3,4 v % ->4

podiel 1,2,3,4 v % – 1 v % ->5

2. Ako transformovať zdrojové dát ?

a) Nechať 1000 až 5000,

b) alebo lineárne dať na 0-1? t.j. Xnew=(Xold-1000)*1000/5000

c) Alebo podľa distribúcie Triedy T?

3. Diskretizovať hodnoty?

a) áno – budú pekné skupiny, napr. do 8 skupín približne na 1.0-1.5, -2.0,-2.5,-3,-3.5,-4,-4.5,-5.0

b) nie – netreba, nemáme extrémy a navyše nám ide o najvyššiu presnosť

ale čo s nelineárnymi závislosťami pri Logistickej regresii, ktoré rieši práve diskretizácia (1 koeficient pre 1 numerický atribút vs. N pre 1 atribút diskretizovaný do N tried)

4. Generovať sub modely?

5. Generovať nové dáta?

6. Ako vyhodnocovať úspešnosť?

AUC vs. RMSE

Čo pôjde ľahšie v SPSS?

7. Metóda ? Strom, regresia, NN…

8. Ako pripraviť train vs. test set.

9. Porovnanie train vs. score set, sú štatisticky podobné?

10. Urobiť segmentáciu a vytvoriť zložený klasifikátor, pre každý segment iný?

- Ako segmentovať?

21:33

Poďme začať. Plán:

1. Load dát do SPSS.

2. Distribúcia T a P(T) v datasetoch

3. Skúsiť zrátať RMSE a AUC pre jeden z modelov.

…

21:35 … ideme na to

21:43 … atribútov je 250 + trieda + ID riadku, spolu 252, SPSS vie loadnuť iba prvých 250 t.j. strácam 2 modely, nevadí

21:50 … vadí, data to columns v Excely zabrali a zo 4x .CSV sú teraz 4x.XLS

21:53 … Load ide, základné štatistiky cez DATA AUDIT node, máme distribúciu T… nepíše hodnoty, ale početnosti 1 a 2 sú menšie, 3 a 5 stredné, 4 najväčšie, modely to +- kopírujú.

… mohlo by byť zaujímavé vytvoriť nový atribút Di = (T – Mi)^2 teda Diferencia i. modelu ako Správna hodnota – predikcia Modelu i … pre výber naj stĺpcov

22:05 Akurát to beží… Dá sa to v Modeleri cez všetky stĺpce naraz a počíta to aj sumu (R)MSE … potom sa to odmocni a vznikne RMSE (Root Mean Square Error)…

22:24 OK, RMSE vieme počítať -dá sa to ešte transponovať, usporiadať, odfiltrovať a máme najlepšie modely

Poznatok: RMSE na webe a vypočítané RMSE sa nedajú porovnať, sú počítané na inom počte záznamov

AUC ide počítať cez export do XLS a dodané macro, RMSE sa podarilo naskriptovať … 1-3 hotovo

22:37 Rozdelil som dáta na 50:50, učím C&RT (Classification & Regression Tree) model.

Najvplyvnejšie atribúty podľa CARTu – 157,181,114,120,35,20,115. Graf GAIN nestabilny… najlepsi model je 37 (RMSE podla mojho vypoctu je 124 192 894), ten nie je ani v zozname. Vysledny model ma RMSE vyse 4x vyssie.

CART je na prd.

23:25 najlepsie RMSE podla mojho vypoctu je 124 192 sa celkom zhoduje s cca 875 ktore je na webe aj na original Netflix prize… Totiz set je 200 000 riadkov z “over 1.4 million”, t.j. cca 1/7.

124.2 *7 = 869 … cca to sedi.

Skúsme, či platí, že priemer the best 10 je lepší ako the best 1. … PLATÍ. Top 10 z datasetu dáva 123 350, je the best.

OK… poďme zistiť, kde na train sete sme oproti riešiteľom… t.j. čím presne treba moje RMSE prenásobiť, aby sa dostala porovnateľná hodnota.

Small AUC the Best Expert dáva 888.32 … skúsme, koľko dáva mne. 107 592 to nema vypovednu hodnotu, kedze 15 000 * 888 / 107 je vzdy pod pod 1.4M

18.10.2009 10:35

Na noc som pustil výpočet 7 modelov – NN, SVM, LinReg, Generalized Lin Reg, CaRT, CHAID, a este cosi dalsie. Výsledok? Out of memory exception.

OK. Tak skúsme obyčajnú Lineárnu regresiu. Vygenerovať výstup, submitnúť…. výsledok 882…. 2 body nad Base Line (884), 4 body pod najlepším výsledkom (878).

http://www.tiberius.biz/ausdm09/leaderboard.php náš tím – KKUI TU Kosice

Čo ďalej?

17:24 Myšlienka:

Baseline Model je priemer prvých 10.
1. Nájdime záznamy, kde model funguje.

- Počítajme P(nefunguje), kde nefunguje znamená |predikcia – výsledok | > k; k nech je napr. 1 … alebo k nech delí počet záznamov na 50%ok, 50% bad.

2. Na zvyšných záznamoch naučme nový model.

Použime zložený klasifikátor…. Ak P(nesprávne)>0.5 then Model B else Model A

…

17:48 Naučil som SVM (Support Vector Machine) model … na TRAIN sample to má výborné RMSE. Púšťam skóring SCORE… 20 min?

Modle preučený na train sample.