<\/strong><\/a> Els\u0151 l\u00e9p\u00e9sben meg kellett hat\u00e1rozni az attrib\u00fatumok sz\u00e1m\u00e1t \u00e9s azok nev\u00e9t. Ezt az akad\u00e1lyt k\u00f6nnyen vett\u00fck, mivel Newtonsoft Json<\/a>-t alkalmaztunk a json beolvas\u00e1s\u00e1n\u00e1l \u00e9s ez egyb\u0151l deszerializ\u00e1lta<\/em> nek\u00fcnk az adatokat. Ezut\u00e1n elt\u00e1roltuk az \u00f6sszes adatot egy MS-SQL<\/a> adatb\u00e1zisba Entity Framework<\/a> seg\u00edts\u00e9g\u00e9vel, ahol Code First<\/a> technik\u00e1t alkalmaztunk (azaz l\u00e9trehoztunk egy oszt\u00e1lyt, aminek az attrib\u00fatumai meg fognak egyezni az adatb\u00e1zis t\u00e1bl\u00e1j\u00e1nak oszlopaival). Mikor elt\u00e1roltuk az adatokat, figyelt\u00fcnk arra, hogy duplik\u00e1ljuk a tiszt\u00edtand\u00f3 oszlopokat \u00e9s a felesleges oszlopokat, amiben semmi nincs, ne t\u00e1roljuk. M\u00e1sr\u00e9szt minden \u00e9kezetet elt\u00e1vol\u00edtottunk, azaz normaliz\u00e1ltuk az adatokat.<\/p>\n M\u00e1sodik r\u00e9szben az livesin<\/em>\u00a0(jelenlegi lakhely) oszlopot pr\u00f3b\u00e1ltuk megtiszt\u00edtani. Itt az adatok fele m\u00e1s nyelven \u00e9s sokf\u00e9lek\u00e9ppen van jelen. Nagyon sokat b\u00f6ng\u00e9szt\u00fck az adatokat \u00e9s egy \u00e9rdekes t\u00e1mpontot<\/strong> tal\u00e1ltunk: Az, aki k\u00fclf\u00f6ld\u00f6n \u00e9l \u00e9s nem vil\u00e1gh\u00edr\u0171 telep\u00fcl\u00e9sen, (mint Hollywood) az \u00edrja az orsz\u00e1got is mellette. Ha belf\u00f6ld\u00f6n \u00e9l, akkor vagy csak a telep\u00fcl\u00e9s, vagy a telep\u00fcl\u00e9s, a megye \u00e9s Rom\u00e1nia. Ha a Rom\u00e1nia sz\u00f3ra keres\u00fcnk r\u00e1, megkapjuk azokat az adatokat, ahol a telep\u00fcl\u00e9s, a megye \u00e9s Rom\u00e1nia szerepel. Ezek mind vessz\u0151vel vannak elv\u00e1lasztva. Felbontottuk <\/strong>(splittelt\u00fck \/ tokeniz\u00e1ltuk) az adatot vessz\u0151 szerint \u00e9s megtartva az els\u0151 elemet, megkaptuk a telep\u00fcl\u00e9st. Ezut\u00e1n az adataink ugy n\u00e9ztek ki, hogy ahol t\u00f6bbminden volt felsorolva az k\u00fclf\u00f6ldi \u00e9s ahol nem volt felsorol\u00e1s az belf\u00f6ldi. Egyszer\u0171bben, ahol van \u201c,\u201d az k\u00fclf\u00f6ldi ahol nincs az belf\u00f6ldi.<\/p>\n A belf\u00f6ldi adatok t\u00f6bbnyelv\u0171s\u00e9ge<\/strong> okozott m\u00e9g probl\u00e9m\u00e1t. Szerencs\u00e9re Rom\u00e1nia telep\u00fcl\u00e9seinek adatb\u00e1zis\u00e1t megtal\u00e1ltuk az interneten, ahol rom\u00e1nul \u00edrja az \u00f6sszes telep\u00fcl\u00e9st. Normaliz\u00e1lva ezeket is, m\u00e1r tudtunk keres\u00e9st \u00edrni \u00e9s ahol egyez\u00e9s volt, ki\u00edrtuk egy CSV<\/a>\u00a0file-ba. Ezeket k\u00e9zzel (azaz nem API<\/a>\u00a0seg\u00edts\u00e9g\u00e9vel) leford\u00edtottuk magyarra (m\u00e1r aminek volt magyar megfelel\u0151je) \u00e9s vissza \u00edrtuk \u0151ket az adatb\u00e1zisba.<\/p>\n A k\u00f6vetkez\u0151 l\u00e9p\u00e9sben a legid\u0151ig\u00e9nyesebb r\u00e9sz k\u00f6vetkezett: a tud\u00e1sb\u00e1zis alap\u00fa tiszt\u00edt\u00e1s<\/strong>. Itt a tud\u00e1sb\u00e1zis alatt ontol\u00f3gi\u00e1t<\/strong> \u00e9rt\u00fcnk, egy adott fogalomhoz kapcsol\u00f3d\u00f3 szavakat. Ezekb\u0151l az adatokb\u00f3l \u00edgy \u00e9rdemes statisztik\u00e1t kivonni. A foglalkoz\u00e1s helyet szakmai ir\u00e1nyzatott \u00edrunk: seb\u00e9sz, \u00e1pol\u00f3, orvos, medic, stb., ezek az emberek mind az eg\u00e9szs\u00e9g\u00fcgyben dolgoznak. Ez rengeteg munk\u00e1t ig\u00e9nyelt, mivel itt nem csak az el\u00edr\u00e1sokat kellett kik\u00fcsz\u00f6b\u00f6lni, hanem kicsit jobban \u00f6ssze kellett vonni az adatokat, viszont m\u0171k\u00f6d\u0151 \u00fat volt.<\/p>\n Ezt megcsin\u00e1ltuk iskol\u00e1kra \u00e9s egyetemekre is. Arra lett\u00fcnk figyelmesek, hogy \u00f6ssze tudunk vonni k\u00e9t oszlopot a school<\/em> \u00e9s az other1<\/em>-et. H\u00e1rom helyen volt csak \u00fctk\u00f6z\u00e9s, de val\u00f3j\u00e1ban csak kieg\u00e9sz\u00edt\u0151 inform\u00e1ci\u00f3 volt, nem \u00fctk\u00f6z\u00e9s.<\/p>\n Salamon Evelin \u00e9s Rapa Erik – Tud\u00e1sb\u00e1zis alap\u00fa tiszt\u00edt\u00e1s \u00e9s adatvizualiz\u00e1l\u00e1s<\/p><\/div>\n Mikor megl\u00e1ttuk, milyen sok munk\u00e1t ig\u00e9nyel a tud\u00e1sb\u00e1zisos tiszt\u00edt\u00e1s, kipr\u00f3b\u00e1ltunk egy\u00e9b m\u00f3dszereket is.<\/p>\n Az els\u0151 ilyen volt az OpenRefine<\/a>, ami nagyon \u00fcgyes kis software \u00e9s mindenki figyelm\u00e9be csak aj\u00e1nlani tudjuk. De nem el\u00e9g gyors: a mi m\u00f3dszer\u00fcnkkel egy \u00f3ra alatt meg lehetett csin\u00e1lni azt, amit ezzel h\u00e1rom \u00f3ra alatt siker\u00fclt el\u00e9rni.<\/p>\n Szavak k\u00f6z\u00f6tti t\u00e1vols\u00e1g m\u00e9r\u0151 f\u00fcggv\u00e9nyekkel (Jaro-Winkler<\/a>, Levenshtein<\/a>, stb.) k\u00eds\u00e9rletezt\u00fcnk m\u00e9g, de ezek csak szintaktikailag k\u00e9pesek \u00e9rtelmezni a szavakat. Ha csak el\u00edr\u00e1sok lettek volna a mi probl\u00e9m\u00e1ink, ez egy j\u00f3 ir\u00e1ny lett volna.<\/p>\n Kohonen h\u00e1l\u00f3<\/a>kkal is csak ennyit tudtunk volna el\u00e9rni, ezeknek is j\u00f3l ut\u00e1nan\u00e9zt\u00fcnk. B\u00e1r a Kohonen h\u00e1l\u00f3kat klaszterez\u00e9sre haszn\u00e1lj\u00e1k, ugyan\u00fagy t\u00e1vols\u00e1gm\u00e9r\u0151 f\u00fcggv\u00e9nyeken alapul.<\/p>\n Sz\u00fcletett m\u00e9g egy \u00f6tlet, ami tud\u00e1sb\u00e1zis alap\u00fa szemantikai \u00e9rtelmez\u0151<\/a> lenne, de ezt sajnos m\u00e9g nem pr\u00f3b\u00e1ltuk ki. Az \u00f6tlet a k-means<\/a> klaszterez\u0151re \u00e9p\u00fcl. A centroid<\/a>ok a mi eset\u00fcnkben nem pontok lenn\u00e9nek, hanem halmazok, amikben egy fogalommal kapcsolatos szavak lenn\u00e9nek: {sapi, sapientia, emte, erd\u00e9lyi magyar tudom\u00e1nyegyetem}. A k\u00f6vetkez\u0151 l\u00e9p\u00e9sben az \u00f6sszes centroid \u00f6sszes szav\u00e1t\u00f3l t\u00e1vols\u00e1got m\u00e9rn\u00e9nk az \u00f6sszes input sz\u00f3ra\u00a0 \u00e9s a centroidok \u00fajrasz\u00e1m\u00edt\u00e1sa abb\u00f3l \u00e1llna, hogy ahol a legkisebb a t\u00e1vols\u00e1g, azt a centroidot b\u0151v\u00edten\u00e9nk. Elm\u00e9letileg m\u0171k\u00f6d\u0151k\u00e9pes lenne, gyakorlatilag m\u00e9g nem lett kipr\u00f3b\u00e1lva. Ezzel azt \u00e9rn\u00e9nk el, hogy a tud\u00e1sb\u00e1zisunk mag\u00e1t\u00f3l b\u0151v\u00fclne.<\/p>\n Ez nem volt egy nagyon bonyolult feladat. P\u00e1r lek\u00e9rdez\u00e9ssel m\u00e1r k\u00e9szen is voltunk. Ezut\u00e1n az eredm\u00e9nyeket \u00e1talak\u00edtottuk sz\u00e1zal\u00e9kokba \u00e9s m\u00e1r vizualiz\u00e1ltunk is.<\/p>\n
https:\/\/github.com\/RapaErik\/SzekelyData<\/a>
0<\/a> forks.
0<\/a> stars.
0<\/a> open issues.
Recent commits:<\/p>\n\n
![\"Salamon](\"http:\/\/csaladenes.egologo.transindex.ro\/wp-content\/uploads\/2018\/07\/jopofa.png\")
<\/a>Egy\u00e9b pr\u00f3b\u00e1lkoz\u00e1sok tiszt\u00edt\u00e1sra:<\/h2>\n
Statisztik\u00e1k kinyer\u00e9se<\/h2>\n