Hopp til hovedinnhold

Data-intensive systemer DAT500

Kurset gir en innføring i planlegging, design og programmering av dataintensive systemer.


Dette er emnebeskrivelsen for studieåret 2021-2022. Merk at det kan komme endringer.

Fakta
Emnekode

DAT500

Vekting (SP)

10

Antall semestre

1

Vurderingssemester

Vår

Undervisningsspråk

Engelsk

Tilbys av

Institutt for data- og elektroteknologi

Læringsutbytte

Kunnskap:

  • Karakterisere Hadoop job tracker, task tracker, planleggingssaker, kommunikasjon, og ressursforvaltning; - Beskrive elementer av Hadoop økosystem og identifisere dets anvendelser; - Beskrive og sammenligne RDBMS, datavarehus, ustrukturerte stordatasett, og "keyed files", og vise hvordan du kan bruke de til vanlige dataprosesseringsoppgaver; - Forstå algoritmisk kompleksitet (verste fall, forventet tilfelle, og beste fall), kjøretid, og orden av kompleksitet; anvende analysen på virkelige algoritmer;

Ferdigheter:

  • Utforme, konstruere, teste og benchmarke et lite datacluster (basert på Hadoop); - Analysere virkelige problemer og foreslå egnede løsninger; - Konstruere programmer basert direkte på MapReduce paradigme for typiske problemer; - Konstruere programmer basert på høyt nivå verktøy (for MapReduce paradigme) for typiske problemer; - Analysere påvirkning av maksimal og vedvarende dataoverføringshastighet på systemets ytelse;

Generelle kvalifikasjoner: 

  • Evaluere, kommunisere og forsvare en datakrevende løsning mht relevante kriterier.
Innhold
Fremveksten av Big Data-og data intensive systemer som spesialiserte felt i databehandling motiverer utvikling av nye teknikker og teknologier for å hente kunnskap fra store datasett. Siden Hadoop ble unnfanget i 2005, har interessen for data intensive systemer begynte å vokse. Dette kurset er et første skritt til en forståelse av en rekke roller knyttet til dataintensive systemer. Kjerneoppgavene i rollene som vi vil ta opp er: Systemadministrasjon (oppsett, test og benchmark av cluster), lavnivå algoritmedesign og implementering (direkte implementering av MapReduce jobber), høynivå algoritmedesign og implementering (bruk av dataprosesseringsspråk som HiveQL), datamodellering og algoritmeoptimalisering, pålitelig infrastruktur design for datainnsamling og bearbeiding, brukerveiledning for både teknisk og ikke-teknisk personell.
Forkunnskapkrav
Ingen
Eksamen / vurdering
Vurderingsform Vekting Varighet Karakter Hjelpemiddel
Prosjektoppgave med muntlig fremføring 1/1 A - F Alle.

Prosjektoppgave med muntlig fremføring. Prosjekt løses i grupper.Begge deler må gjennomføres før endelig karakter fastsettes. Gruppemedlemmene kan få ulik karakter basert på den gruppevise muntlige fremføringen.Hvis en student ikke består prosjektoppgaven, må hun/han ta dette om igjen neste gang emnet undervises.

Vilkår for å gå opp til eksamen/vurdering
Fire innleveringsoppgaver

Studenter skal begynne med 4 obligatoriske oppgaver som inneholder programmering og system administrasjon. Obligatorske oppgaver løses alene. Alle obligatoriske oppgaver må være bestått innen fristen for at studenten skal kunne starte med prosjektet. De obligatoriske oppgavene gir tilgang til prosjektet bare i inneværende semester.

Gjennomføring av obligatoriske laboratorieoppgaver skal gjøres på de tidene  og i de gruppene som er tildelt og publisert. Fravær på grunn av sykdom eller av andre grunner må formidles så snart som mulig til laboratoriepersonell. Man kan ikke forvente å få gjennomføre av laboratorieoppgaver utenom oppsatt tid hvis dette ikke er kommunisert og avtalt med laboratoriepersonalet.

Fagperson(er)
Emneansvarlig: Tomasz Wiktorski
Faglærer: Jayachander Surbiryala
Instituttleder: Tom Ryen
Arbeidsformer
Arbeidet vil bestå av 6 timer forelesning, planlagt laboratorium, veiledet gruppearbeid per uke. Det forventes at studenter bruker ytterligere 6-8 timer i uken på selvstudium, gruppediskusjoner og utviklingsarbeid (åpen lab).
Åpent for
Datateknologi - Master program Kybernetikk og robotteknologi - Master i teknologi/siv.ing. - 5 år Utveksling ved Det teknisk- naturvitenskapelige fakultet
Emneevaluering
Skjer vanligvis gjennom skjema og/eller samtaler i henhold til gjeldende retningslinjer.
Litteratur
Søk etter pensumlitteratur i Leganto