Mønstergjenkjenning Smarthus

[Martin Engebretsen]

Hei!

 

Jeg er masterstudent på NTNU, og lurer i fobindelse med en skoleoppgave om maskinlæring og smarthus på om det er noen her som har tanker rundt hva ulike sensordata kan brukes til i smart hus med f. eks mønstergjenkjenning og adaptiv læring?

 

Hilsen

Martin

 

[stian.s]

Spennende, hvilken linje går du? Er "gammel" kyber selv.

 

Ja, dette er nok interessant for smarthus. Selv holder jeg på å lage automatisk deteksjon for ulike tilstander i huset (som hjemme/borte/sover/ferie), men programmerer "manuelt". Bruker da bevegelsessensorer til å se aktivitet i huset, om man kommer eller forlater huset, samt at bruk av lysbrytere registreres som aktivitet. Sammen med en tidsplan kan dette brukes til å gjette tilstand. Planlegger å utvide med at bruk av platetopp indikerer at matlaging er i gang, når TV-en står på ser man på TV (og ønsker f. eks. ikke at lys skrur seg av automatisk like raskt) osv.

 

En annen ting jeg har automatisert er lysstyring, hvor lys er programmert til å automatisk slå seg på ved bevegelse og av etter en periode med inaktivitet, men dersom de overstyres med bryter (for å justere lysstyrke, skru av eller skru på), vil automatikken trekke seg tilbake til en stund etter at det har vært aktivitet i rommet (igjen målt med bevegelsessensor). Akkurat denne funksjonen kunne vært veldig nyttig å ha en form for adaptiv læring på - hver gang lysbryteren brukes manuelt, blir automatikken fortalt at den bommet, og kan forbedre seg. F. eks. at lyset skal være svakere når det er mørkt ute, eller at det ikke skal skru seg av så lenge TV-en er på.

[Martin Engebretsen]

27 minutter siden, stian.s skrev:

Spennende, hvilken linje går du? Er "gammel" kyber selv.

 

Ja, dette er nok interessant for smarthus. Selv holder jeg på å lage automatisk deteksjon for ulike tilstander i huset (som hjemme/borte/sover/ferie), men programmerer "manuelt". Bruker da bevegelsessensorer til å se aktivitet i huset, om man kommer eller forlater huset, samt at bruk av lysbrytere registreres som aktivitet. Sammen med en tidsplan kan dette brukes til å gjette tilstand. Planlegger å utvide med at bruk av platetopp indikerer at matlaging er i gang, når TV-en står på ser man på TV (og ønsker f. eks. ikke at lys skrur seg av automatisk like raskt) osv.

 

En annen ting jeg har automatisert er lysstyring, hvor lys er programmert til å automatisk slå seg på ved bevegelse og av etter en periode med inaktivitet, men dersom de overstyres med bryter (for å justere lysstyrke, skru av eller skru på), vil automatikken trekke seg tilbake til en stund etter at det har vært aktivitet i rommet (igjen målt med bevegelsessensor). Akkurat denne funksjonen kunne vært veldig nyttig å ha en form for adaptiv læring på - hver gang lysbryteren brukes manuelt, blir automatikken fortalt at den bommet, og kan forbedre seg. F. eks. at lyset skal være svakere når det er mørkt ute, eller at det ikke skal skru seg av så lenge TV-en er på.

 

Jeg ha bakgrunn fra maskin.

Kult, har du vurdert å inkludere andre typer sensorer? Dører? Vinduer? Flowsensorer i vannkraner/dusj? En IR-sensor over ovnen kan muligens gjøre susen for måling av varme fra platene, som en påminnelse dersom man glemmer å skru av. 

 

Har du gjort deg opp noen tanker om hvilke mønstre du klarer å se ved å bruke de sensorene du har? Utover hjemme/borte/sover/ferie, eller måling av aktivitet på kjøkkenet e.l.

 

 

[stian.s]

Tja, flere sensorer er først og fremst et spørsmål om tid (før jeg har fått programmert mot det jeg allerede har, er det ikke vits å kjøpe nye ting) og penger. Ser jeg har endel muligheter til å automatisere med det jeg har, så er det bedre å fylle på med nødvendige sensorer om jeg ser det kan forbedre systemet. En annen ting er at jeg vurderer å bytte smarthussentral, og da blir det andre komponenter som kan kjøpes. Mangfoldet av protokoller, standarder og konsepter er en utfordring for smarthus i dag.

 

De mønstrene jeg har nevnt er med bakgrunn i tilstander som jeg ønsker å knytte handlinger til, andre mønstre er ikke så interessant for automatiseringen sin del. Tenker du på noen spesielle?

[psv021]

Jeg gjør dette på veldig lavt nivå da, men kanskje relevant likevel. Her er et par eksempler:

 

- Dersom bevegelsesdetektorer utløses, og huset er i borte-modus, antas det at noen har kommet hjem, og huset går i hjemme-modus (lys, strøm til TV, etc). Merk at jeg foreløpig kjører innbrudds- og brannalarm på et eget separat system.

- Dersom det er bevegelse i stuen etter kl 05.00 om morgenen, og huset er i nattemodus, antas det at noen har stått opp og huset går i morgen-modus.

- Jeg har strømmåler på vaskemaskin og tørketrommel. Her har jeg monitorert strømforbruket i ulike programmer, og plukket ut mønstre som betyr at programmet er ferdig, slik at jeg kan få pålitelig varsling når det skjer. I tillegg vet huset når enten vaskemaskin eller tørketrommel går. Dermed gis det melding dersom f.eks. huset går i bortemodus eller i nattemodus mens vaskemaskin/tørketrommel går. Ønsker ikke det, først og fremst ift brannfare, men det er også kjipt å glemme våte klær i vaskemaskinen dersom man drar ut. Via strømmåling, og deteksjon av mønstre, blir vaskemaskin/tørketrommel "smart" selv om de er helt passive og ikke-smarte i utgangspunktet. Prinsippet kan videreføres til de fleste apparater, vil jeg tro.

- Har samme oppsett på TV, slik at huset vet når TV er på og ikke. Kan brukes for lysstyring, selvsagt, uten at jeg har gjort det. Eneste jeg har automatisert her er en rullegardin på visse tider av døgnet (når solen skinner rett på TV'en). Prinsippet her er det samme som for vaskemaskin/tørketrommel: Strømforbruk = TV på. Veldig enkel mønsterdeteksjon, med andre ord.

- Har en regnsensor som varsler når det begynner å regne. Dersom dører står åpne, som ikke skal stå åpne, gis det melding. Den kan også brukes for mer generisk varsling av regn, feks. om sommeren dersom vi har putene på hagemøblene ute. Da blir det litt mer "on-demand" mønstergjenkjenning, men likevel mønstergjenkjenning (veldig enkelt her også da: regn, eller ikke regn).

- Noen ganger kommer guttungen hjem først, og han bruker typisk en annen inngang enn oss andre som kommer hjem i bil. Så basert på klokkeslett og hvilken inngang som brukes, antar huset at det er han som kommer hjem og gir meg en push-melding på at han er hjemme.

- Har temperaturmålere "overalt", inkludert i fryser og i kjøleskap. Her har jeg selv definert hva som er "normalt" og ikke, og får push-melding dersom noe går utover det. Men man kunne også ha maskinlært seg dette. Samme gjelder temperatur/luftfukt/CO2-innhold andre steder i huset.

 

Generelt bruker jeg tid på døgnet, og noen ganger tid før/etter soloppgang, ganske aktivt, spesielt for lysstyring. Huset går i kveldsmodus når det er kveld, solskjerming går opp når solen har gått ned, osv.

 

Ellers har jeg veldig tro på mønstergjenkjenning i smarthus. Man må nesten ha det for å kunne si at man faktisk har et smarthus. Ellers har man et "fjernstyrt" hus. Dette er interessant i forhold til, som et eksempel, hjemmeboende eldre. Når systemet lærer seg at fru Hansen på 90 år stort sett står opp mellom 8 og 9, kan systemet varsle hjemmehjelpen eller pårørende dersom hun fortsatt ligger i sengen kl 10 - da er det kanskje noe galt. Eller dersom inngangsdøren åpnes (noen går ut) kl 03 om natten, som demente noen ganger gjør. Eller dersom temperaturen blir veldig lav, eller veldig høy. Det er ingen grunn til at eldre ikke skal kunne velge sin egen temperatur, men dersom det blir unormalt, kan f.eks. pårørende varsles. Da må systemet vite hva som er "normalt", og mønsterdetektering er vel nøkkelen til å definere "normalt" tror jeg. Det er mye snakk om eldrebølgen, men lite snakk om at smarthusløsninger kan være nøkkelen til å løse en stor del av de utfordringene man forventer.

 

Et annet bruksområde kan være varmestyring. Her tror jeg maskinlæring kan være nøkkelen, spesielt hos oss som har vannbåren varme som gir veldig lang korreksjonstid (nytter ikke å skru opp varmen når det er kaldt - må gjøre det lenge før det blir kaldt...). Jeg sysler med tanken om å automatisere radiatorer og gulvvarme, og lage en automatisering basert på værmelding. Systemet har tilgang på værmeldingen, så jeg kan lett kvantifisere hvilken temperatur som er meldt om 1-2 dager. Jeg kan også definere noen regler for dette som gjør at varmestyringen blir slik jeg vil ha den. Så i teorien har jeg all informasjon tilgjengelig. Her tror jeg maskinlæring kan gjøre mye. Dersom en bruker f.eks styrer varmen manuelt et par uker, og systemet monitorer hva som blir gjort, og sammenstiller det med temperaturen ute, kan regler defineres. Etter hvert kan systemet overta styringen. Man kan da tenke at brukeren definerer en ønsket temperatur, og at systemet justerer seg selv i forhold til ute-temperatur, også et par dager i forveien (ref vannbåren og andre "trege" systemer). De som vil utvikle og selge slike systemer er, slik jeg ser det, nødt til å forholde seg til maskinlæring for å kunne nå den jevne brukeren. Da kan vi snakke om faktiske Smarthus-konsepter, ikke "du kan styre lyset fra mobilen"-løsningene som i dag blir markedsført som "Smarthus".

 

For å svare litt mer konkret på spørsmålet ditt helt til slutt: Alle sensorer kan vel i prinsippet brukes. Jeg har stor tro på å samle inn mest mulig informasjon, og heller finne ut i ettertid hva det kan brukes til. Spesielt temperatur/luftfuktighet/luftkvalitet, for å styre varme, ventilasjon, etc. Men strømforbruk detaljert ned på enkeltpunkter også. Det er alltid vanskelig å se nytteverdien av noe man ikke har, merker jeg.

Edited November 27, 2016 by psv021

[Martin Engebretsen]

1 minutt siden, stian.s skrev:

Tja, flere sensorer er først og fremst et spørsmål om tid (før jeg har fått programmert mot det jeg allerede har, er det ikke vits å kjøpe nye ting) og penger. Ser jeg har endel muligheter til å automatisere med det jeg har, så er det bedre å fylle på med nødvendige sensorer om jeg ser det kan forbedre systemet. En annen ting er at jeg vurderer å bytte smarthussentral, og da blir det andre komponenter som kan kjøpes. Mangfoldet av protokoller, standarder og konsepter er en utfordring for smarthus i dag.

 

De mønstrene jeg har nevnt er med bakgrunn i tilstander som jeg ønsker å knytte handlinger til, andre mønstre er ikke så interessant for automatiseringen sin del. Tenker du på noen spesielle?

 

Åja. Jeg kjenner ikke så godt til smarthusområdet i dag. Er det slik at du bruker en sentral som lar deg integrere dine egne modaliteter og sensorer i systemet? Eller er det som du sier høyst individuelt mellom hver tilbyder? Vet du hvilke tilbydere som har gode løsninger i dag?

 

Jeg er veldig interessert i hva slags fysiologiske mønstre man kan trekke ut av passive sensorer plassert i huset. F. eks om man kan detektere spising (med høy nok nøyaktighet?), sosialisering (besøk/ikke besøk, økning i dl tappet vann), dusjing/bading, kanskje en trykkfølsom sensor i skapene som registrerer om det blir tatt inn/ut tallerkener eller glass, aktivitetsnivå basert på bevegelsessensorer. Veldig spennende å gjøre seg opp noen tanker om andre typer sensorer som blir vanligere i smarthus fremover. 

[psv021]

Det finnes jo kameraer (Netatmo har vel et) som gjenkjenner ansikter, og dermed "vet" hvem som er hjemme. Da vet det også om det er noen andre der (besøk). Det vet også hvor mange personer som befinner seg i huset, osv.

 

Spising er jo gjerne noe som kommer etter at kjøleskap er åpnet, kjøkkenskap er åpnet, komfyr har vært på, stekeovn har vært på, osv. Kombinert med f.eks. bevegelsesdetektorer på spisebord eller andre sensorer så tror jeg at "spising" kan detekteres.

 

Jeg tenker aller mest på lyd for slike ting. Dersom man har mikrofoner rundt omkring, er jeg sikker på at lydmønstre kan defineres for ulike aktiviteter, f.eks. spising. Mikrofoner vil være en naturlig del av et smarthus også, etter min mening, da stemmestyring begynner å bli mer og mer vanlig (jeg syntes foreløpig det er litt for kleint å gå rundt og snakke engelsk i mitt eget hus, men det kommer jo). Dermed er infrastrukturen der allerede, og det handler mer om mønsterdetektering derfra.

[stian.s]

Begrepet modaliteter var nytt for meg. Jeg bruker nå Fibaro HC2, som støtter ting som er koblet opp mot Z-wave og TCP/IP, og lar en programmere selv. Vurderer å gå over til openHAB pga et håp om bedre programmeringsmuligheter.

 

Glemte å nevne at jeg styrer sentralventilasjon basert på fuktighet på badet eller om lyset på badet har vært lenge på, samt om platetoppen er på.

[Moskus]

(Jeg flytter tråden. Kategorien "Ditt System" er for fortelle om sitt eget system).

[Nettopp]

Har du sett denne om Campus Remmen: 

 

[Moskus]

Å sette opp de automatiske reglene er noe av det mest tidkrevende med et nytt smarthusoppsett. Når de først er på plass, er det kjapt gjort å endre et oppsett og legge til nye regler.

 

Jeg har lurt på en plugin eller script-pakke til HomeSeer om noe slikt, men helt ærlig vet jeg ikke hvor jeg skal starte. Noen som har noe .NET kode om temaet?

[DiderikFrom]

Dette er veldig spennende i ( ihvertfall i teorien). Men adaptiv læring kommer ofte litt kort i praksis, men det er sikkert noen som vokser.

 

Hva slags software for adaptiv læring kan dte være snakk om?

[Evelen]

 

psv021, hva bruker du av software som selv lærer og endrer seg ut i fra sensordata? meg bekjent er det ikke innebygget funksjonalitet i noen av de store forbrukerprogramvarene.

Selv har jeg ikke noe læringsmekanismer inne i bildet, (foruten å analysere logger manuelt og lage hendelser deretter)

Men jeg har Hjemme og Borte modus, og den fungerer ganske enkelt:
- Dersom mobilen min er borte, 2km fra huset eller mer sender den en melding til huset om borte-modus.
- Dersom ytterdøren åpnes settes Hjemme-modus.

Når jeg forlater huset slår alt av lys seg av, samt kaffetrakter, når jeg kommer hjem slår lyset seg i stua på, samt lyset i gangen i 3 minutter.

Jeg har forøvrig også en "sovemodus", men det er ikke en skikkelig modus, det er mer en hendelse. Legger jeg mobiltelefonen på ladeplaten på nattbordet samtidig som huset er i hjemmemodus, og samtidig som TV-en er av så slår alle lys seg av.

Oppvaskmaskin og Vaskemaskin er også tilknyttet, her estimeres av/på status ved effektforbruk. Status for disse brukes ikke for annet en å sende notifikasjoner til telefonen foreløbig. Jeg kjører ofte oppvask og vask når jeg er borte, tror ikke brannfaren er så sto.

Ellers har jeg jo litt av hvert annet, men skal ikke oppsummere alt her.
Sensorer:
- Temp/fukt i alle rom (nesten)
- Temp i frys og kjøleskap
- magnetsensor for å indikere status på robotstøvsuger
- magnetsensor på ytterdør, og kjesskap
- Ping mot smart TV for å vite om den er på
- Energimåler vaskemaskin/oppvaskmaskin

 

[psv021]

6 timer siden, Evelen skrev:

 

psv021, hva bruker du av software som selv lærer og endrer seg ut i fra sensordata? meg bekjent er det ikke innebygget funksjonalitet i noen av de store forbrukerprogramvarene.

Selv har jeg ikke noe læringsmekanismer inne i bildet, (foruten å analysere logger manuelt og lage hendelser deretter)

Jeg gjør heller ikke det. Jeg gjør det samme som deg: Finner mønstre manuelt, og lager eventer/kriterier basert på det.

Edited November 28, 2016 by psv021

[Moskus]

9 timer siden, DiderikFrom skrev:

Dette er veldig spennende i ( ihvertfall i teorien). Men adaptiv læring kommer ofte litt kort i praksis, men det er sikkert noen som vokser.

Du må nok redigere de "automatisk genererte" reglene selv etterpå. Det er alltid unntak til regler, og disse tenker man nok mest ut selv. Eller lærer dem etter hvert.

[DiderikFrom]

Nest Learning Thermostat er det eneste smarthuseksempelet jeg kommer på,men jeg har ikke prøvd den, og jeg vet ikke hvor bra jeg tro den er?

 

Jeg spør litt fordi jeg lurer på om jeg skal bruke tid på å sette meg inn i dette i jobbsammenheng. Jeg har allerede tett samarbeid med et utenlandsk senter for "kunstig intelligens" der vi utvikler software/algoritmer basert på maskinlæring for bruk med MR. Nå har døgnet som kjent 24 timer og man må prioritere hva man selv skal gjøre. Så langt er min erfaring at når det gjelder maskinlæring, må man velge problemstillinger nøye -- (det høres åpenbart ut) men dersom man ikke har relevant rådata inn, får man intet nyttig ut.

Jeg er litt redd det er slik med smarthus per i dag -- sensorene kan ikke plukke opp alle unntakene, man hadde trengt noen utførlige maler i bunn.

[Moskus]

Kanskje @Martin Engebretsen kan peke oss i riktig retning til hvordan det gjøres?

 

 

19 timer siden, Martin Engebretsen skrev:

tanker rundt hva ulike sensordata kan brukes til i smart hus med f. eks mønstergjenkjenning og adaptiv læring?

Dette er i det minste enklere å svare på. Det fleste smarthus har to typer sensorer: Det er bevegelsessensorer, temperatur og strømforbruk. Men i tillegg kommer jo informasjon om hva som hender med lys, kaffetrakter, musikk/radio/TV, etc. Hvis jeg skrur på kaffetrakteren hver dag kl 06:45, så vil huset kunne registrere det selv om ikke bevegelsessensoren kan det.

 

Mer enn dette er ren bonus (selv om flere av oss her på forumet, som i hovedsak består av folk godt over snittet interessert, og dermed har flere sensorer).

[Moskus]

Spesifikk problemstilling om overvåkning av vaskemaskin vhj strømmåling er flyttet hit:

 

[Fredrick]

On 27/11/2016 at 13:40, Martin Engebretsen said:

Hei!

 

Jeg er masterstudent på NTNU, og lurer i fobindelse med en skoleoppgave om maskinlæring og smarthus på om det er noen her som har tanker rundt hva ulike sensordata kan brukes til i smart hus med f. eks mønstergjenkjenning og adaptiv læring?

 

Hilsen

Martin

 

 

Lyst til å rapportere funn/dele masteroppgaven din?

[petersv]

Dette kan gjøres passivt med wifi. Kommer nok på markedet snart, siden Qualcomm som er gigantiske har kjpt teknologien: 

https://www.qualcomm.com/news/releases/2018/01/08/qualcomm-expands-mesh-networking-platform-smart-home-products-and-launches

http://www.whatafuture.com/qualcomm-wifi-router-indoor-radar/

https://www.prnewswire.com/news-releases/origin-wireless-brings-smart-home-and-indoor-tracking-solution-to-mesh-routers-300576721.html

 

Edited March 27, 2018 by petersv

[Moskus]

12 timer siden, petersv skrev:

Dette kan gjøres passivt med wifi.

... hva kan gjøres passivt med wifi?

[petersv]

Det OP spør om. Mønstergjenkjenning.  Med 1-2cm posisjonerings-presisjon kan man lage modeller for hva en person gjør/har tenkt til å gjøre.

[Moskus]

20 timer siden, petersv skrev:

Det OP spør om. Mønstergjenkjenning.  Med 1-2cm posisjonerings-presisjon kan man lage modeller for hva en person gjør/har tenkt til å gjøre.

Aha, sånn ja. Optimistisk prosjekt, i det minste.