Sensor Daten auswendig lernen

Erfassen und Messen

Erfassen

• Aufnahme von Signalen

• Wandlung in digitale Messdaten

• Verarbeitung durch Software

siehe:
Messen

Link to original

Messen

Eine experimentelle Bestimmung eines Messwertes durch quantitativen Vergleich der Messgröße mit einer Vergleichsgröße

Messgröße

Die jenige physikalische Größe (Masse, Leistung, Temperatur), deren Wert bestimmt wird.

Link to original

Messwert

Der Messwert ist der von einem Messgerät/ einer Messeinrichtung gelieferter Wert einer Messgröße, ausgedrückt durch das Produkt.

$Messwert:=Zahlenwert\cdot Maßeinheit$

Link to original

Messfehler

Abweichung des Messwertes von der Messgröße

Link to original

vs
Erfassen

Link to original

Schall

Schall wird durch schwingende (vibrierende) Materie erzeugt
(Schallquelle, wie z.B. Gitarrensaiten, Lautsprechermembran)
→ Um Materie in Schwingung zu setzen, muss Energie aufgewendet werden

Die Partikel schwingen entlang der Ausbreitungsrichtung – solche Wellen nennt man Längswellen oder Longitudinalwellen 1

• Luftschallwellen breiten mit ca. 330m/s als Longitudinalwellen aus
  → schneller bei höherer Dichte (Wasser, Metall)

• Die Amplitude 1 (Luftdruckänderung in Pascal) bestimmt die Lautstärke

• Die Frequenz (Anzahl der Druckänderungen pro Sekunde in Hertz) bestimmt die Tonhöhe

• Wird in Dezibel angegeben

• 2x Abstands → 4x Fläche

  • -6 dB

• In geschlossen Räumen sind das Verhältnis von Direktschall und Reflexionen (Nachhall 1) wichtig für die Hör-/Aufnahmequalität
  → Detektor nahe bei Schallquelle: Direktschall überwiegt
  → Detektor weiter weg: Summe der Reflexionen überwiegt

• Achtung nicht Echo – Echo → separates Hörereignis.

Ton

Signal mit genau einer Frequenz

Link to original

Klang

besteht aus mehr als einer Frequenz:

Grundschwingung und Obertöne
(ganzzahliges Vielfaches der Grundfrequenz)

Link to original

Geräusch

enthält viele verschiedene Frequenzen

Link to original

Modell von Sprache

Mikrofone

Mikrofone

Bauform

• Akustische Bauform
  • Druckmikrofon folgt dem Schalldruck (ungerichtetes Mikrofon)
  • Druckgradientenmirkofon folgt dem Schalldruckgradient (gerichtetes Mikrofon)
• Wandlerprinzip
  • Rauschabstand (SNR)
    • Maß für technische Qualität des Nutzsignals
    • $SNR=\frac{Nutzsignalleistung}{Rauschleistung}$
  • Impulstreue
    • Maß für Nachschwingverhalten auf impulsförmige Signale
  • Klirrfaktor
    • Maß der Verzerrung eines ursprünglichen Signals
  • Frequenzgang
    • Verhältniss zwischen Eingangs- und Ausgangssignal
    • (Amplitude und Phase)

Passive Wandlung

(produziert selbst Strom durch Schall)

• Dauermagnet → Dynamische Mikrofone (Wandlung durch Induktion)
• Gleichspannungsquelle → Niderfrequenz-Kondensatormikrofon
• Elektretfolie → Elektret-Kondensatormikrofon
• Innere Polarisationsspannung → Piezomikrofon

Aktive Wandlung

(verändert Strom abhängig vom Schall)

• Gelichstrom-gespeister HF-Oszillato → Hochfrequenz-Kondenstormikrofon
• Gelichstromquelle → Kohlemikrofon (Wandlung durch Widerstand)

Akustische Bauform

Mirkofone-Arrays
Körperschall Mikrofone

Link to original

Kondensatormikrofon

Akustische Bauform

• Richtcharackterisktik → Empfindlichkeit des Mikrofone

• Kugel (Omnidirektional) → nehemen gesamte Szene wahr

• Acht → nicht so sher von Seiten

• Keule → Richtmikrofone, Schall-Lokalisierung, in die Ferne

• Niere → nur in eine Richtung

Link to original

Entwicklung von Sensorverabeitungssystemen

Entwicklung von Sensorverabeitungssystemen

Zwei Ebenen

1. Entwurfs Ebene
   → Von den anschaulichen Aufforderung zur mathematischen Spezifikation
2. Implementierungs Ebene
   → Von mathematischen Spezifikation zu Redeverhalten / Code

Link to original

Bildaufnahme

Lichtstrahlen → Elektrischen Signal → Digitales Signal

Beleuchtung

Diffusor

veteilt Licht gelichmäßig

Link to original

Koaxialbeleuchtung

Link to original

Dunkelfeldbeleuchtung

Link to original

Durchlicht 1

Link to original

Dunkelfeld-Durchlichtbeleuchtung 1

Dunkelfeldbeleuchtung
Durchlicht 1

Link to original

Objektiv

Brennweiten

Dieselbe Szene mit 80°, 45° und 15° Öffnungswinkel

Mensch 170°
Verzerrungen bei über 45°

Link to original

Linsenkamera

Schärfentiefe

Link to original

kleine Blendenöffnung → große Blendenzahl → große Schärfentiefe
große Blendenöffnung → kleine Blendenzahl → kleine Schärfentiefe

Polarisation

siehe Licht

Licht schwingt quer zum Lichtstrahl

• Zwei unabhängige Ebenen der Schwingung

Polarisationsfilter lässt nur eine Ebene durch

• 3D Brillen im Kino (eine Ebene für jedes Auge)

Link to original

Farbe

Elektromagnetisches Spektrum

		UV	Farbe	NIR	IR	FIR		MW		KW	MW	LW	NF
				Nahes Infrarot	Mittleres Infrarot	Fernes Infrarot	Dezimeterwellen	Zentimeterwellen	Millimeterwellen	Kurzwelle	Mittelwelle	Langwelle
Gammastrahlen	Röntgenstrahlen	Ultraviolettstrahlung	Licht		Infrarotstrahlung			Mikrowellen			Radiowellen		Niederfrequenz
		Fluoreszenz, Schwarzlicht	sichtbar	Fernbedienung	ThermografieWärmestrahler (100 - 700°C)	Wärmestrahler(Raumtemperatur)			5G, WLAN, Radar	Fernsehen, 2G, 3G	UKW	Induktionskochfeld

Link to original

Bildsensor

Farbiger Bildsensor

Link to original

Bewegungsunschärfe

Shutter

Belichtungszeit

• elektronisch steuerbar
• an/abschalten des Aufsammelns von Licht

Rolling Shutter

Link to original

Segmentierung in Bildern

Gruppierung → Kennzalen → Filter & Klassifikation

Helligkeitssegmentierung
→ Klassifikation für Pixel mit Grenzwert

Farbsegmentierung
Pixel Klassifizieren mit Farbgrenz wert

• Hue
• Saturation
• Value
  

oder Hintergrund erkennen und invertieren.

Kantenerkennung

Segmentierungsgetriebene BV

Berührende Objekte trennen

Problem

Lösung

Morphologie

Link to original

Wasserscheidentransformation

Link to original

Link to original

Fourier-Transformation

Inverse Fourier-Transformation → lässt sich invertiern keine Informationen gehen verloren.

Zeitdiskrete Fourier-Transformation

• Nomiert Frequenzen des digitalen Signal auf Bereich $[-\pi ,\pi ]$
• Nur Frequenz der halben Abtastrate (Nyquist-Frequenz) sind kontinuierlich
• Max Frequenz $\pi$ im digitalen Signal ←> Nyquist-Frequenz im kontinuierlichen Signal
• analysiert welche Frequenzen enthalten sind, aber nicht zu welcehm Zeitpunkt ⇒ SDTFT
• Implementierung Fast Fourier Transform

Spektrogramme

Windowing + DTFT

→ Dabei überlappen sich die Segemente (gewollt)
→ Fensterfunktion: Hammingfenster
→ Zu kurzes Fenster → Ungenaue Frequenzbereich
→ Zu langes Fenster → Ungenauer Zeitbereich
⇒ Daher Fensterlänge abhängig von der Anwendung

Link to original

2D Fourier-Transformation

Filter

Lineare Filter 1D

Lineare Filter 2D

Sobel-Filter

3x3 Feld zu Pixel

Hough Algorithmus

8x8 Feld zu 2x2 Feld
und überlappende 2x2 Felder auf Länge 1 normieren

Normal

Mit Sobel-Filter

Sensordatenverarbeitung Paradigma

⇒ keine frühen Entscheidungen

Transformationsmatrix

IMU Motion Capturing

Accelerometer

• Position $p_t$
• Geschwindigkeit $v_t$
• Beschleunigung (Accelerometer-Messung) $a_t$
• Zeitschritt ${𝝳}_t$
• Weltkoordinaten: $W$
• Initalisirungskoordinaten (ohne Gravitation): $I_t$

siehe: RDL VL 03 Sensors

Link to original

Gyrometer

siehe auch RDL VL 03 Sensors

Link to original

IMU Motion Capturing

Inverate Merkmale

Merkmal ändert sich nicht bei Transformation

• Varianz des Betrags
• Mittelwert von $x^2+y^2+z^2$

Link to original

Koverate Merkmale

Merkmal nur gelich bei selber Transformation

• komponentenweiser Mittelwert

Link to original

Initialsensor

Accelerometer + Gyrometer

Orientierung

Was ist empfelen?

	fest & sinntragend	fest	wechselt zwischen Nutzungen	ändert sich ständig
Invariante Merkmale	x	x	x	x
Kovariante Merkmale	x	x
Merkmale die beides nicht sind.	x
Auf ein sinntragendes festes Koordinatensystem umrechnen.		x	x	x

fest & sinntragend

fest

wechselt zwischen Nutzungen

ändert sich ständig

Zwei IMUs

Link to original

Merkmalsextraktion

Windowing

Rechteckfenster

Hammingfenster

Audioaufzeichnung und verabeitung

Anlog Signal zu Spektrogramm

analoges Audiosignal → abtansten → Quatisierung → Windowing → DTFT → Spektrogramme

→ Dabei überlappen sich die Segemente (gewollt)
→ Fensterfunktion: Hammingfenster
→ Zu kurzes Fenster → Ungenaue Frequenzbereich
→ Zu langes Fenster → Ungenauer Zeitbereich
⇒ Daher Fensterlänge abhängig von der Anwendung

Link to original

Sound im Audiosignal erkennen

Wenn entscheidungen erst am Ende getroffen werden sollen:

⇒ Sensordatenverarbeitung Paradigma

Link to original

Sprache erkennen in Audiosignal erkennen

Anlog Signal zu Spektrogramm

In analogem Signal kann erkannt werden:

• Lautstärke
• Pausen
• Hintergrundgeräusche

In analogem Signal kann nicht erkannt werden:

• Worte

• Stimmart

Mit Spektrogramme erkannt werden

• Stille
• Frikativ (s, f, v)
  • Die Frequenz ist höher, da durch das Pressen der Laute zwischen Zähnen
• Plosiv (p, t, k, b, d, g)
  • Am Anfang einen glottalen Verschluss (es kommt also keine Luft durch), daher die Unterbrechung der Energie, sichtbar durch einen schwarzen Streifen)
• Vokale (a, e, u, o)
  • die Frequenz der Stimmenbänder gut sichtbar
• Nasal (n, m)

  • ähnlich wie Vokal nur weniger Energie

Beispiel “KO” und “Ok”

• Im Spektrogramme klarer unterschied
• Im DTFT allerdings nicht (DTFT analysiert welche Frequenzen enthalten sind, aber nicht zu welcehm Zeitpunkt)

Link to original

Mel-Skala und Cepstral Koeffizienten

Modell von Sprache

siehe auch:
Cepstral Koeffizienten

Link to original

Mel-Skala

Sprache wird höhe wird im Gehör nicht linear wahrgenommen
< 500 Hzlinear
> 500 Hz nicht linear

Link to original

Cepstral Koeffizienten

Mel-frequency Cepstral Coefficients

Link to original

MFCC

Mel-frequency Cepstral Coefficients

Mel-Skala
Cepstral Koeffizienten

Link to original

Klassifikation

Hidden-Markov-Modelle

Link to original

Classifier

Classifier

• accuracy = $\frac{TP+TN}{TP+TN+FP+FN}$

• precision = $\frac{TP}{TP+FP}$

• recall = $\frac{TP}{TP+FN}$

• jaccard = $\frac{TP}{TP+FP+FN}$

Link to original

Machine Learning

Bayes Filter

Häufige Situation: Wahrheit ändert sich über die Zeit (Zustand)
→ Bsp. Position eines Fahrzeugs