Custom Sprachsteuerung "Board Computer"

[HerrVorragend]

Ich finde das super interessant und würde mich gern als Tester melden.

Die die Möglichkeiten von Alexa fand ich in meinen Tests sehr interessant, aber die Daten, die Amazon von mir bekommt, sind ohne Alexa schon grenzwertig zu viel.

Um das ganze komplett zu veröffentlichen habe ich noch eine ganze Menge Arbeit vor mir, denn für alle fremden Technologien muss ich erst die Lizenzbestimmungen lesen und diese dann entsprechend erwähnen etc. Daher wird es vermutlich erstmal eine closed Beta geben müssen.

Hierfür wären Leute sinvoll die zwei oder mehr der folgenden Kriterien erfüllen:

- Ressourcen um ein System aufzusetzen. Die Hardware pro Raumeinheit liegt bei ca. 150€ ohne Kamera und bei 225€ - 300€ je nach verbauten Kamera (ideal sind 4K und WDR mit 360° Fischaugenobjektiv). Es funktioniert aber auch jede normal USB-Webcam.

- Nötiges KnowHow um das System zu aktualisieren und einzustellen (Linux-Image für den PI und Doku kann ich zur Verfügung stellen)

- Ideal wäre die Möglichkeit die Raumeinheit möglichst mittig im Raum an der Decke positionieren zu können (wie in dem Video zu sehen), denn für diese Art Installation wurde es ausgegelegt und so kommen vergleichbare Ergebnisse bei den Tests raus.

- Entsprechend Zeit und Lust sich damit so auseinander zusetzen um wirklich Hilfreichen Input liefern zu können

- Linux-Kenntnisse um mir beim Finetuning der Performance und der nötigen Absicherung gegen Angriffe etc. zu helfen (bin eigentlich ein Windows-Guy und habe nur minimal Ahnung von Linux)

- Kenntnisse im Bereich 3D-Druck um das Gehäuse zu optimieren.

- Kenntnisse im Bereich c# um bei der Weiterentwicklung und Bugfixing zu unterstützen. Ideal wäre jemand der Python oder Matlab code zu dotnet core portieren könnte. Es gibt da noch so ein paar AI-Themen für die es derzeit nur Implementierungen in Python oder Matlab gibt.

- Kenntnisse im Bereich AI um diverse AI-Themen (Rauschunterdrückung, Sprechererkennung, Spracherkennung, Gesichtserkennung etc.) zu optimieren

- Kenntnisse im Bereich Webdesign um die Administrationsoberflächen zu überarbeiten bzw. zu Optimieren. Ideal wären hier Kenntnisse im Bereich Blazor und / oder ASP.net core

Wenn du zwei oder mehr dieser Kriterien erfüllst, haben wir unseren ersten offiziellen Betatester

Wenn nicht muss ich dich noch um ein wenig mehr Geduld bitte. Aber über sinnvolle Ideen / Verbessungsvorschläge würde ich mich natürlich immer sehr freuen.

Sent from my SM-F907B using Tapatalk

[HerrVorragend]

Hallo zusammen,

ich habe in den letzten Tagen daran gearbeitet die letzten fehlenden Teile für einen ersten Betatest zu realisieren. Hier fehlten noch diverse Einstellungsmöglichkeiten etc

Derzeit gibt es noch keine echte Benutzerverwaltung, sondern er akzeptiert nur hart codiert meine Mailadresse mit hart codiertem Passwort. Dies muss ich noch vollständig implementieren und anschließend ein kleines Wiki aufsetzen. Dann könnte es losgehen.

Was aber noch fehlt, sind Beta-Tester... wenn ihr Interesse habt, dann schickt mir einfach eine PN.

Ach bevor ich es vergesse... in den letzten Tagen habe ich auch die erste Version des Gehäuses in seiner aktuellsten (und deutlich kompakteren Form) in Betrieb gekommen (wie man an den Bildern erkennen kann bedarf es aber noch ein paar Feinarbeiten beim Druck).

[HerrVorragend]

Hallo zusammen,

da wir nun unseren ersten offiziellen Beta-Tester haben, hier mal eine kleine Einkaufsliste für die Hardware der Raumeinheit (ich habe mir jetzt nicht die Mühe gemacht die jeweils besten Preise rauszusuchen sondern nur stumpf bei Amazon gesucht... sollte aber z.B. bei dem Mikro auch deutlich günstiger zu haben sein):

1. Raspberry Pi 4 (ich verwende aktuell die 4GB-Version, da ich noch nicht weis ob zukünftige Funktionen im Bereich AI ggf. mehr RAM benötigen könnten. Die 2-GB-Version tut es (derzeit) aber auch.
https://www.amazon.de/Raspberry-Pi-A...s%2C212&sr=8-3

2. Seed Mic Array V2
https://www.amazon.de/Studio-respeak...8075817&sr=8-1

3. Lautsprecher
https://www.amazon.de/gp/product/B07...?ie=UTF8&psc=1

4. Netzteil (für einen ersten Testaufbau funktioniert auch das normale Usb-Netzteil von RPi, aber bitte in jedem Fall ein "echtes" Netzteil verwenden und kein Ladegerät, da dieses mit den Schwankungen beim Strombedarf des Pi in der Regel nicht so gut zurecht kommt
https://www.conrad.de/de/p/mean-well...w-1293873.html

5. PiCam360 (ich habe die WDR und die normale Version ausprobiert. Die WDR-Version ist deutlich besser, allerdings funktioniert für einen ersten Test auch erstmal eine ganz normale usb-webcam.
https://store.picam360.com/#!/PICAM3...447/category=0

6. Stromschienen-Adapter
https://www.amazon.de/CLE-3-Phasen-S...s%2C201&sr=8-8

7. Stromschienen-Auslass (falls keine Schienen vorhanden sind)
https://www.amazon.de/Deckenrosette-...8076863&sr=8-4

8. Gelenk, dass ich verwende um etwas mehr Abstand zwischen Adapter und Gehäuse zu bekommen
https://www.leuchtenbau24.de/de/gele...x1-ag-m.profil

9. Jumperkabel (verwende ich für die interne Verkabelung)
https://www.amazon.de/gp/product/B01...?ie=UTF8&psc=1

10. Für das Gehäuse muss ich erst mit dem Kollegen der das druckt klären was er pro Gehäuse haben möchte.

Die Befestigung an der Decke kann natürlich jeder machen wie es für ihn am besten ist (der Punktauslass ist schon recht teuer, da gibt es bestimmt intelligentere / günstigere Methoden).

Schlauer weise habe ich den Zusammenbau nicht dokumentiert. Ein zweites Gehäuse ist gerade im Drucker... wenn ich das aufsetze werde ich den Zusammenbau Schritt für Schritt dokumentieren.

[HerrVorragend]

Hallo zusammen,

da wir nun unseren ersten offiziellen Beta-Tester haben, hier mal eine kleine Einkaufsliste für die Hardware der Raumeinheit (ich habe mir jetzt nicht die Mühe gemacht die jeweils besten Preise rauszusuchen sondern nur stumpf bei Amazon gesucht... sollte aber z.B. bei dem Mikro auch deutlich günstiger zu haben sein):

1. Raspberry Pi 4 (ich verwende aktuell die 4GB-Version, da ich noch nicht weis ob zukünftige Funktionen im Bereich AI ggf. mehr RAM benötigen könnten. Die 2-GB-Version tut es (derzeit) aber auch.
https://www.amazon.de/Raspberry-Pi-A...s%2C212&sr=8-3

2. Seed Mic Array V2
https://www.amazon.de/Studio-respeak...8075817&sr=8-1

3. Lautsprecher
https://www.amazon.de/gp/product/B07...?ie=UTF8&psc=1

4. Netzteil (für einen ersten Testaufbau funktioniert auch das normale Usb-Netzteil von RPi, aber bitte in jedem Fall ein "echtes" Netzteil verwenden und kein Ladegerät, da dieses mit den Schwankungen beim Strombedarf des Pi in der Regel nicht so gut zurecht kommt
https://www.conrad.de/de/p/mean-well...w-1293873.html

5. PiCam360 (ich habe die WDR und die normale Version ausprobiert. Die WDR-Version ist deutlich besser, allerdings funktioniert für einen ersten Test auch erstmal eine ganz normale usb-webcam.
https://store.picam360.com/#!/PICAM3...447/category=0

6. Stromschienen-Adapter
https://www.amazon.de/CLE-3-Phasen-S...s%2C201&sr=8-8

7. Stromschienen-Auslass (falls keine Schienen vorhanden sind)
https://www.amazon.de/Deckenrosette-...8076863&sr=8-4

8. Gelenk, dass ich verwende um etwas mehr Abstand zwischen Adapter und Gehäuse zu bekommen
https://www.leuchtenbau24.de/de/gele...x1-ag-m.profil

9. Jumperkabel (verwende ich für die interne Verkabelung)
https://www.amazon.de/gp/product/B01...?ie=UTF8&psc=1

10. Für das Gehäuse muss ich erst mit dem Kollegen der das druckt klären was er pro Gehäuse haben möchte.

Die Befestigung an der Decke kann natürlich jeder machen wie es für ihn am besten ist (der Punktauslass ist schon recht teuer, da gibt es bestimmt intelligentere / günstigere Methoden).

Schlauer weise habe ich den Zusammenbau nicht dokumentiert. Ein zweites Gehäuse ist gerade im Drucker... wenn ich das aufsetze werde ich den Zusammenbau Schritt für Schritt dokumentieren.

Noch etwas vergessen...

11. SD-Karte für den Pi (8GB reichen)
https://www.amazon.de/SanDisk-Ultra-...8077738&sr=8-4

12. Und noch ein paar Schrauben (m2 und m3)
https://www.amazon.de/dp/B081SGZ2C4/...xpY2s9dHJ1ZQ==

[HerrVorragend]

Hallo zusammen,

als kleine Anregung, was mit dem System alles möglich ist, hier mal ein kleines Update über neue Features die ich in den letzten Tagen hinzugefügt habe:

1. OpenWeatherMap-PlugIn
Ermöglicht das Abrufen eines Wetterreports für heute oder einen gewünschten anderen Tag. Beispiel Kommandos:
- Wie wird das Wetter?
- Wie wird das Wetter morgen?
- Wie wird das Wetter am x.y.?

Auch das Abrufen einzelner Wetterparamter ist möglich...
- Wird es heute Regenen?
- Wird es morgen Regnern?
- Wie warm wird es morgen?
...
...
2. DailyReport
Dialog-Plugins können nun Nachrichten für eine tägliche Zusammenfassung beisteuern. Aktuell können dies das Exchange-Plugin (Kalendereinträge) und das Wetter-PlugIn. Diese täglichen Zusammenfassungen können dann über Kommandos wie z.B. "Wie wird mein Tag?" etc. abgerufen werden.

3. Automatischer DailyReport
In Kombination mit der Presenzerkennung über die Kameras kann jetzt konfiguriert werden, dass einmal täglich beim ersten betreten bestimmter Räume die tägliche Zusammenfassung für den erkannten User automatisch ausgegeben wird. So bekommt man jetzt automatisch seinen täglichen Report aus (derzeit) heutigen Terminen und dem heutigen Wetter sobald man morgens die Küche betritt :-)

Wie immer bin ich für alle Anregungen dankbar und möchte an dieser Stelle nochmal dazu aufrufen sich zu melden, wenn Interesse daran besteht dabei zu helfen als Beta-Tester das ganze zu finalisieren.

Gruß

Calle

[immergut]

Super Projekt. Finde ich Klasse.

[steppe]

Interessant das ganze. Hätte noch nen freien PI 4 und ein bisschen Respeaker Zeug rumliegen. Mit linux kann ich gut. Kontra: meistens hab ich wenig Zeit ;-)

Aber nebenher könnte ich auch ein bisschen testen.

Grüße
Stefan

[c.radi]

Hallo Calle,

ich finde das klingt nach einem super Projekt.

Schön wäre es noch, wenn Du in einem Thread etwas mehr zu den eingesetzten Techniken und Programmen sagen könntest.

Auch ich würde mich als Beta Tester melden. Ein PI 4 habe ich, auch noch ein Respeaker Mic Array mit 4 Mikrofonen (würde aber auch das von Dir eingesetzte bestellen). Auch habe ich einen eigenen 3D Drucker zur Verfügung, und könnte ein Gehäuse zum hinstellen konstruieren (das dauert aber etwas).

Allerdings verstehe ich den Einsatzzweck der Kamera nicht, und habe keine Möglichkeit einer Deckenmontage. Ich würde hier also ohne Kamera und mit einem Gehäuse für Standmontage arbeiten. Aber das geht vermutlich einigen so. Wenn man die recht teuren Komponenten für die Deckenmontage weglässt ist der Preis auch gar nicht mehr so hoch.

Gruß
Christian

[HerrVorragend]

Interessant das ganze. Hätte noch nen freien PI 4 und ein bisschen Respeaker Zeug rumliegen. Mit linux kann ich gut. Kontra: meistens hab ich wenig Zeit ;-)

Aber nebenher könnte ich auch ein bisschen testen.

Grüße
Stefan

Super... bin gerade dabei einneues Image zu ziehen und noch ein paar Kleinigkeiten am Server zu erledigen. Danke das ich gegen Ende der Woche eine neue Beta (Cleit + Server + RPI-Image) zur Verfügung stellen kann. Melde mich per PN

[HerrVorragend]

Interessant das ganze. Hätte noch nen freien PI 4 und ein bisschen Respeaker Zeug rumliegen. Mit linux kann ich gut. Kontra: meistens hab ich wenig Zeit ;-)

Aber nebenher könnte ich auch ein bisschen testen.

Grüße
Stefan

Super... bin gerade dabei ein neues Image zu ziehen und noch ein paar Kleinigkeiten am Server zu erledigen. Denke das ich gegen Ende der Woche eine neue Beta (Client + Server + RPI-Image) zur Verfügung stellen kann. Melde mich per PN

Einen neuen Thread zu den Details der eingesetzten Technologien kann ich bei Gelegenheit mal angehen. Bin im Moment beruflich sehr eingespannt aber ich behalte das mal im Hinterkopf. Nur vielleicht schon mal so viel vorab: Die Anwendungen (Client + Server) sind komplett in dotnet core als Blazor-Webanwendung implementiert. Die einzelnen Technologien für Spracherkennung etc. gehen nachher aus den Plug-Ins hervor. Aber gerne werde ich das bei Gelegenheit noch etwas vertiefen.

Noch kurz zur Kamera:
Die Anwendung läuft natürlich problemlos auch ohne Kamera. Der Sinn und Zweck der Kamera ist die Erkennung welcher User sich in welchem Raum aufhält. Das Wissen hierüber ermöglicht sehr interessante Anwendungsmöglichkeit wie z.B:
- Automatische Ausgabe eines "Daily Reports" beim ersten Betreten eines Raumes
- Anzeige für personalisierte Nachrichten (Kalendererinnerungen etc.) nur in den Räumen, in denen sich der User aufhält, für den die Nachricht bestimmt ist (jeder User bekommt eine Farbe zugewiesen und die LEDs werden für die Anzeige genutzt)
- Ausgabe von Meldungen an User, die dann automatisch in dem Raum ausgegeben werden in dem sicher der User aufhält
- Kommandos wie "Wo ist [username]?" etc.