Die Sprachsteuerung

Der Kochbot kann natürliche Sprache verstehen und produzieren. Dabei ist der Kochbot nicht auf einfache Befehle beschränkt, sondern kann fehlende Informationen erfragen und Dialoge führen. Hierfür arbeitet im Hintergrund ein Dialogsystem, welches die Eingabe des Anwenders im Kontext interpretiert und so passend reagieren kann. Darüber hinaus kann der Kochbot die Initiative ergreifen und Sprachinteraktion beginnen.

In fast allen Ansichten der App kann die Spracherkennung durch drücken auf das in der Menüleiste befindliche Mikrophon gestartet werden. Einzige Ausnahme ist die Schritt-für-Schritt-Ansicht. Beim Kochen möchte man nicht erst auf das Smartphone drücken müssen, sondern lieber die Hände für andere Dinge verwenden, wie z.B. das Schneiden von Zutaten. Hierfür gibt es die dauerhafte Spracherkennung, welche während des Kochvorgangs aktiv ist.

Grundsätzlich gibt es verschiedene Arten mit dem Kochbot über Sprache zu interagieren, hierbei wird jeweils das selbe Ziel verfolgt: Dem Kochbot eine Aufgabe geben.

Einfache Befehle

Eine Liste von Befehlen, die in der jeweiligen Ansicht benutzt werden können, kann über "Was kann ich sagen" angezeigt werden.

Unvollständige Anfragen und Dialoge

Alle gerade genannten Beispiele sind vollständige Befehle, können also direkt ausgeführt werden, da alle Informationen vorhanden sind. Es ist jedoch genauso möglich unvollständige Anfragen zu stellen, z.B. "Ich habe Hunger", "Stelle eine Eieruhr". Bei diesen Befehlen ist klar, was der Benutzer möchte, es fehlen jedoch Informationen. In solchen Fällen stellt der Kochbot automatisch die passenden Fragen um alle benötigten Informationen zu sammeln.

Darüber hinaus kann der Kochbot passend zur jeweiligen Ansichte einfache Dialoge führen. Diese können mit den folgenden Aussagen gestartet werden:

Initiative durch das System

In vielen Fällen wird eine Sprachinteraktion durch den Benutzer initiiert. Das ist zum Beispiel bei allen oben genannten Beispielen der Fall. Es gibt jedoch auch Situationen in denen der Kochbot selbstständig die Initiative ergreift, z.B. wenn der Kochbot es für sinnvoll erachtet eine Eieruhr während des Kochvorgangs zu stellen. Hierfür wird dann die Genehmigung des Benutzers eingeholt.

Führung durch die App

Durch ein Klicken auf das Mikrophon in der Start-Ansicht und einfaches "Hallo" lässt sich eine dialoggestützte Führung durch die App starten. Hierbei werden automatisch alle benötigten Informationen abgefragt.

Schritt-für-Schritt-Ansicht

In der Schritt-für-Schritt-Ansicht läuft eine dauerhafte Spracherkennung ständig im Hintergrund, man muss also keinen Knopf mehr drücken, um mit der App zu sprechen. Dies ist nützlich, wenn man zum Beispiel gerade Zutaten schneidet und die Hände schmutzig hat. Es gibt 2 Anwendungen, die jeweils durch Kurzbefehle ausgelöst werden:

Ist die normale Spracherkennung gestartet, stehen dem Benutzer in der Schritt-für-Schritt-Ansicht folgende Sprachbefehle zur Verfügung: