Benutzerfeedback

Benutzer können KI-Antworten während Konversationen mit Daumen-hoch-/Daumen-runter-Steuerelementen bewerten. Dieses Feedback hilft bei der Bewertung der Modellleistung und kann zukünftige Verbesserungen beeinflussen.

Wie Feedback funktioniert

Benutzer geben einen Daumen hoch für Antworten, die ihnen gefallen, oder einen Daumen runter für Antworten, die ihnen nicht gefallen. Das System erstellt einen Schnappschuss des Chats, wenn Benutzer Bewertungen abgeben.

Feedback kann in zwei Modi erfolgen. Der Arena-Modus wählt zufällig Modelle für einen unvoreingenommenen Vergleich aus. Bei der Bewertung im Arena-Modus führt ein Daumen hoch für eine Antwort automatisch zu einem Daumen runter für die alternative Antwort.

Der normale Interaktionsmodus ermöglicht es Benutzern, Antworten während eines Standard-Chats ohne besondere Aktivierung zu bewerten. Für die Auswirkung auf die Bestenliste in diesem Modus müssen die Antworten von verschiedenen Modellen stammen, um einen Vergleich zu ermöglichen.

Bestenliste und Ranglisten

Bewertungen fließen in eine personalisierte Bestenliste ein, die ein Elo-Bewertungssystem ähnlich den Schach-Ranglisten verwendet. Dies zeigt, welche Modelle basierend auf der tatsächlichen Nutzung die beste Leistung erbringen.

Die Plattform unterstützt themenbasierte Neuanordnung (Reranking) durch Tagging. Benutzer können die Modellleistung über spezifische Domänen wie Kundenservice oder technischen Support hinweg vergleichen. Das Themen-Tagging erfolgt automatisch mit manuellen Überschreibungsoptionen für eine genaue Kategorisierung.

Umgang mit Daten

Alle Bewertungsdaten verbleiben standardmäßig auf der Instanz des Benutzers. Organisationen steuern, ob sie sich für die Community-Freigabe entscheiden. Erfasstes Feedback kann zukünftige Modell-Feinabstimmungsbemühungen unterstützen.

Das Feedback-System hilft Organisationen zu identifizieren, welche Modelle für ihre spezifischen Anwendungsfälle am besten funktionieren und wo möglicherweise Verbesserungen erforderlich sind.