Re: Chat GPT Dienst
Verfasst: So 27. Aug 2023, 11:06
Noch ein paar Hintergrund-Informationen zum ChatGPT-Dienst.
Man kann über die API einige Einstellungen machen. Zunächst kann man das Sprachmodell wählen. Im Moment ist
"gpt-3.5-turbo" eingestellt. Das ist das aktuelle empfohlenen Modell. Hier könnte ich auch GPT4 einstellen. Dann wird dann etwas teurer.
Ich werde das mal experimentell machen und schauen, wie sich das auf die Kosten auswirkt.
Dann gibt es noch die Parameter "Temperature" und "Top-P". Mit Temperature kann man die "Kreativität" und Zufälligkeit der Antworten festlegen. 0 ist eher nüchtern und reproduzierbar und 1 eher Labertasche, die dann auch mehr Unsinn erzählt. 0,5 ist irgendwo dazwischen.
Mit Top-P kann man (ebenfalls von 0 bis 1) irgendwie die Varianz bzw. die Anzahl der Varianten festlegen, mit denen ChatGPT intern seine Antworten generiert. Ich glaube, um den Parameter zu verstehen, muss man mehr über die grundsätzliche Arbeitsweise von ChatGPT wissen. Ich blicke das noch nicht so richtig.
So wie es aussieht funktioniert das Setzen von Temperatur und Top-P über die aktuell von mir eingesetze Bibliothek überhaupt nicht. Die Werte sind also vermutlich beide 0.
Ich werde heute im Laufe des Tages auf eine andere Bibliothek wechseln. Zeitgleich erfolgt, wie gesagt, die probeweise Umstellung auf GPT4.
Und ich plane dann, die beiden oben genannten Parameter einstellbar zu machen. Dann kann jeder selber wählen, ob er eher wildes Gelaber oder eher nüchterne Antworten haben will. Wobei jetzt der Unterschied bei den erzeugten Antworten gar nicht soo groß ist, wie sich das in der Beschreibung liest.
Man kann über die API einige Einstellungen machen. Zunächst kann man das Sprachmodell wählen. Im Moment ist
"gpt-3.5-turbo" eingestellt. Das ist das aktuelle empfohlenen Modell. Hier könnte ich auch GPT4 einstellen. Dann wird dann etwas teurer.
Ich werde das mal experimentell machen und schauen, wie sich das auf die Kosten auswirkt.
Dann gibt es noch die Parameter "Temperature" und "Top-P". Mit Temperature kann man die "Kreativität" und Zufälligkeit der Antworten festlegen. 0 ist eher nüchtern und reproduzierbar und 1 eher Labertasche, die dann auch mehr Unsinn erzählt. 0,5 ist irgendwo dazwischen.
Mit Top-P kann man (ebenfalls von 0 bis 1) irgendwie die Varianz bzw. die Anzahl der Varianten festlegen, mit denen ChatGPT intern seine Antworten generiert. Ich glaube, um den Parameter zu verstehen, muss man mehr über die grundsätzliche Arbeitsweise von ChatGPT wissen. Ich blicke das noch nicht so richtig.
So wie es aussieht funktioniert das Setzen von Temperatur und Top-P über die aktuell von mir eingesetze Bibliothek überhaupt nicht. Die Werte sind also vermutlich beide 0.
Ich werde heute im Laufe des Tages auf eine andere Bibliothek wechseln. Zeitgleich erfolgt, wie gesagt, die probeweise Umstellung auf GPT4.
Und ich plane dann, die beiden oben genannten Parameter einstellbar zu machen. Dann kann jeder selber wählen, ob er eher wildes Gelaber oder eher nüchterne Antworten haben will. Wobei jetzt der Unterschied bei den erzeugten Antworten gar nicht soo groß ist, wie sich das in der Beschreibung liest.