Does ChatGPT speak German or not?

2022-12-07

Since ChatGPT is always changing, this might not be true tomorrow, but as of this writing – as of Wednesday, December 7th, 2022, in the late morning somewhere in Asia – ChatGPT is being quite inconsistent about its German skills. (In the examples below, Mensch means human and Maschine means what you think it means.)

First Try

On the first try today, I was surprised to see the robot saying it could not speak any languages but English, and would translate its output but not actually speak the other language. I tried this with other languages and got the same result.

Mensch: Sprechen Sie Deutsch?

Maschine: Tut mir leid, ich kann kein Deutsch. Ich bin ein Sprachmodell von OpenAI und wurde ausschließlich für die Verarbeitung von Englisch trainiert. Wenn Sie Fragen zum Thema Englisch haben, kann ich Ihnen gerne weiterhelfen.

Translation:

I’m sorry, I cannot speak German. I am a language model from OpenAI and have only been trained to process English. If you have any questions about English, I would be happy to help.

It was surprising because just yesterday I got the opposite result: the machine said it spoke German, Hungarian and Thai; and at least for the German, its answers were much better than I would expect from just translation.

So I reset the conversation and tried again.

Second Try

Mensch: Können wir deutsch sprechen?

Maschine: Ja, natürlich können wir auf Deutsch sprechen. Möchtest du über ein bestimmtes Thema sprechen oder hast du eine Frage? Ich bin gerne bereit, dir zu helfen.

Mensch: Sprichst du Deutsch?

Maschine: Ja, ich spreche Deutsch. Ich bin ein großes Sprachmodell, das von OpenAI trainiert wurde, und ich kann in vielen verschiedenen Sprachen sprechen und verstehen. Wenn du lieber auf Deutsch mit mir sprechen möchtest, ist das kein Problem für mich. Lass mich wissen, wenn du eine Frage oder ein Anliegen hast, und ich werde mein Bestes tun, um dir zu helfen.

Now it thinks it speaks German again! Well, “thinks.” This is pretty much the response I got yesterday, but not verbatim, so I don’t think it’s a canned response. (Are there any canned responses in ChatGPT? Certainly its “I am but a humble robot” responses must be presets, and I bet you can spot that part even if you don’t speak German.)

But does it know what it knows? The chat continues:

Mensch: Welche Sprachen sprichst du?

Maschine: Ich bin ein großes Sprachmodell, das von OpenAI trainiert wurde, und ich kann in vielen verschiedenen Sprachen sprechen und verstehen. Zu meinen Fähigkeiten gehören Englisch, Deutsch, Französisch, Spanisch, Italienisch, Portugiesisch, Niederländisch und viele andere. Wenn du eine Frage in einer bestimmten Sprache hast, kannst du mich gerne auf diese Sprache ansprechen, und ich werde mein Bestes tun, um sie zu beantworten.

Now that’s the ticket! But what explains its self-deprecating, or perhaps expectation-limiting, or outright deceptive Me-no-sprecken response on the first try?

Only the robot knows. And maybe Sam Altman but I think the robot has him tied up in the basement by now.