GPT-4の精度覚書です。
結論からいえば、Claude 3 opusとPerplexity AIに乗り換えました。その組み合わせによる運用をはじめました。Perplexity AIならGPT4が遅いと感じることもありません。詳しくはこちら!
Contents
GPT-4が馬鹿に!?ChatGPT4が校正や翻訳の精度劣化で使えない!?
ChatGPT4はかなりまともでした…(過去形かも)
ただ、気になる症状があります。日に日にGPT-4が根本的に馬鹿になっている気がします(´・ω・｀)
とくに前に言ったことをすぐに失念してしまうことがある気がします。何度も同じことを言わないとダメ。こちらがかなり配慮して教えてあげないとダメです(´・ω・｀)
gpt-4確実にどんどん劣化してるというか、推論を省いてると思う
— 山﨑 諒介 (@ryozakiry) July 29, 2023
賢いところは賢いので一部のパラメーターが劣化している気もします。
まさかまた子供に戻ってしまうとは思う人も少なかったのではないでしょうか!?
この点に気付かない人もAIを妄信してまずいですね!
スタンフォード大学の論文もでていましたね。
GPT-4とGoogle BardとLlama2の比較
ただし、Google BardやLlama2が代替になるのかといえば、そうは思いません。それでもGPT-4がマシです。GPT4の文章を信頼してコピペは論外で、基本的に自分で気付けない人はいけませんね。
プログラミングも間違ったことをかなり書きますからね。
あとはサム・アルトマンさんのプログラマと経営者としての腕に期待したいところです。。
ChatGPT劣化の歴史
個人的な感覚です。
- 2023年6月頃はよかった
- 8月頃劣化
- その後、いくらか改善される
- 11月に劣化
- その後、いくらか改善される
アップデートが入った直後は少しヤバい気がします。今後、よくなるための一時的なものであってほしいです。安定感が大事なので、頼むからバージョンを固定にする機能がほしい。
GPT-4の回数制限
1回目はGPT-4からGPT-3.5に強制的に戻りました。。強制的に戻った上、GPT-3.5からGPT-4に戻す手段がない。こういうのは辞めてほしいなあ。UIが破綻している。
2回目は戻るか待つか選択肢が与えられました。
回数制限があるようです。
GPT4が3時間25回になって久しいけど初期の1時間100回がイカれすぎてて今のノウハウ持ったままあの頃に戻りたい気持ちが溢れて涙出てくる
— volsiq🍆 (@volsicator) May 17, 2023
GPT-4さ、100回/4hが50回/4hに下方修正されたのは知ってたけどまさか25回/3hにまで下方修正するとは思ってなかった
— 伊部れそ (@yve_ria) March 19, 2023
こんなに回数減らされるなら課金しなかったよ……返金あるかな#ChatGPT #GPT_4 #openai
You’ve reached the current usage cap for GPT-4. You can continue with the default model now, or try again after X:XX XX.
You've reached the current usage cap for GPT-4. You can continue with the default model now, or try again after 4:48 PM. 上限に到達した模様。1時間以内に回復するようです。ちなみにスレッドを変えても全スレッドストップされているため、無駄です。
時間が経つとメッセージが変わります。
You previously reached your usage cap for GPT-4, but you can now try sending your message againリンク先をみると、現在は動的に制御しているようです。
dynamically adjusting usage capGPT-4が劣化・遅い・重い!代替は?
Gemini Proは？
エンジニアさんのつぶやき発見。
回答の精度は、こんな順序。
— きのぴー (@Y_Kinoshita) December 14, 2023
GPT-4 > Claude2.1 > Bard+Gemini Pro >> GPT-3.5
レスポンス速度はこんな順序。
Bard+Gemini Pro > GPT-3.5 > Claude2.1 >>>GPT-4
（個人の感想）
Gemini UltraがベンチでGPT-4に勝ってるのは分かったけど、Gemini Proの性能は？と思ったら、まあGPT-4には負けてるね。だから有料ChatGPT使ってる人はべつにBardに乗り換えるメリット無さげ。Gemini… pic.twitter.com/96oC9UrS0D
— うみゆき@AI研究 (@umiyuki_ai) December 7, 2023
個人的にも乗り換え候補になりませんね。
APIに乗り換え
最近、APIに乗り換え組がある程度いる気もします。個人的にもそれはちょっと試してみたいなあと思っています。
Copilotもありますね。
ChatGPTをクビにして、Copilotに移行する
— yogarasu (@yogarasu___) November 3, 2023
条件破るし、精度が落ちてる
回答の劣化酷くない？
突き詰めていくと使い物にならなくなってきた
よい展開もあるようです。
発表の原文を見に行くと大体こんな感じか。
— 村上直也＠日サロしゃちょー (@hisalo_syacho) November 7, 2023
・トークンが32K→128Kに大幅UP
（これまでの4倍長く会話できる）
・API料金の値下げ
（入力は1/3、出力は1/2）
・GPT（chatgptをカスタマイズして展開できる機能）が誰でもつくれて、OPEN AIのアプリストアで販売できる
こんなところか。。…
文字数は2万5000。
Cursorに乗り換え
GPT4が早く使える方法としてCursorがあります。Cursorに乗り換えようと思います。
詳しくはこちら！
Claude 3 opusに乗り換え先はClaude 3 opus?Perplexity AI？
Claudeはなかなかコーディングのスキルは高いと思います。
プログラミングはChatGPTがかなり馬鹿になったからClaude一択だなぁ
— しん (@shin_neeter) November 12, 2023
賛否両論あります。
期待してたClaude-2がプログラミングに関しては驚くほど頭悪い。やはりchat GPTか…
— A×CE (@axce2010) October 18, 2023
3. More efficient coding
— Paul Couvert (@itsPaulAi) July 12, 2023
In the HumanEval coding test, GPT-4 scored 67%, compared with 71.2% for Claude 2.
So it's preferable to use Claude 2 rather than ChatGPT for coding: pic.twitter.com/me9OWiNRXB
コメント