2023-05-29
-
OpenAI’s plans according to Sam Altman
- 2023-06-02現在、削除された WebArchive
-
日本語訳してる人
-
GPUリソース逼迫
- GPT-4の初期のデモにあったマルチモダリティを一般公開できないのはGPUが足りないから
- 長いコンテキスト幅もできるがTransformarではO(N^2)なのでやはり提供できない
- 関連: リソースが払底していく過程
-
スケール則はまだ続いているが(計算リソースを食い潰してるから)年に2〜3倍のペースでしか増やせない