влияние DeepSeek на o3-mini и o1-mini

влияние DeepSeek на o3-mini и o1-mini

на основе топового поста от swyx, основателя подкаста Latent Space

вот обновленный график зависимости качества моделей (ось Y) от их цены (ось X). обратите внимание, что на графике цена (ось X) убывает - модели правее дешевле моделей слева.

во вчерашнем анонсе можно не заметить снижение цены на o1-mini на 63% (2.7x), цена на o3-mini такая же. и снижение цены в 3 раза - это гораздо меньше, чем снижение цены в 25 раз, которое предлагают DeepSeek R1/V3.

важные ньюансы: - по большинству оценок бенчмарков o3-mini-low намного лучше, чем o1-mini, но чутка отстает от o1. их оценки lmarena скорректированы соотв. образом - o3-mini-high немного выше, чем Gemini Flash Thinking, это слегка интуитивное предположение (но вполне вероятное, исходя из корреляции бенчмарков). дабы было честно, был добавлен штраф в 4x за то, что o3-mini-high думает больше, чем mini-low.