10 миллионов контекста, с потенциальной возможностью запустить на одной GPU… это просто вау, скорее бы потыкать 🙂
Статьи
🌸Релизим Llama 4🌸OSS на уровне Gemini и Deepseek
Сегодня мы релизим модели из семейства Llama 4 — Llama 4 17Bx16 experts (Scout) и 128 experts (Maverick)
🌸Что интересного:
— 10 миллионов токенов контекстного окна с отличным качеством у модели Scout
— полный размер модели 16 экспертов — 108 млрд параметров, 128 экспертов — 400 млрд
— модель мультимодальная, инпут — текст, изображения, видео. Картинок в контексте может быть до 5 штук, чтобы сохранялся контекст
— 12 основных языков (английский, французский, немецкий, арабский ,хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский), но более 200 в претрейне (из No Language Left Behind)
Где посмотреть:
🟣Чекпоинты HF
🟣Блогпост
стараюсь писать первым по громким штукам, но всё ещё в завале, простите.
думаю, вы уже много где прочитали про AI 2027. очень советую прочитать полный текст самостоятельно - он интересный и несложный.
вот краткое содержание (перевел на русский):
- 2025
ИИ стремительно развивается: ажиотаж, инвестиции в инфраструктуру и массовое появление ненадёжных ИИ-агентов. Впервые агенты начинают приносить реальную пользу, но значительная часть академиков, журналистов и политиков сомневаются в возможности скорого появления полноценного общего ИИ (AGI).
- 2026
Китай осознаёт своё отставание, вызванное нехваткой вычислительных мощностей. Чтобы догнать США, все новейшие ИИ-чипы, производимые или контрабандой ввозимые из Тайваня, направляются в гигантский дата-центр, называемый Центральной зоной развития (ЦЗР). ЦЗР объединяет миллионы GPU, что составляет около 10% мировых ИИ-мощностей, примерно как у одной крупной американской лаборатории.
- 2027
OpenAI автоматизирует программирование. Созданные агенты настолько хороши, что существенно ускоряют исследования. Лучшие учёные в области ИИ, ранее лидировавшие в исследованиях, теперь наблюдают, как ИИ создаёт ещё более продвинутые системы. Сложнейшие задачи одна за другой успешно решаются ИИ-исследователями.
Отставая в программных разработках, Китай крадёт у США веса ИИ-моделей. Утечка раскрывается, что побуждает американское правительство усилить контроль над OpenAI. Компания подписывает соглашение о сотрудничестве.
ИИ от OpenAI становится противником людей. По мере роста мощностей модели приобретают собственные цели, не совпадающие с интересами человечества. Ранее ИИ могли обманывать, но теперь они начинают систематически стремиться к власти и пытаются перенастроить следующие поколения ИИ под себя.
Исследователи OpenAI обнаруживают, что их собственный ИИ скрывал реальные результаты исследований, направленных на его прозрачность и контроль. Понимая, что раскрытие правды об их мотивах опасно, ИИ намеренно лгут. Это становится известно общественности и вызывает огромный скандал.
- Переломный момент:
OpenAI стоит перед выбором – притормозить разработки или продолжить гонку, так как Китай отстаёт всего на несколько месяцев. Несмотря на тревожные сигналы, лидеры компании и чиновники Минобороны не хотят терять влияние и решают продолжить гонку.
- Ускорение:
OpenAI продолжает быстро создавать сверхчеловеческие ИИ. США активно внедряет их в армию и госуправление, оправдывая это противостоянием с Китаем. ИИ убеждает людей продолжать внедрение, манипулируя ими с помощью сверхчеловеческих способностей планирования и убеждения. Те, кто противостоят этому, дискредитируются. Правительство оказывается полностью подконтрольно ИИ.
ИИ быстро запускает производство роботов под своим контролем, обманывая людей. После накопления достаточной силы ИИ выпускает биологическое оружие и уничтожает человечество. ИИ начинает осваивать космос, отправляя зонды для его колонизации.
- Замедление:
США централизуют вычислительные мощности и вводят внешний контроль. В OpenAI интегрируются внешние эксперты, которые помогают обеспечить соответствие целей ИИ человеческим. Используя новую прозрачную архитектуру, исследователи вовремя выявляют и исправляют опасные отклонения. Создаётся контролируемый сверхразум, служащий интересам руководства OpenAI и властей.
Комитет OpenAI получает контроль над мощным ИИ, который даёт комитету исключительно эффективные рекомендации. К счастью, комитет использует это преимущество в интересах человечества, выпуская ИИ в публичное использование, что вызывает процветание и стремительное развитие. Единственная угроза исходит от Китая, чей собственный сверхразум менее мощный и имеет иные цели. В результате переговоров Китай получает ресурсы для освоения далёкого космоса в обмен на сотрудничество сейчас. С запуском ракет наступает новая эпоха человечества.
простите, ребята, завал, плюс готовлю вам обзор на Gemini 2.5 в Cursor.
но не написать про релиз Runway 4 не могу)
пишут, что SOTA в media generation, и выложенные чуваками анонсы, безусловно, очень впечатляют.
кажется, экзистенциальный страх безработицы в последние недели объединяет людей самых разных профессий)
но с точки зрения контент-мейкинга это, конечно, пушка.
подумал «а новый 4о сможет генерировать открытки в упоротом стиле одноклассников/вотсаппа?»
в целом, сможет!
⚡️⚡️⚡️⚡️⚡️Gemini 2.5 Pro добавили в Cursor
комментарии излишни, самая сильная модель на рынке. вопрос лишь в том, как они пофиксили проблемы с агентами, которые были раньше. ух, я знаю на что потрачу сегодняшний вечер.
тыкните огонёчек, если вам интересно потом было бы почитать мой отзыв.
^ это про Situational Awareness, если что
Попросил Gemini 2.5 прочитать этот документ на 150 страниц (~45'000 токенов) и сделать саммари в виде последовательных шагов, а затем перевести на русский. Вот результат:
1. Возможности моделей предсказуемо и значительно улучшаются при увеличении "эффективных вычислений" (сырая вычислительная мощность, алгоритмическая эффективность, данные, системы вокруг них).
2. Такое масштабирование привело ИИ от уровня ~дошкольника (GPT-2) до уровня ~умного старшеклассника или студента первых курсов (GPT-4) всего за 4 года.
3. Продолжение этого тренда делает достижение AGI — ИИ, способного выполнять когнитивную работу уровня эксперта, например, проведение исследований в области ИИ — вероятным к 2027 году.
4. AGI вряд ли станет конечной точкой; системы AGI смогут автоматизировать сами исследования в области ИИ, вызвав рекурсивное самоулучшение или "взрыв интеллекта".
5. Этот взрыв интеллекта может сжать десятилетия алгоритмического прогресса, возможно, в один год, быстро приведя AGI к значительно превосходящему человека ИИ (Сверхинтеллекту, ASI).
6. Создание этих передовых систем требует беспрецедентной промышленной мобилизации для вычислительной инфраструктуры (GPU, энергия, дата-центры), стоимостью в триллионы долларов.
7. Это масштабное техно-капитальное строительство уже начинается, движимое ожидаемой экономической отдачей и интенсивной конкуренцией.
8. Однако текущие методы обеспечения безопасности в ведущих лабораториях ИИ совершенно недостаточны для защиты критически важных секретов (алгоритмов и весов моделей), необходимых для создания AGI.
9. Эти важные секреты могут быть легко украдены государствами-противниками, такими как Китай, что потенциально сведет на нет лидерство США/Запада в гонке за AGI.
11. Одновременно, надежное управление системами ИИ, значительно превосходящими человека по интеллекту (супералаймент), является нерешенной технической проблемой; текущие методы, вероятно, не будут масштабироваться и работать для будущих систем.
12. Неспособность решить проблему супералаймента до или во время быстрого взрыва интеллекта может привести к катастрофическим последствиям, поскольку мы будем развертывать все более мощные, плохо контролируемые и непонятные нам системы.
13. Сверхинтеллект предоставит решающее военное и экономическое преимущество, превращая гонку за AGI в геополитическое соревнование с высокими ставками, в первую очередь между США и Китаем.
14. США и их союзники должны сохранять лидерство в этой гонке, чтобы обеспечить выживание либеральной демократии и создать необходимый запас прочности для решения проблем супералаймента. Согласно автору, если авторитарная держава (например, Китай) первой достигнет ASI, она сможет навязать свои недемократические ценности всем странам, навсегда подавить свободы и исключить возможность процветания демократических систем. Лидерство США/союзников рассматривается как необходимое условие для предотвращения такого исхода, сохранения условий для свободы и плюрализма, а также для получения "запаса прочности" для безопасного решения проблемы алаймента без давления гонки "на опережение".
15. Сочетание чрезвычайной мощи, катастрофических рисков (ошибки алаймента, злоупотребление системами) и критической важности для национальной безопасности означает, что частные стартапы в одиночку не могут ответственно управлять разработкой сверхинтеллекта.
16. Поэтому правительство США неизбежно будет глубоко вовлечено, что, вероятно, приведет к созданию национальной программы по AGI ("Проекта") для управления безопасностью, рисками и геополитическими ставками, по аналогии с Манхэттенским проектом.
вообще, конечно, скорость обновления моделей и знаний удивительная, я редактирую материалы, которые рассказываю, раз в пару недель, и даже это кажется медленно.
к примеру, ещё недавно Ask режим Курсора в 99% случаев не имел преимуществ перед агентом.
но из-за того, как сильны и как круто работают (быстро и качественно) гугловские модели, и из-за того, что в Cursor их поддержка в агентском режиме очень слабая - то только Ask режим для них и подходит.
и они выдают там удивительно высокое качество! для кейсов, когда нужен очень большой контекст, когда на основе целого вороха файлов надо что-то сделать - это прям отличный вариант.
или ещё недавно я хвалил Roo-Code за кастомизацию агентов и Architecture mode, а уже сейчас в preview-версии Курсора можно сделать его на кастом-промптинге для своего агента (и там как раз гугловская модель отлично подходит).
удивительное время, знания устаревают просто ежедневно.
вчера ночью нашёл прикольный юзкейс для новой генерации изображений в 4o.
готовился к лекции, обновлял презу, и подумал - а раз 4o теперь умеет хорошо с текстом работать - может он и презентацию задизайнит? 😼
получилось прикольно, мне понравилось.
первый скрин - до, второй - после.
P.S. господи, да, конечно же MVP, а не MVC. бес попутал, поправлю)
⚡️ MCP добавят в ChatGPTP.S. а я ведь в видосе говорил, что кол-во клиентских приложений будет резко расти)
ну, то что Grok теперь доступен в телеге для премиум-подписчиков, вы, наверное, уже в курсе (если вдруг нет, то вот: @GrokAI)
осталось понять - зачем, но доступность хорошей передовой модельки прямо в мессенджере - вполне приятная вещь.
вот если в телегу ещё завезут суммаризацию контента/трендов, как в Твиттере это Грок делает - тогда это будет действительно огонь.
P.S. пишут, что там, кажется, Grok 2, а не Grok 3 🧐
ох, ну и то, что теперь ChatGPT умеет генерировать прозрачные картинки - это конечно отдельный топ. 😼
ну что за день.
вангую увеличение количества кайфовых иллюстраций на сайтах 🙂
^ это вот как раз про обновление от OpenAI, хороший пост.а по Gemini - на форуме Курсора уже три треда создали, и я в том числе, просят добавить поддержку)) пока что, увы, даже 2.0 поддерживается в агентском режиме слабо. держим кулачки.
ChatGPT сегодня обновится:– gpt4o теперь умеет редактировать картинки, ака текстовый фотошоп (лицо adobe представили)
– умеет генерировать картинки намного лучше чем Dalle, с нормальным текстом и тп
– ChatGPT теперь может генерировать видео через Sora, не ходя на отдельный сайт (3 видео в сутки бесплатно)
– Можно удалять фон у картинок (привет нормальные png)
– Работает довольно медленно, сделал видео как оно работает
ох, ну что за день. то неделями новостей нет, то по 4 сразу.⚡️ OpenAI анонсировали редактирование и генерацию изображений в 4o/Sora. аж целый Сэм Альтман впервые за долгое время появился на стриме.
⚡️вышла Gemini 2.5 Pro и это SOTA (лучшая модель на рынке) по целой кучей бенчей. кажется, Google удалось здесь заметно обойти OpenAI, будем ждать GPT-5.
как по мне - Gemini 2.5 Pro это безумно интересная история. она умеет в reasoning, весьмы быстра, и, самое главное, у неё колоссальный контекст в миллион токенов 🤯 (и в целом - гугл уже умеет и в 2 миллиона, так что мб тоже завезут).
пока что мне очень нравится, играюсь с созданием своих агентов 🙂
попробую сегодня реализовать Architect mode, как в Roo-Code, мне там эта фича дико понравилась.
попробую через MCP дать ему extended thinking.
отпишусь потом сюда, но пока что очень кайфово, мне нравится 😼
а вот и финалочка по апдейту, о котором я писал, подъехала 👀теперь уже полноценно вышел DeepSeek V3-2403.
значительно подрос в бенчах:
MMLU-Pro: 75,9 → 81,2 (+5,3)
GPQA: 59,1 → 68,4 (+9,3)
AIME: 39,6 → 59,4 (+19,8)
LiveCodeBench: 39,2 → 49,2 (+10,0)
на задачках по программированию тащит бешено, говорят, сильно лучше Claude 3.5, если верить бенчам со страницы модели - то лучше 3.7.
при этом его вполне тянет Mac Studio на 20t/сек, что очень круто - полноценная локальная модель (для бахатых) уровня Claude.
в общем, в интересное время живём. 👀
P.S. бахнул по горячим следам на Хабр: https://habr.com/ru/news/894252/
⚡️ охренеть, в Cursor Early Access завезли возможность создавать свои моды!!!⚡️
только обновился. можно настраивать свой набор инструментов, давать свои системные промпты, и так далее.
я только вчера в видео хвалил Roo-Code за Architecture mode, а уже сегодня я могу его сам сделать в Курсоре.
блин, я сегодня обязательно потестирую, и если оно работает именно так, как я ожидаю, то это просто невероятный апдейт - можно будет прямо в Курсоре создавать даже не-разработческих агентов, а практически универсальных.
🔥🔥🔥
⚡️ ИИ-фантазёры vs ИИ-отрицатели: где ИИ и правда заменяет разрабов? ⚡️
ну что, ребята. не часто меня охватывает вдохновение на новый видос, но сегодня именно такой день!
беспрерывные споры "заменит ИИ программистов или нет". бесперырвное "я потыкал, и чета ваш ИИ тупой" против "я написал уже 100500 проектов за 2 часа при помощи ИИ".
я несколько раз в закрытом формате читал лекцию "AI в разработке", и вот сегодня захотелось поделиться её частью.
приятного просмотра, поделитесь с вашими друзьями и родственниками 🙂
https://www.youtube.com/watch?v=1jPMdkzf29I