интересная новость: вышел Qwen2.5 с 1 млн токенов

ну и ещё интересная новость: вышел Qwen2.5 с контекстом в 1 миллион (sic!) токенов.

это больше, чем у всех текущих моделей OpenAI. есть версия в 7B, есть 14B, то есть модель на 1 лям токенов можно спокойно гонять локально прямо на маке. думаю, если вечерком будет время, потыкаю в LM Studio, как там качество/скорость.

в интересное время живем! Китай очень быстро втянулся в AI-гонку, и, кажется, в ближайшие полгода планирует полностью перехватить лидерство.

P.S. попросили расшифровать, попробую оч простым языком, сорри если где-то чутка пожертвую точностью в угоду простоте.

окно контекста - это сколько информации помещается в модель за раз. модель игнорирует ту информацию, которая не влезла в окно контекста. грубо говоря, вы ей кинули 5 страниц А4, задали вопрос, а в контекст влезли только последние 2 страницы, соответственно, модель полностью игнорирует содержимое первых 3 страниц документа, и, вероятно, даст вам неправильный ответ на ваш вопрос. это же касается работы с моделью в формате чата - с маленьким окном контекста, модель "забывает" те сообщения, которые у вас были с ней совсем недавно. в классической архитектуре, размер окна контекста увеличивает "тяжесть" модели квадратично, то есть двукратное увеличение окна - четырехкратное увеличение тяжести. поэтому задача "сделать большое окно контекста, в которое можно бахнуть Войну и Мир и задавать вопросы по произведению" - это ну очень нетривиальная задача, требующая не столько ресурсов на обучение модели, сколько вообще придумывания новой архитектуры модели, в которой такое возможно.

сейчас, единственные модели на рынке с таким большим окном - Gemini от Google, у них 1M/2M были ещё в 1.5 версии. и вот теперь, эта же технология есть у Qwen, моделей от Alibaba Group. у OpenAI самое большое окно контекста - 128k, поэтому в этой истории они сильно отстают.