Стартап Subquadratic представил ИИ-модель SubQ без dense attention

Стартап Subquadratic из Майами объявил о выходе из скрытого режима и представил языковую модель SubQ, которая, по заявлению компании, снимает одно из главных ограничений современных LLM при работе с длинным контекстом. Разработчик утверждает, что модель отказывается от стандартного dense attention в трансформерах, за счёт чего заметно снижает вычислительные затраты и ускоряет

обработку больших массивов текста. Главная оговорка в том, что независимых подтверждений у этих заявлений пока немного, а доступ к системе остается ограниченным. Subquadratic говорит, что SubQ способна обрабатывать до 12 млн токенов контекста. Для сравнения, у большинства коммерческих моделей верхняя планка измеряется сотнями тысяч

токенов, а рубеж в 1 млн токенов даже в 2025-2026 годах остается скорее витринной возможностью крупных игроков вроде Google и Anthropic, чем отраслевым стандартом. Компания делает ставку на сценарии, где модель должна за один проход читать большие кодовые базы, массивы договоров или сотни документов. Технически речь идет о замене плотного механизма внимания разреженным. В классическом трансформере каждый токен

сопоставляется со всеми остальными, и с ростом длины контекста вычислительная нагрузка растет квадратично. Subquadratic утверждает, что SubQ выбирает только часть нужных связей между токенами и тем самым сокращает объем вычислений без заметной потери качества на практических задачах. В качестве

подтверждения компания ссылается на собственные тесты и на результаты внешней оценки от Appen. По этим данным, модель показывает кратный выигрыш по скорости относительно реализаций на основе FlashAttention и конкурентные результаты в задачах программирования на LiveCodeBench. Это полезные ориентиры, хотя они не отвечают на главный вопрос: как система поведет себя в реальной эксплуатации, где важны не только скорость и длина

контекста, но и устойчивость качества, цена инференса и предсказуемость на смешанных рабочих нагрузках. Еще один повод для осторожности связан с происхождением модели. Subquadratic не строит архитектуру с нуля в вакууме, а частично опирается на открытые модели семейства Qwen и адаптирует их под собственный подход. Это нормальная практика для отрасли, однако формулировка о полной замене трансформеров в таком случае звучит сильнее, чем доступная

сегодня фактура. Как работает SubQ без dense attention Проблема, на которую указывает Subquadratic, известна давно. После статьи «Attention Is All You Need» 2017 года именно трансформеры стали базовой архитектурой для больших языковых моделей, а

квадратичная сложность внимания быстро превратилась в их узкое место при длинных контекстах. Последние несколько лет индустрия пытается лечить это место разными способами: оптимизацией kernels, сжатием памяти, разреженным вниманием и гибридными схемами маршрутизации. Поэтому сама идея sparse attention не нова. Ранее похожие подходы исследовали Longformer, BigBird и ряд

академических работ, а в коммерческих системах элементы разрежения и локального внимания применялись для ускорения длинных последовательностей. Разница в том, что Subquadratic заявляет не локальную оптимизацию, а архитектурный скачок, который якобы позволяет совместить длинный контекст,

высокую скорость и приемлемое качество на универсальных задачах. Скепсис объясним еще и тем, что рынок ИИ уже видел громкие заявления о «сломанных» ограничениях моделей, которые затем упирались в детали реализации. Длина контекста сама по себе не гарантирует качества. Модель может уместить миллионы токенов во входе, но терять релевантность

при поиске нужных фрагментов, ухудшать точность рассуждений или резко дорожать на практических нагрузках. По нашим данным, корпоративные заказчики обычно смотрят не на рекорд в токенах, а на цену одной типовой задачи и стабильность ответа на повторяемых сценариях. Именно здесь у SubQ пока остается белое пятно. Компания открыла модель лишь

ограниченному кругу клиентов и не дала рынку полноценного публичного доступа, который позволил бы воспроизвести тесты. Для стартапа это объяснимо дефицитом вычислительных ресурсов, хотя для подобных заявлений это худший режим проверки: индустрия охотно обсуждает архитектуры на бумаге, но принимает их только после независимых прогонов и интеграций у крупных пользователей. Если Subquadratic подтвердит заявленные метрики вне собственных демонстраций,

компания может попасть в узкий, но денежный сегмент корпоративных систем для анализа документов и кода, где длинный контекст напрямую влияет на экономику внедрения. Конкуренция там уже плотная: Google, Anthropic и OpenAI наращивают контекстные окна в существующих трансформерных моделях, а Nvidia и

разработчики inference-стека снижают стоимость обработки за счет оптимизаций на уровне инфраструктуры. Поэтому ближайшая проверка для SubQ будет простой: сможет ли стартап показать не только красивый бенчмарк, но и воспроизводимую цену длинного запроса у реальных клиентов.

Стартап Subquadratic представил ИИ-модель SubQ без dense attention

Сообщает itzine.ru

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

07:00, 14 Июн Такими будут самолеты будущего? Стартап Electra представил концепт авиалайнера с «двойным фюзеляжем» и новой системой управления воздушным потоком Над новым авиалайнером работают American Airlines, Honeywell Aerospace и крупнейшие вузы СШААмериканский авиастроительный стартап Electra, специализи...

08:00, 19 Апр Данилов Никита Игоревич: Уход из госкорпорации в стартап Данилов Никита Игоревич – генеральный директор компании «FlyDrone». Данилов работал в госкорпорации по ОРВД на должности заместителя генерального дир...

22:00, 22 Апр Стартап Thinking Machines Lab получил многомиллиардный контракт на ИИ-инфраструктуру Google Мира Мурати расширяет вычислительные мощности с Google Cloud и Nvidia GB300, усиливая гонку за инфраструктуру для «пограничных» ИИ-моделейСтартап Thi...

22:00, 22 Апр Американский стартап Bolt Graphics пообещал GPU мощнее RTX 5090 в 5 раз — и уже сделал первый чип GPU Zeus от Bolt Graphics финализированКомпания Bolt Graphics объявила о финализации дизайна своего графического процессора Zeus и передаче его на пр...

22:00, 03 Май Meta* усиливает ставки на гуманоидную робототехнику, купив стартап Assured Robot Intelligence Приобретение команды усиливает направление и отражает гонку индустрии за «физический ИИ»Meta* объявила о покупке стартапа Assured Robot Intelligence ...

05:00, 07 Май Китайский стартап бросает вызов SpaceX: Nayuta разрабатывает ракету с горизонтальной посадкой Проект Xuanniao-R с аэродинамическим торможением и посадкой «как самолёт» получил новое финансированиеКитайская коммерческая космическая компания Nay...

07:00, 17 Июн SpaceX покупает за $60 млрд. стартап Anysphere — разработчика популярных ИИ-инструментов для программирования Cursor Компания SpaceX объявила о приобретении компании Anysphere — разработчика популярного ИИ-редактора и ИИ-агента для автоматического написания кода Cur...

14:00, 03 Июн Стартап Bexorg начал испытывать лекарства на извлечённых человеческих мозгах, подключённых к системе жизнеобеспечения Компания использует мозг умерших людей как новую платформу для разработки препаратов против болезни Альцгеймера, болезни Паркинсона и других нейродег...

09:00, 30 Апр ИИ вышел на орбиту: стартап DPhi Space протестировал обработку спутниковых снимков прямо в космосе Следующий шаг — орбитальные дата-центры с GPUШвейцарский стартап DPhi Space сделал шаг к новой архитектуре обработки данных: вместо передачи снимков ...

23:00, 22 Май Батареи вместо ЛЭП: стартап Electric Era применит опыт зарядки электромобилей для спасения дата-центров от энергодефицита Новая модульная платформа CoPower позволит операторам вычислительных центров обойти многолетние очереди на подключение к электросетямСиэтлский старта...

19:00, 18 Июн Китайский стартап испытал двигатель крупнейшей в мире ракеты с электрическими насосами: первый запуск намечен на 2027 год Spark Space привлекла новое финансирование для ракеты, которая по грузоподъёмности в несколько раз превзойдёт Electron от Rocket LabКитайская компани...

23:00, 11 Июн Джефф Безос привлёк ещё $12 млрд в свой ИИ-проект Prometheus: стартап оценили в $41 млрд «Искусственный инженер» обещает сократить разработку реактивных двигателей с 10 лет до одного годаСтартап Prometheus, созданный основателем Amazon Дж...

14:00, 07 Июн Французский стартап C12 придумал способ «пересаживать» углеродные нанотрубки на квантовые чипы и приблизил масштабируемые квантовые компьютеры Технология Pick & Place позволяет заранее отбирать идеальные нанотрубки для кубитов, снижая количество ошибок и упрощая путь к сотням логических куби...

19:00, 27 Май Ростех представил комплекс «Государственность» Госкорпорация «Ростех» представила программно-аппаратный комплекс «Государственность» на Международном форуме по безопасности. Система предназначена ...

13:00, 19 Июн OnePlus представил флагманский планшет Pad 3 Pro Компания OnePlus представила в Китае флагманский планшет Pad 3 Pro. Гаджет оснащен 13,2-дюймовым IPS-дисплеем с соотношением сторон 7:5, разрешением ...

21:00, 26 Май АвтоВАЗ официально представил микроавтобус M9 На выставке COMvex в Москве «АвтоВАЗ» показал свежую коммерческую модель под брендом SKM — M9. Разработкой занималась компания «Промтех» (сертифициро...

16:00, 19 Апр Zeekr представил трехмоторный кроссовер 8X Автомобиль построен на 900-вольтовой архитектуре и сочетает 2,0-литровый турбомотор с электродвигателями. Самая мощная версия получила три электромот...

11:00, 25 Апр Nissan представил гибридный N6 и обновлённую Teana Модель N6 стала первым в истории марки подзаряжаемым гибридом (PHEV) для китайского рынка. Длина автомобиля составляет 4835 мм, колёсная база — 2815 ...

10:00, 19 Апр Samsung представил новый 200-мегапиксельный сенсор Компания Samsung анонсировала новый 200-мегапиксельный сенсор под названием ISOCELL HP3. Он имеет "самые маленькие в отрасли пиксели" размером всего ...

13:00, 19 Июн Более 20 ИИ-инструментов: «Ростелеком» представил «Нейрошлюз» Проект стартовал три года назад«Ростелеком» представил платформу «Нейрошлюз». Новый портал служит единой точкой доступа к более чем 20 инструментам н...

06:00, 15 Июн Genesis представил в Ле-Мане спортивный концепт Magma GT3 На «24 часах Ле-Мана» премиум-бренд корейского Hyundai устроил двойной дебют: в основных соревнованиях впервые принял участие гиперкар GMR-001. Также...

21:00, 14 Май HP представил планшет-трансформер OmniPad 12 на базе Snapdragon Компания HP представила в Индии Android-планшет OmniPad 12 со съемной клавиатурой, которая позволяет легко превратить гаджет в компактный ноутбук для...

11:00, 31 Май ГАЗ представил экспедиционный «Соболь» для бездорожья. Что в него встроили Горьковский автомобильный завод показал специальную версию «Соболя», приспособленную для серьезного бездорожья. Машина получила внедорожные шины, сил...

13:00, 11 Июн «Калашников» представил скоростные катера и судно на воздушной подушке Концерн «Калашников» впервые показал на международном военно-морском салоне «ФЛОТ-2026» сразу три новинки: транспортно-десантный катер «БК-16», штурм...

17:00, 12 Май Популярный в России бренд представил полностью обновленный модельный ряд На 19-м Пекинском международном автосалоне EXEED объявил о начале новой главы – бренд привез полностью обновленную линейку. Все модели объединены диз...

17:00, 26 Май Ростех представил комплекс «Государственность» для управления экономикой и госсектором Госкорпорация Ростех показала программно-аппаратный комплекс «Государственность» на I Международном форуме по безопасности в Подмосковье. Система объ...

22:00, 17 Июн Qualcomm представил процессор Snapdragon Reality Elite для VR, AR и MR-гарнитур Компания Qualcomm представила флагманский процессор Snapdragon Reality Elite, предназначенный для гарнитур виртуальной (VR), дополненной (AR) и смеша...

15:22, 18 Апр Российский бренд RLE Bike представил сверхлёгкий электровелосипед «Спутник» Российский производитель титановых велосипедов RLE Bikes приурочил ко Дню космонавтики выпуск лимитированной серии RLE Gravel «Спутник». Модель дебют...

06:00, 19 Апр ЦентроКредит представил обновленную коллекцию исторических ценных бумаг Банк ЦентроКредит обновил выставку российских акций и облигаций из собрания председателя совета директоров Андрея Тарасова. Экспозиция приурочена к «...

02:00, 25 Май АвтоВАЗ представил Lada Niva Travel с изысканными материалами отделки У Lada Niva Travel появилась лимитированная версия с отделкой салона из натуральной кожи. Таких внедорожников сделают лишь тысячу экземпляров, а стои...

15:19, 18 Апр Changan представил достойного конкурента Xiaomi с более доступной ценой На китайском рынке электромобилей появился ещё один кроссовер с агрессивной, почти спортивной внешностью – Changan Nevo Q06. По габаритам и силуэту о...

11:00, 22 Апр Mercedes-Benz представил самый мощный и быстрый C-Class в истории Немецкий концерн Mercedes-Benz официально показал полностью электрическую версию своего ключевого седана – Mercedes-Benz C-Class Electric. По сути, э...

11:00, 25 Апр Haval представил гибридный внедорожник с запасом хода более 1000 км На Пекинском автосалоне компания показала Haval Raptor Plus. Новинка доступна в трёх комплектациях по цене от 189 800 до 215 800 юаней (примерно 2,2−...

08:00, 19 Июн ЦБ представил четыре сценария по ключевой ставке. В худшем случае она достигнет 25% Банк России опубликовал четыре варианта развития инфляции и динамики ключевой ставки на ближайшие годы. В самом неблагоприятном сценарии средняя став...

21:00, 04 Июн АвтоВАЗ представил модернизированную Lada Niva Legend с новым двигателем Обновлённая Lada Niva Legend получила новый 8-клапанный двигатель объёмом 1,8 литра. Крутящий момент вырос на 24 Н·м, причём 80% тяги доступны уже с ...

12:00, 15 Май 3,6 млн ГБ в месяц: «Билайн» представил цифровой портрет пассажира Московского метро Среди молодой аудитории значительно выше доля пользователей iPhoneОператор «ВымпелКом» (бренд «Билайн») представил цифровой портрет пользователя Моск...

14:00, 03 Июн Гигантские головы классиков в очках: ВТБ представил стенд на ПМЭФ-2026 Фото пресс-служба ВТББанк ВТБ оформил свой стенд на Петербургском международном экономическом форуме в виде масштабной арт-инсталляции — четырех гига...

07:00, 02 Июн Asus представил портативную консоль ROG Xbox Ally X20 с OLED-дисплеем Компания Asus на Computex 2026 представила ROG Xbox Ally Х20 — новую версию портативной консоли. Устройство, созданное совместно с Microsoft, приуроч...

10:00, 18 Июн Губернатор Пензенской области представил опыт региона на Совете по местному самоуправлению в СФ Фото: правительство Пензенской областиГубернатор Пензенской области Олег Мельниченко выступил с докладом на заседании Совета по местному самоуправлен...

16:00, 26 Май «Государственность» на импорт: Ростех представил комплекс для управления компанией, отраслью или государством Комплекс прошел апробацию в ряде российских компанийГоскорпорация Ростех на I Международном форуме по безопасности представила программно-аппаратный ...

16:00, 19 Апр Dreame представил интересные новинки 2026: пылесосы, газонокосилку, мойщика окон Бренд Dreame провел в Москве масштабную презентацию, на которой представил новые модели техники в разных категориях. Как обычно, арсенал устройств по...

17:00, 18 Апр Intel представил процессоры Core Series 3 (Wildcat Lake) для недорогих ноутбуков Компания Intel представила мобильные процессоры Core Series 3 семейства Wildcat Lake, предназначенные для доступных потребительских устройств с оптим...

01:00, 08 Июн Azercell представил решения на базе искусственного интеллекта на IV Национальном форуме по кибербезопасности По инициативе Ассоциации организаций кибербезопасности Азербайджана был проведён IV Национальный форум по кибербезопасности. Платиновым спонсором фор...

18:00, 22 Апр Цена человека-робота упадет в 2 раза? Schaeffler представил инновационный привод для гуманоидов В то время как китайские роботы демонстрировали скорость, немецкая индустрия сделала ставку на силу и экономичность. 20 апреля на Ганноверской ярмарк...

17:00, 18 Май «Аврора ТВ» выходит в эфир: «Ростелеком» представил первое полностью отечественное решение для смарт-ТВ Фото предоставлено рекламодателем ПАО "Ростелеком"На конференции ЦИПР-2026 «Ростелеком» представил первое на 100% отечественное решение для смарт-ТВ ...

20:00, 03 Май Китай представил систему ИИ-моделей ScienceOne для ускорения научных открытий в фундаментальной науке и медицине Кластер моделей для физики, медицины и космоса способен прогнозировать солнечные вспышки, оценивать лечение рака и ускорять разработку новых материал...

21:00, 03 Июн Шеф-повар Евгений Асаула представил летнее меню в "Джаз-клубе Игоря Бутмана" в Петербурге Вот уже несколько лет люди приходят "к Бутману" не только для того, чтобы послушать классную джазовую музыку, но и вкусно поесть. За три года работы ...

15:00, 10 Июн Google представил Gemini 3.5 Live Translate: синхронный перевод речи более чем на 70 языков без неловких пауз Перевод в реальном времени с использованием наушников с сохранением естественного тонаКомпания Google объявила о запуске новой Gemini 3.5 Live Transl...

15:00, 15 Май Российский режиссёр Кантемир Балагов представил в Каннах свой новый фильм "Варенье из бабочек" с Моникой Беллуччи 34-летний российский режиссёр Кантемир Балагов, который покинул Россию, не приняв СВО, представил свой новый фильм "Варенье из бабочек" на 79-м Каннс...

10:00, 16 Май Впервые в Шанхае: мобильный оператор Shanghai Telecom представил тарифный план для услуг искусственного интеллекта на основе токенов Предусмотрены два варианта использованияКомпания Shanghai Telecom запустила новую систему тарификации вычислительных ИИ-мощностей на основе токенов, ...

15:00, 24 Апр Яндекс представил новую ИИ-платформу «Яндекс Авто» с «Алисой» В своём дальнейшем развитии «Яндекс Авто» сфокусируется на активном взаимодействии «Алисы» с пользователемНа Международном автосалоне в Пекине команд...

16:00, 26 Апр "Дуров — наш, и крестился по-русски, за народ свой стоял". Павел Дуров представил новый трек в жанре военного марша Павел Дуров представил новый трек, созданный с помощью искусственного интеллекта. В композиции "Эх, ВПНы верные" поётся о ВПН и блокировках соцсетей,...