Как стартап Delphi, занимающийся разработкой «цифрового разума» в сфере искусственного интеллекта, перестал тонуть в пользовательских данных и расширил масштабы с помощью Pinecone

Delphi , двухлетний стартап из Сан-Франциско в области искусственного интеллекта, названный в честь древнегреческого оракула , столкнулся с проблемой, свойственной XXI веку: его «цифровые умы» — интерактивные персонализированные чат-боты, созданные по образцу конечного пользователя и призванные передавать его голос на основе его записей, аудиозаписей и других медиафайлов — тонули в данных.

Каждый Delphi может использовать любое количество книг, социальных сетей или учебных материалов, чтобы отвечать в контексте, делая каждое взаимодействие похожим на прямой разговор. Творцы, тренеры, художники и эксперты уже использовали их для обмена идеями и вовлечения аудитории.

Но каждая новая загрузка подкастов, PDF-файлов или постов в социальных сетях на Delphi усложняла базовые системы компании. Поддерживать реакцию этих ИИ-альтер-эго в режиме реального времени, не нарушая работу системы, становилось всё сложнее с каждой неделей.

К счастью, Dephi нашла решение своих проблем масштабирования с помощью управляемой векторной базы данных Pinecone.

Ранние эксперименты Delphi опирались на хранилища векторных данных с открытым исходным кодом. Эти системы быстро перестали соответствовать потребностям компании. Индексы разрастались, замедляя поиск и усложняя масштабирование.

Резкие скачки задержки во время прямых трансляций или внезапной загрузки контента могли привести к ухудшению качества общения.

Хуже того, небольшая, но растущая команда инженеров Delphi была вынуждена тратить недели на настройку индексов и управление логикой шардинга вместо того, чтобы разрабатывать функции продукта.

Полностью управляемая векторная база данных Pinecone с соответствием SOC 2, шифрованием и встроенной изоляцией пространства имен оказалась лучшим вариантом.

У каждого цифрового разума теперь есть собственное пространство имён в Pinecone. Это обеспечивает конфиденциальность и соответствие требованиям, а также сужает область поиска при извлечении знаний из хранилища загруженных пользователями данных, повышая производительность.

Данные создателя можно удалить одним вызовом API . Время извлечения данных стабильно составляет менее 100 миллисекунд на 95-м процентиле, что составляет менее 30 процентов от строгого целевого значения сквозной задержки Delphi в одну секунду.

«С Pinecone нам не нужно думать о том, будет ли это работать», — сказал Сэмюэл Спелсберг, соучредитель и технический директор Delphi , в недавнем интервью. «Это позволяет нашей команде разработчиков сосредоточиться на производительности приложения и функциях продукта, а не на инфраструктуре семантического сходства».

В основе системы Delphi лежит конвейер генерации дополненной поисковой информации (RAG). Контент принимается, очищается и группируется, а затем внедряется с использованием моделей OpenAI, Anthropic или собственного стека Delphi.

Эти вложения хранятся в Pinecone в соответствующем пространстве имён. Во время запроса Pinecone за миллисекунды извлекает наиболее релевантные векторы, которые затем передаются в большую языковую модель для генерации ответов. Эта популярная технология в сфере искусственного интеллекта известна как дополненная генерация поиска (RAG).

Такая конструкция позволяет Delphi поддерживать диалоги в реальном времени, не перегружая системный бюджет.

Как объяснил Джеффри Чжу, вице-президент по продуктам компании Pinecone , ключевым нововведением стал переход от традиционных векторных баз данных на основе узлов к подходу, ориентированному на хранение объектов.

Вместо того чтобы хранить все данные в памяти, Pinecone динамически загружает векторы по мере необходимости и выгружает неиспользуемые.

«Это действительно соответствует моделям использования Delphi», — сказал Чжу. «Цифровые интеллекты активируются импульсами, а не постоянно. Разделяя хранилище и вычислительные ресурсы, мы снижаем затраты, обеспечивая при этом горизонтальную масштабируемость».

Pinecone также автоматически настраивает алгоритмы в зависимости от размера пространства имён. Небольшие Delphis могут хранить всего несколько тысяч векторов; другие содержат миллионы, полученные от создателей с многолетними архивами.

Pinecone адаптивно применяет оптимальный подход к индексации в каждом случае. Как сказал Чжу: «Мы не хотим, чтобы нашим клиентам приходилось выбирать между алгоритмами или ломать голову над тем, как их вспомнить. Мы сами этим занимаемся».

Не все цифровые умы одинаковы. Некоторые создатели загружают относительно небольшие наборы данных — ленты социальных сетей, эссе или учебные материалы — объёмом в десятки тысяч слов.

Другие идут гораздо глубже. Спельсберг рассказал об одном эксперте, который предоставил сотни гигабайт отсканированных PDF-файлов, охватывающих десятилетия маркетинговых знаний.

Несмотря на это различие, бессерверная архитектура Pinecone позволила Delphi масштабироваться более чем на 100 миллионов хранимых векторов в более чем 12 000 пространствах имен, не сталкиваясь с ограничениями масштабирования.

Скорость поиска данных остаётся стабильной даже во время пиковых нагрузок, вызванных событиями в режиме реального времени или падением контента. Delphi теперь обрабатывает около 20 запросов в секунду по всему миру , поддерживая одновременные разговоры в разных часовых поясах без каких-либо инцидентов масштабирования.

Цель Delphi — разместить миллионы цифровых разумов, но для этого потребуется поддержка не менее пяти миллионов пространств имен в одном индексе.

Для Спельсберга такой масштаб — не гипотеза, а часть плана развития продукта. «Мы уже прошли путь от идеи на начальной стадии до системы, управляющей 100 миллионами векторов», — сказал он. «Надёжность и производительность, которые мы увидели, дают нам уверенность в возможности агрессивного масштабирования».

Чжу согласился, отметив, что архитектура Pinecone специально разработана для обработки пиковых многопользовательских нагрузок, таких как в Delphi. «Подобные агентские приложения нельзя создавать на инфраструктуре, которая не может масштабироваться», — сказал он.

По мере расширения контекстных окон в крупных языковых моделях некоторые представители отрасли искусственного интеллекта предполагают, что RAG может устареть.

И Спельсберг, и Чжу отвергают эту идею. «Даже если у нас будут контекстные окна в миллиард токенов, RAG всё равно будет важен», — сказал Спельсберг. «Всегда нужно выводить на экран самую релевантную информацию. Иначе вы потратите деньги впустую, увеличите задержку и отвлечете модель».

Чжу сформулировал это с точки зрения контекстной инженерии — термина, который Pinecone недавно использовал в своих технических записях в блоге.

«Степень магистра права — мощный инструмент рассуждения, но ему нужны ограничения», — пояснил он. «Сваливание всего, что есть, неэффективно и может привести к худшим результатам. Организация и сужение контекста не только дешевле, но и повышает точность».

Как отмечено в собственных работах Пайнкона по контекстной инженерии , поиск помогает управлять конечным объемом внимания языковых моделей, подбирая правильное сочетание пользовательских запросов, предыдущих сообщений, документов и воспоминаний для поддержания последовательности взаимодействий с течением времени.

Без этого окна заполняются, и модели теряют важную информацию. Благодаря этому приложения могут сохранять актуальность и надёжность в течение длительных сеансов связи.

Когда VentureBeat впервые опубликовал профиль компании Delphi в 2023 году , компания только что привлекла 2,7 млн ​​долларов начального финансирования и привлекла внимание общественности своей способностью создавать убедительные «клоны» исторических личностей и знаменитостей.

Генеральный директор Дара Ладжевардян объяснил возникновение идеи личной попыткой восстановить связь со своим покойным дедушкой с помощью ИИ.

Сегодня концепция стала более зрелой. Delphi рассматривает цифровые умы не как бесполезные клоны или чат-боты, а как инструменты для масштабирования знаний, обучения и опыта.

Компания видит применение своей продукции в профессиональном развитии, коучинге и корпоративном обучении — областях, где точность, конфиденциальность и оперативность имеют первостепенное значение.

В этом смысле сотрудничество с Pinecone — это нечто большее, чем просто техническая совместимость. Это часть усилий Delphi по переходу от новаторства к инфраструктуре.

Теперь Digital Minds позиционируется как надежное, безопасное и готовое к использованию на предприятии решение, поскольку оно работает на основе системы поиска информации, разработанной с расчетом на скорость и доверие.

В перспективе Delphi планирует расширить свой набор функций. Одним из предстоящих дополнений станет «режим интервью», в котором цифровой разум сможет задавать вопросы своему создателю/источнику, чтобы восполнить пробелы в знаниях.

Это снижает порог входа для тех, у кого нет обширных архивов контента. Тем временем Pinecone продолжает совершенствовать свою платформу, добавляя такие возможности, как адаптивное индексирование и фильтрация с эффективным использованием памяти, для поддержки более сложных процессов поиска.

Для обеих компаний траектория направлена ​​в сторону масштабирования. Delphi прогнозирует появление миллионов цифровых интеллектов, работающих в разных областях и аудиториях. Pinecone рассматривает свою базу данных как уровень поиска для следующей волны агентных приложений, где контекстная инженерия и поиск по-прежнему играют ключевую роль.

«Надёжность дала нам уверенность в масштабировании», — сказал Спельсберг. Чжу разделяет его мнение: «Речь идёт не только об управлении векторами. Речь идёт о поддержке совершенно новых классов приложений, которым требуется как скорость, так и надёжность при масштабировании».

Если Delphi продолжит расти, миллионы людей будут ежедневно взаимодействовать с Digital Minds — живыми хранилищами знаний и личностей, тихо работающими под капотом Pinecone.