Запустите токенизаторы Hugging Face как нативные модули вывода OpenVINO
Преобразуйте токенизаторы Hugging Face в модели OpenVINO IR и выполняйте токенизацию нативно внутри конвейера вывода, удаляя предварительную обработку только на Python из пути развертывания. Корпорация Intel предоставляет это расширение для встраивания токенизации и детокенизации в OpenVINO с API на Python и C++. Ключевые функции включают преобразование IR, комбинированные конвейеры токенизатора+модели и пользовательские операции regex/нормализации. Инструмент нацелен на разработчиков ИИ и инженеров, которым нужны компактные развертывания LLM на основе C++ на оборудовании Intel для производственных или краевых сценариев.
Преобразует логику токенизатора в модели OpenVINO для использования в родной конвейерной системе
Инструмент преобразует токенизаторы Hugging Face в модели промежуточного представления OpenVINO, позволяя токенизации выполняться внутри среды выполнения OpenVINO, а не как внешний шаг на Python. Преобразование поддерживает общие алгоритмы токенизации, такие как кодирование пар байтов, WordPiece и SentencePiece. Затем вы можете объединить IR токенизатора с основной моделью, чтобы одна последовательность вывода обрабатывала текстовый ввод через токенизацию до вывода модели, сокращая внешние шаги предварительной обработки.
Инференс только на CPU для токенизаторов влияет на выбор развертывания
Токенизаторы выполняются на CPU внутри среды выполнения OpenVINO, что влияет на то, где вы размещаете предварительную обработку текста в гетерогенной системе. В то время как основные модели ИИ могут нацеливаться на CPU, GPU или NPU, компонент токенизатора работает на процессоре, поэтому планируйте емкость CPU соответственно для объемных или низколатентных текстовых нагрузок. Расширение оптимизировано для процессоров Intel и предполагает, что среда выполнения OpenVINO доступна на хосте.
Работает без зависимостей от Python, подходит для сборок C++ в производстве
Проект предоставляет как Python, так и C++ API и явно позволяет полностью родные конвейеры инференса на C++, удаляя сторонние библиотеки токенизаторов Python из производства. Для команд, внедряющих LLM в C++ приложения или прошивки для периферийных устройств, это сокращает внешние зависимости среды выполнения. Для сред C++ токенизатор может быть собран из исходного кода или использован как бинарное расширение, соответствующее типичным рабочим процессам сборки для родных приложений.
Безопасность, варианты обработки и интеграция с OpenVINO GenAI
Инструмент поддерживает детерминированные шаги предварительной обработки, такие как очистка и нормализация на основе регулярных выражений внутри IR токенизатора, что сохраняет поток инференса только для чтения для обработки текста. Он интегрируется с OpenVINO GenAI и Optimum Intel для согласования токенизации с развертыванием модели. Проект активно поддерживается Intel и нацелен на сокращение объема развертывания, сохраняя предварительную обработку внутри границ инференса.
Практическое применение для развертывания C++ LLM в производстве с компромиссом по CPU
Этот инструмент подходит разработчикам, которым необходимо удалить зависимости от Python во время выполнения и выполнять токенизацию внутри конвейера вывода, а его активное обслуживание компанией Intel поддерживает обновления архитектуры. Единственный заметный компромисс заключается в том, что вывод токенизатора выполняется на CPU, поэтому командам необходимо выделять процессорные мощности при обработке большого объема запросов или предварительной обработке больших партий. Для производственных сборок C++ или сборок для периферийных устройств, которые придают приоритет минимальным зависимостям во время выполнения, этот инструмент предоставляет явное операционное преимущество с этим ограничением.
