Исследователи рассказывают как избежать рисков с открытым исходным кодом языковых моделей

Ученые обнаружили, что большинство проектов LLM с GitHub имеют проблемы с лицензиями, зависимостями, документацией, тестированием и обратной связью, сообщил MarkTechPost 7 июля 2023 года.

Об исследовании

• Название: How Risky is Your Open Source LLM Project? A Systematic Analysis of Risk Factors in Open Source LLMs (Насколько рискованный ваш проект с открытым исходным кодом для LLM? Систематический анализ факторов риска в открытых исходных кодах для LLM);
• Авторы: Сейед Мехди Насехи (Seyed Mehdi Nasehi), Мохаммадреза Эсфандиари (Mohammadreza Esfandiari), Мохаммад Гафари (Mohammad Ghafari), Оскар Нирштрас (Oscar Nierstrasz);
• Цель: оценить риски, связанные с использованием открытых исходных кодов для LLM, и предложить практические рекомендации для улучшения качества и безопасности LLM, чтобы помочь разработчикам и пользователям принимать осознанные решения о том, какие открытые исходные коды использовать, как их адаптировать и как оценивать их результаты;
• Объекты исследования: открытые исходные коды для LLM, которые были выбраны из GitHub по определенным критериям;
• Методы: анализ документации, зависимостей, лицензий, тестов и обратной связи.

Выводы

Исследователи пришли к следующим выводам:

• Открытые исходные коды для LLM имеют различные уровни качества и безопасности, которые зависят от таких элементов, как лицензии, зависимости, документация, тестирование и обратная связь.
• Большинство проектов LLM не имеют четких лицензий, что может привести к юридическим проблемам и нарушению авторских прав.
• Такие проекты используют «внешние зависимости», уязвимые или несовместимые с другими библиотеками.
• Рассмотренные проекты не имеют достаточной документации, которая объясняла бы их цели, функции, архитектуры и результаты, а также они лишены надежных тестов, которые проверяли бы их работоспособность, корректность и эффективность.

Рекомендации

Разработчикам LLM следует:

• выбирать подходящие лицензии для проектов и соблюдать лицензии других проектов, которые они используют;
• управлять зависимостями, проверяя их на наличие уязвимостей, обновляя их регулярно и избегая конфликтов;
• предоставлять качественную документацию, которая описывает их цели, функции, архитектуры и результаты, а также дает инструкции по установке, настройке и использованию;
• проводить тестирование своих проектов, используя различные метрики и наборы данных, чтобы проверить их работоспособность, корректность и эффективность и т. д.