Модуль для ИИ / Anthropic/ ChatGPT / StableDiffusion / DALLE / Llama локально

[A Former User]

Проверил многопоток, такая схема, работает но ставит в некую очередь, и отдает по частям.

Отправил в 1 секунду на 1 api сразу 30 запросов.
3 ответа пришло почти сразу.
И далее каждые 5-6 сек оставшиеся ответы так же пачками по 3 штуки.

Последние не хватило времени, и пришлось по ошибке заново спрашивать. Пока не забанило, если уйдет ключ в бан, буду использовать 3-4 чтоб не нагружать.

[moonsoon]

Добавил ИИ от anthropic.
Схема работы такая же как и с gpt. При работе с историей переписки, в случае если ответы больше 15 токенов, уходит на ошибку. Не разобрался почему, может у вас идеи есть по этому поводу.
Инструкцию по работе обновил в первом посте.
Видео по обновлению с Antropic

[Nikolas]

@moonsoon
Как бороться с мусором в ответе? Ведь ответ может иметь все возможный вид как захочет AI модель , может ответить :

Например так:
Result 4

или так:
four

или так:
4

или так:
2+2=4

конечно можно заранее все возможные варианты мусора записать и чистить ответ от мусора.
Что я и реализовал в одном моем скрипте, но там получилось сотни вариантов мусорных данных которые нужно удалить из ответа чтоб оставить только то что мне нужно.

Но это костыли которые пришлось делать пока более простого варика нету

[moonsoon]

@Nikolas said in Модуль для ИИ / Anthropic/ ChatGPT / StableDiffusion / DALLE:

Как бороться с мусором в ответе?

Не сталкивался с этой проблемой, пробуй формулировать в промте что именно ты хочешь получить, но если у тебя история сообщений используется то только условиями вычленять нужную информацию, избавляться от ненужной информации в скрипте.

[Artur 1]

При использовани hhtp-прокси возникает ошибка CONNECT tunnel failed, response 502. Прокси рабочие, если использовать в обычном разделе "прокси", то всё в порядке, можно заходить на заблоченные сайты и т.д. Или я их неправильно использую как-то?

[moonsoon]

Прокси для запросов используются, проверь корректно ли установлены прокси. Установи их и сделай запрос для определения смены Ip.

[Artur 1]

а как проверить и как запрос сделать

[moonsoon]

Главная
/
HTTP-клиент
/
HTTP-Клиент Прокси

[Artur 1]

Url: https://api.openai.com/v1/chat/completions
Status: 502

Proxy-Connection: close
Content-type: text/html; charset=utf-8

CONNECT tunnel failed, response 502

Вот что выдает. Прокси работает, с другими сайтами всё в порядке. А, я понял. Проблема с api ключом. Я когда брал его на сайте через виртуальный номер, мне сообщили, что он не уникальный, но api key тем не менее я смог сгенерировать. Но видимо это какой-то нерабочий api key

[jostvanburen]

а как ты реализовал этот список истории чата для многопоточного режима или даже для однопоточного покругу?

[moonsoon]

@jostvanburen список который ты указываешь для диалогов локальный для каждого потока. Передаётся вместе с новым сообщением история. 1 запрос = вся история переписки указанная в локальном списке.

[jostvanburen]

@moonsoon я хочу создать подобный чат гпт с другой моделью но когда. У меня сработало так: Я создаю ресурс в начале запуске софта один раз. Потом ресурс в лист записал новые сообщенияв лист и отдаю лист с новыми елементами ресурсу и так по кругу. Тоесть вместо ДБ исп ресурс. Если у тебя более короткий метод скажи пожалуйста

[moonsoon]

Ресурс для всех потоков - список локальный для потока. Что тебе нужно, то и используй.

[morpheus93]

Требуется ли ключ API для Stable Diffusion? Я думал, что SD с открытым исходным кодом и бесплатный?

[moonsoon]

@morpheus93 Сервера они за спасибо не будут покупать и обслуживать, что бы картинки генерировать)
Нет, не бесплатный. У многих есть бесплатные периоды или бесплатное количество генераций. Бесплатное нужно для привлечения аудитории, на постоянно основе бесплатно не выгодно свои мощности предоставлять.

[jostvanburen]

@moonsoon я вот исп лист и в листе сохраняю сообщения в джсон и каждую итерацию передаю в ресурс, но когда я с ресурса пробую получить список сообщений в джсоне мне уже дает Обекты. Как ты реализовал функцию сохранения истории сообщений?

[moonsoon]

@jostvanburen Я выше написал как она реализована.
список который ты указываешь для диалогов локальный для каждого потока. Передаётся вместе с новым сообщением история. 1 запрос = вся история переписки указанная в локальном списке.

[morpheus93]

Поскольку мы используем Stable Diffusion с давних пор на наших собственных машинах с графическим интерфейсом Automatic1111/NMKD, генерируя 1000 тысяч изображений бесплатно, мне стало интересно. Я быстро проверил оригинальный сайт SD stabledifffusion.com, и они заявляют:

«Является ли Stable Diffusion бесплатной?

Да, в настоящее время Stable Diffusion доступен бесплатно, как через веб-интерфейс, так и путем установки на локальное устройство. Пользователи могут пользоваться преимуществами возможностей Stable Diffusion по созданию изображений с помощью искусственного интеллекта без каких-либо затрат, что делает его широкодоступным инструментом для создания изображений с помощью текстовых подсказок».

Так что этот сайт stablediffusionapi.com, похоже, всего лишь теневой фальшивый сайт, который берет деньги из кармана пользователя за услугу, которая на самом деле бесплатна :D

[moonsoon]

@morpheus93 Хороший бизнес)
Что используется в модуле тогда не понятно. На оригинальном сайте не увидел открытого api, видимо поэтому набрёл на альтернативу которая на блюдичке мне выдало альтернативу. Только не говори мне, что нужно переделать его под оригинальное апи)

[Artur 1]

Дайте кто-нибудь api для чат гпт пожалуйста)