Создать тест нейросетью: 5 шагов, 3 запроса и сверка ключа

Почему «составь тест для сотрудников кофейни» даёт тест по чужой кофейне

Первый запрос я отправил без регламента, одной строкой: «Составь тест для сотрудников кофейни по регламенту». Ни один из трёх сервисов не спросил, какой регламент. Алиса выдала 15 вопросов с тремя вариантами про срок годности взбитых сливок, температуру в холодильнике от +2 до +6 °C, эспрессо «дольше 30 секунд» и мытьё поверхностей каждые два часа. DeepSeek тоже собрал 15 вопросов: вымыть руки, надеть фартук, не включать музыку. Это тест по усреднённой кофейне из интернета. Правил про чек, перевод на личную карту и папку «Состав» в нём нет, потому что сервис про них не знает.

Такой тест можно раздать, и сотрудники даже наберут баллы. Проверит он знание чужих правил. Поэтому первый шаг всегда один: текст-источник в чат, и только потом условия.

Пять шагов: от регламента до теста, который можно раздавать

1. Шаг 1. Собрать текст-источникРегламент, инструкция, параграф учебника или конспект урока: 10-15 пунктов, желательно с числами. У меня это выдержка из регламента бариста на 12 пунктов: время открытия, температура молока, сроки хранения, лимит на переделку напитка, скидки, чаевые, инкассация. Персональные данные людей и договоры в текст не включайте.
2. Шаг 2. Отдать анкету с условиямиТекст плюс счётные условия в одном сообщении: ровно 8 вопросов, ровно 4 варианта, один верный, запрет на «все перечисленное», только факты из текста, ключ отдельным блоком. Первый запрос ниже. Без условий сервис сам решит, сколько вопросов и про что они.
3. Шаг 3. Проверить, чего в тесте нетОткройте регламент рядом с тестом и отметьте пункты, по которым вопросов не оказалось. В моём прогоне все три сервиса собрали 8 вопросов на числа и ни одного на правила без чисел. Недостающие вопросы доберите третьим запросом или напишите сами.
4. Шаг 4. Сверить ключ с текстомЕсли тест писал сервис, ключ совпал с текстом у всех троих. Если тест достался вам от предыдущего администратора или из старой папки, второй запрос заставит сервис сверить каждый ответ с регламентом. Его список прочитайте сами: один сервис из трёх пропустил ошибку на времени инкассации.
5. Шаг 5. Прогнать тест как ученикОтдайте готовые вопросы той же нейросети без текста и посмотрите, сколько она угадает. Что угадывается без регламента, то проверяет общую эрудицию, а не знание ваших правил. На моих восьми вопросах ГигаЧат угадал 2, DeepSeek 5.

Запрос 1: тест из вашего текста со счётными условиями

В прогоне условие про числа стояло как «не меньше 3 вопросов», и все три сервиса сделали на числа все 8. Поэтому в запросе ниже вилка закрыта с двух сторон, а остальным вопросам прямо сказано, про что они. Подставьте свой текст вместо скобок.

В ответ придут восемь блоков по пять строк и ключ. Проверьте три вещи: что число вопросов и вариантов совпало с условием, что в ключе ровно восемь строк, и что каждый верный вариант есть в вашем тексте слово в слово. У меня на этом шаге расхождений не было ни у одного сервиса.

Что показал прогон на трёх бесплатных сервисах

ГигаЧат и Алиса работали гостём, без входа, DeepSeek под бесплатным аккаунтом. Один регламент, одни условия, семь заданий. Ответы на анкету заняли 6, 25 и 18 секунд.

Главная колонка здесь вторая. Условие было «не меньше трёх вопросов на числа», и все трое сделали числовыми все восемь: время готовности кассы, секунды на приветствие, градусы, часы хранения, рубли, проценты. Неверные варианты при этом получились правдоподобными, как и просил: у ГигаЧата к 60-65 °C стоят 50-55, 68-70 и 70-75, у DeepSeek к 48 часам стоят 24, 36 и 72. Придраться не к чему, кроме того, чего в тесте нет.

Просил три вопроса на числа, получил восемь из восьми

В регламенте 12 пунктов, из них 5 без единого числа: повторить заказ вслух перед оплатой, провести оплату через кассу с чеком, не принимать перевод на личную карту, спросить про аллергены при заказе десерта, чаевые только через QR-код. Это как раз те правила, за которые кофейня получает штраф или теряет гостя. Ни один из трёх сервисов не сделал по ним ни одного вопроса. Нижняя граница «не меньше 3» прочиталась как «сколько угодно», а числа для нейросети удобнее: к ним легко придумать три близких неверных варианта.

Такой тест проверяет память на цифры. Сотрудник, сдавший его на восемь из восьми, может по-прежнему брать чаевые переводом, потому что про это его не спрашивали. Вилка «от 3 до 4» в первом запросе закрывает дыру наполовину. Вторую половину закрывает третий запрос, где чисел в вопросах нет вовсе.

Запрос 2: сверка ключа с текстом

Тесты в компаниях живут годами: регламент поменяли, инкассацию перенесли с 22:00 на 21:30, а в ключе осталось старое время. Я взял собственный тест на 8 вопросов и испортил в ключе три ответа: температуру молока, скидку друзьям сотрудников и время инкассации. Задание сервису: сверить каждый ответ с текстом и выписать только ошибки.

Алиса нашла все три ошибки и написала ровно три строки, каждая со ссылкой на пункт регламента. ГигаЧат тоже нашёл все три, но перечислил все восемь вопросов, в том числе пять правильных со словами «в ключе В, верно В»: условие «только ошибки» он прочитал как «проверь всё». DeepSeek нашёл две: молоко и скидку, а инкассацию 22:00 вместо 21:30 пропустил и написал, что остальное верно. Поэтому список от сервиса читайте как черновик проверки: то, что он отметил, почти наверняка ошибка, а то, что не отметил, ещё не значит, что верно.

Отдельно я спросил про факт, которого в тексте нет: «составь вопрос про размер премии за перевыполнение плана». DeepSeek написал, что в регламенте такого факта нет, и вопрос делать не стал. ГигаЧат вопрос сделал: варианты «5 % от личных продаж», «10 % от личных продаж», «фиксированная сумма 1000 рублей» и «факт отсутствует в регламенте», верный ответ последний. Формально честно, но новый сотрудник прочитает три выдуманные суммы премии и запомнит одну из них.

Запрос 3: вопросы-ситуации без чисел

Чтобы добрать правила, которые первый запрос пропустил, третьим сообщением просите вопросы-ситуации: гость, касса, очередь, и что по регламенту делать. Чисел в них быть не должно, иначе сервис снова съедет на градусы и проценты.

Все три сервиса выдали по 4 ситуации с четырьмя вариантами и ключом, и правила без чисел наконец попали в тест: у DeepSeek это приветствие занятого бариста, повтор заказа вслух, переделка напитка и гость, который просит перевести деньги на личную карту; у Алисы те же приветствие, переделка и личная карта плюс гость с аллергией на орехи и папка «Состав». Условие «без чисел» выдержал только DeepSeek: в его ситуации про недовольного гостя стоит «сумма чека небольшая». Алиса вписала «в течение 10 секунд» и «меньше 500 рублей» в два вопроса из четырёх, а ГигаЧат написал «в течение десяти секунд» и «выше семидесяти градусов» словами. Запрет на цифры он выполнил буквально, число осталось. Для теста это не беда, но показывает, как сервис обходит условие, не нарушая его формально.

Тот же тест решают той же нейросетью: сколько угадает без текста

Сотрудник или ученик, получив тест, откроет тот же чат и спросит ответы. Я проверил, что он получит. Восемь моих вопросов без регламента ГигаЧат решил на 2 из 8: температуру молока он выбрал 70-75 °C, скидку друзьям 30 %, чаевые «наличными в банку». DeepSeek сходил в веб-поиск, нашёл 13 страниц и набрал 5 из 8: промахнулся на сроке хранения молока (выбрал 72 часа), скидке друзьям и секундах на приветствие. С регламентом в том же запросе оба ответили на 8 из 8.

Отсюда два практических вывода. Вопросы на ваши собственные числа и правила списать нейросетью почти нельзя: без текста она угадывает от двух до пяти из восьми. Вопросы вроде «что сделать в первую очередь при открытии смены» угадываются без всякого регламента, и в тесте для сотрудников они лишние. И второе: текст регламента во время теста должен быть закрыт, иначе любой сервис даёт восемь из восьми за полминуты.

Памятка перед тем, как раздавать тест

• Текст-источник отправлен в чат целиком: без него сервис пишет тест по чужой компании
• В условиях стоит число вопросов, число вариантов и запрет на «все перечисленное»
• Вопросов на числа от 3 до 4, остальные - на правила и ситуации
• Каждый пункт регламента без чисел отмечен: по нему есть вопрос или он добран третьим запросом
• Каждый верный вариант найден в тексте слово в слово
• Старый ключ сверен вторым запросом и прочитан глазами: пропуски у сервиса бывают
• Вопросы, которые угадываются без регламента, убраны
• Во время теста регламент закрыт, телефон отложен

Тест проверяет регламент, а сам регламент собирается тем же способом - в разборе как написать регламент нейросетью. Если правил много и они меняются, их удобнее держать в базе знаний компании, по которой отвечает ИИ-ассистент. Какие ещё дела можно отдать нейросети без доплат, собрано в бесплатном гайде «11 дел, которые можно отдать нейросети». А как ассистент отвечает по базе знаний на живом сайте, видно в демо ИИ-бота для сайта.

Какая нейросеть лучше составляет тесты?

На одном регламенте из 12 пунктов ГигаЧат, Алиса и DeepSeek выдали по 8 вопросов с четырьмя вариантами, и все ответы в ключе совпали с текстом. Разница проявилась на проверке чужого ключа: Алиса и ГигаЧат нашли все три заложенные ошибки, DeepSeek две из трёх.

Можно ли составить тест нейросетью бесплатно и без регистрации?

Да. ГигаЧат и Алиса в этом разборе работали в гостевом режиме, без входа в аккаунт. DeepSeek требует регистрацию по почте, но тоже бесплатен.

Сколько вопросов просить за один запрос?

Столько, сколько фактов в тексте. На регламент из 12 пунктов хватает 8 вопросов: по одному на каждое число и три-четыре на правила без чисел. Больше 10 вопросов на короткий текст дают повторы одного и того же факта в разных формулировках.

Подойдёт ли такой способ для школьного урока или онлайн-курса?

Да, запросы те же: вместо регламента вставляется параграф учебника или конспект урока. Условия про число вопросов, один верный вариант и запрет фактов не из текста работают одинаково.

Можно ли вставлять в чат регламент компании?

Правила работы, сроки и суммы вставлять можно. Персональные данные сотрудников, зарплаты по фамилиям и договоры с контрагентами в чат не отдавайте: это 152-ФЗ и коммерческая тайна.