01 / 10

Product Testing

AI Talent Camp Dashboard

Claude Agent SDK Playwright MCP Automated QA

🤖

Claude AI

🎭

Playwright

📊

Analytics

Проблема

Как оценить 17 команд объективно и быстро?

⏱️

Время

Ручное тестирование каждого продукта занимает часы

🎯

Объективность

Разные тестировщики — разные критерии оценки

📝

Документация

Нужны подробные отчёты с доказательствами

🔄

Повторяемость

Тесты должны запускаться регулярно

Решение

Claude Agent + Playwright = Автоматический QA

Dashboard

FastAPI + PostgreSQL

→

Claude Agent SDK

AI-driven testing

→

Playwright MCP

Browser automation

→

Reports

PDF / DOCX

                        # Claude сам управляет браузером через MCP

                        async with agent_client.run(

                            model="claude-sonnet-4-20250514",

                            mcp_servers=["playwright"],

                            prompt="Исследуй продукт и оцени его"

                        ) as result:

                            evaluation = result.content

Два режима тестирования

🔍

Blind Mode

Claude исследует продукт без контекста, как новый пользователь

✓

Первое впечатление

Насколько понятен интерфейс?
✓

Discoverability

Легко ли найти функции?
✓

UX Issues

Проблемы навигации и дизайна

📋

Contextual Mode

Claude читает README и проверяет заявленные функции

✓

MVP Verification

Работают ли документированные фичи?
✓

Feature Parity

Соответствует ли продукт описанию?
✓

Bug Detection

Ошибки в конкретных сценариях

Система оценки

Три измерения качества продукта

🎨 UX / User Experience 40%

Навигация, дизайн, отзывчивость, читаемость, обработка ошибок

⚙️ Functionality 40%

Работа фич, соответствие документации, стабильность, edge cases

⚡ Performance 20%

Время загрузки < 3с, отклик < 500мс, стабильность, ресурсы

overall_score = ux * 0.4 + functionality * 0.4 + performance * 0.2

Как Claude тестирует

Открывает URL продукта

Playwright MCP запускает браузер

Делает скриншот

Анализирует визуальное состояние

Исследует интерфейс

Кликает, вводит текст, навигирует

Фиксирует находки

Баги, проблемы UX, фичи

Выставляет оценки

JSON с scores и reasoning

// Claude's browser actions via MCP
{
  "action": "browser_snapshot",
  "result": "[ref1] button 'Login'"
}

{
  "action": "browser_click",
  "ref": "ref1"
}

{
  "action": "browser_type",
  "ref": "ref2",
  "text": "test@example.com"
}

{
  "action": "browser_take_screenshot",
  "filename": "login_form.jpeg"
}
                        

Что находит Claude

Тип	Severity	Пример
Feature	—	Найдена функция поиска с фильтрами
Bug	High	Кнопка "Отправить" не работает на мобильных
UX Issue	Medium	Нет индикатора загрузки при запросах
Error	High	500 ошибка при отправке формы
UX Issue	Low	Мелкий текст трудно читать

12-15

действий / тест

3-4

скриншота

минуты / команда

Отчёты

PDF и DOCX с полной информацией

📄

PDF Report

Reportlab + кириллица (DejaVuSans)

✓

Общая оценка с визуализацией
✓

Breakdown по измерениям
✓

Список findings с severity
✓

Скриншоты в приложении

📝

DOCX Report

python-docx + таблицы + изображения

✓

Редактируемый формат
✓

Findings grouped by severity
✓

Цветовая кодировка оценок
✓

До 10 скриншотов inline

                        GET /api/team/{team_id}/product-tests/{test_id}/report.pdf

                        GET /api/team/{team_id}/product-tests/{test_id}/report.docx

Интеграция

⏰

Scheduled

Автозапуск каждый день в 03:00 MSK для команд с green deploy status

🔧

CLI

Ручной запуск через python -m app.cli test-product --team team01

🌐

API

POST endpoint для запуска тестов из интерфейса

📱

Опциональное тестирование Telegram-ботов через Telethon

# CLI Usage
docker compose exec api python -m app.cli test-product \
    --team team01 \
    --mode both  # blind | contextual | both

# API Usage
curl -X POST /api/team/team01/product-tests/run \
    -d '{"mode": "both"}'
                    

Результаты

Автоматизация тестирования 17 команд

команд

100%

автоматизация

измерения

формата отчётов

Claude Agent SDK Playwright MCP FastAPI PostgreSQL

AI-powered QA для соревнований