Как тестируют в Google

Уиттакер Джеймс

— Высокоуровневые сценарии. Сотрудничество с командой WebDriver для расширения основного API WebDriver сначала в «чистый» JavaScript, а потом в высокоуровневые скрипты записи и воспроизведения с параметрами (например, «Google Search: <критерий>»). Так мы ускорим внутреннюю и внешнюю разработку тестов, которые, работая с WebDriver, все еще требуют большой работы по поиску элементов и сложны в поддержке из-за быстрого изменения пользовательского интерфейса.

Оборудование

Chrome OS

должен соответствовать требованиям многих производителей оборудования. Нужно тестировать на основных платформах производителей железа, чтобы обеспечить интеграцию между физическим оборудованием и Chrome OS. Мы создаем тесты, которые проверяют:

— управление питанием: циклы питания от сети и батареи, сбои, управление питанием аппаратных компонентов и т.д.;

— сбои оборудования: что Chrome OS сможет обнаружить и как произведет восстановление?

График

4-й квартал 2009 года:

— Определить ручные приемочные тесты, выполнять их для непрерывных сборок.

— Определить основные тесты проверки качества и выполнять их для каждого крупного релиза.

— Запустить аппаратную лабораторию.

— Провести анализ рисков.

— Автоматизировать выполнение сквозных сценариев для непрерывных сборок на нетбуках в лаборатории.

— Настроить поддержку Hive для визуализации данных на виртуальных и физических машинах.

— Портировать WebDriver и Selenium на Chrome OS.

— Автоматизировать некоторые тесты для популярных веб-приложений.

— Выбрать тестовую оснастку для разработчиков и тестировщиков.

— Запустить интеграцию Google Feedback в Chrome OS.

— Сформировать основную команду тестирования: люди и процессы.

— Автоматизировать тесты для аудио и видео.

— Полностью спланировать тестирование с учетом рисков.

— Спланировать ручное тестирование пользовательского интерфейса.

1-й квартал 2010 года:

— Настроить панели мониторинга данных о качестве.

— Автоматизировать тесты автообновления.

— Настроить поддержку автоматизированного тестирования производительности в лаборатории.

— Настроить лаборатории в Хайдарабаде, Киркленде и Маунтин-Вью, к этому времени в них должно уже проводиться тестирование.

— Chromebot для Linux и Chrome OS.

— Обеспечить поддержку тестируемости для основных функций и пользовательского интерфейса Chrome OS.

— Создать набор функциональных регрессионных автоматизированных тестов для Chrome OS.

— Включить Chrome OS в регрессионные тесты веб-приложений для ферм Selenium.

— Создать прототип поддержки записи и воспроизведения для браузера и тестирования

пользовательского интерфейса.

— Автоматизировать тест-кейсы ChromeSync E2E.

— Настроить тестирование стабильности и внедрения сбоев.

— Настроить тестирование сетевых компонентов.

— Проводить регулярное исследовательское ручное тестирование и туры (чтобы задобрить Джеймса).

2-й квартал 2010 года:

— Риски уже должны быть снижены из-за тестирования и автоматизации.

3-й квартал 2010 года:

— Риски должны быть снижены еще больше из-за тестирования и автоматизации.

4-й квартал 2010 года:

— Все риски минимизированы, работа автоматизирована, новых проблем нет, пользовательский интерфейс и функциональность остаются неизменными. Команда тестирования завершает работу.

Ключевые моменты тестирования

— Ведущий инженер по тестированию для платформы Chrome OS.

— Ведущий инженер по тестированию для браузера Chrome.

— Ведущий инженер автоматизации браузера.

— Панель мониторинга статусов тестирования и метрик.

— Определение и выполнение ручных приемочных тестов.

— Определение и выполнение ручных регрессионных тестов командами внешних тестировщиков.

— Совместимость приложений, базовый пользовательский интерфейс и функциональность браузера (ручные тесты).

— Аудио и видео.

— Стабильность и внедрение сбоев.

— Тестирование доступности для пользователей с ограниченными возможностями.

— Аппаратные лаборатории: Киркленд, Хайдарабад и Маунтин-Вью.

— Автоматизация ферм.

— Приемка оборудования.

— Общее руководство и финансирование.

Необходимые документы и ресурсы

— Анализ рисков.

— Аппаратные лаборатории.

— Автоматизация ферм E2E.

— Инфраструктура управления виртуальными и физическими машинами.

— Инструменты для отображения служебной информации.

— Ручные приемочные тесты.

— Информационная панель с результатами тестирования.

— Тесты проверки железа для производителей.

— Сводная панель с информацией об использовании и работоспособности оборудования.

— План ручного функционального тестирования Chrome OS.

Приложение Б. Тестовые туры для Chrome

Туры тестов:

— Тур покупателя

— Тур студента

— Тур международных звонков

— Тур ориентиров

— Тур «не спим всю ночь»

— Тур предпринимателя

— Тур неблагополучных районов

— Тур персонализации