На днях услышал байку. Про тестировщиков. Про русский менталитет и стремление к идеальному, индийскую смекалку и понимание клиента.
Ни надежность, ни функциональность программы не могут быть абсолютными, и ее качество в конечном счете означает разумный баланс между этими двумя характеристиками.
Поскольку я меняю место работы, начальство попросило подготовить документ "как подготовить тестера". Компания, в которой я сейчас работаю, до меня тестеров как таковых не имела. Я задумался... и сперва составил анкету допросник SQA. Которую и выкладываю. К некоторым вопросам я прилагаю комментарии. Анкета опросник для собеседования на позицию QA
Перед беседой, человек проводящий собеседование, сам должен иметь опыт работы в QA и прочитать весь список литературы, указанный в конце анкеты.
| Вопросы о прошлой компании\месте работы и текущих ожиданиях: Основная задача, для чего задаются данные вопросы — понять кем ощущает себя человек на текущем месте работы, чем он недоволен, как он вообще относиться к своей работе. Также предпринимается попытка понять, что человек ожидает от нас | |
| Расскажите о вашем текущем месте работы: компания, должность, обязанности. | По тому как человек рассказывает о компании можно судить насколько он интересуется работой. Вовлечен ли он в общий процесс своей текущей работы либо просиживает штаны. |
| Какой у вас самый любимый проект и почему полюбили? | Если у человека нет такого проекта, то такой человек скорее всего нам не нужен. Человек может любить проект из-за работы с людьми, из-за используемых технологий и пр. Если у него все проекты на одно лицо — то либо ему не повезло в жизни, либо он ничего не делал, либо у него пока нет еще опыта ( в последнем случае все еще можно исправить) |
| Какой у вас самый нелюбимый проект и почему не любили? | Таких проектов может и не быть. Но лично у меня есть. И если они есть — значит человек не боится признаться в своих ошибках. Это многого стоит. |
| Как бы вы могли оценить ваш вклад в работу вашей компании? | Есть легенда. Спросили у трех камнетесов что они делают. Один ответил что он зарабатывает на жизнь. Второй ответил что точит камни. Третий ответил что он строит храм. Нужно искать третьих. |
| Почему решили сменить работу? | Это пустой вопрос, но в очередной раз показывает кто перед нами: Камнетес, Зарабатывающий либоСстроящий Храм. |
| Почему выбрали нашу компанию? | Всегда полезно узнать откуда растут ноги. Здоровому пиару для компании всегда есть место. |
| Что вы планируете получить от компании кроме материального вознаграждения? | Пустой вопрос, но может показать многое. |
| Что вы можете предложить компании - чем бы вы могли ей помочь или навредить. Чем быть полезны и тому подобное? | Пустой вопрос, но может показать многое. |
| Вопросы по технологиям Главная задача данных вопросов узнать насколько в резюме или в словах слукавил интервьюируемый. Вполне возможно, что человек с некоторыми технологиями работал давно. В этом случае дайте ему возможность оценить его знания по следующей схеме: 5- знаю долго и пользуюсь технологией постоянно или знаю хорошо и достаточно глубоко в определенных местах (все знать невозможно!). 4 — знаю хорошо, пользуюсь технологией не часто, знаю как работает, могу легко освоить другие функции и возможности технологии после того как прочитаю документацию. 3 — либо работал достаточно давно, либо знаком поверхностно, документация требуется постоянно. 2 — знаю что такая технология есть, несколько раз сталкивался, знания поверхностны. 1 — слышал что такая технология есть, знаю где достать документацию, могу изучить в течение 1 месяца. 0 — никогда не слышал и не сталкивался. Вполне очевидно что SQC должен уметь профессионально работать с компьютером - не как неопытный пользователь, а как достойнеший IT спец (умеет переустанавливать Win\Lin - значит мозги уже есть). | |
| Bug Tracking System | Нужно узнать - знает ли собеседуемый что это такое, с какими системами работал, знает ли особенности управления багами |
| Знакомы ли вы с другими продуктами по управлению процессами QA. | Очень полезно узнать с чем еще работал собеседник и сможет ли он их назвать: - система управления требованиями, - система управления тестами (типа TestLnik) и т.п. |
| Знание Windows - Что такое файловая система, какие файловые системы для MS Windows вы знаете? - Какие версии ОС MS Windows вы знаете (желательно что бы человек слышаел не только Vista\Xp но и понимал что есть Home\Basic Professional и пр.)? - Что такое реестр Windows? - Какие программные средства работы в среде Windows вы можете еще назвать (те которыми пользуетесь)? - Каким почтовым клиентом вы пользуетесь? Почему? - Что используете для time Management и пр. и пр. и пр. | Вполне очевидно что QA данные вопросы не нужны, но они показывают общий уровень специалиста. Возможно создать такой же список вопросов по Linux |
| Прочие технологии | Определить дополительные технологии и программные средства с которыми должен уметь работать QA сложно. Если собеседуется специалист на автоматизированное тестирование, то очевидно должны подбираться языки программирования, DBMS etc. |
| Вопросы о саморазвитии Данный список вопросов должен определить насколько человек склонен к самообучению и саморазвитию. | |
| Какие книги вы прочитали в последние месяц, год? | IT, QA и близкие книги. Впрочем человек должен читать не только профессиональные книги, но это только мое мнение. |
| Какие сайты/блоги по тестированию знаете? | Если человек может назвать www.software-testing.ru, http://www.rbcs-us.com это очень хорошо. |
| Ведет ли свой профессиональный блог. | Если человеку есть что сказать и он говорит — это хорошо. Я тому пример ;) |
| Проходил ли обучение или курсы по тестированию | Если не проходил - то и фиг с ним. Я вот тоже только один вебсеминар прошел, остальное в книгах, блогах и материалах конференций искал. |
| Вопросы по предметной области Данный список вопросов достаточно важен. Он показывает насколько человек продвинулся в понимании того, что такое разработка ПО. | |
| Что такое жизненый цикл ПО и цикл разработки ПО. | Комментарии излишни. |
| Какие модели разработки ПО знаете, в чем они отличаются | Водопад, циклический водопад, Agile: scrum, xp. |
| Что такое требование к ПО и какие у требования есть аттрибуты | |
| Какие документы при разработке ПО используются | ТЗ\FDD, Sodftware Specifications, Test Plan (test case) |
| Какие стандарты по разработке ПО вы знаете | Знает что есть 34 и 19 — не плохо, знает IEEE 829 – значительно лучше, знает в добавок ISO 12207 – человек в теме! |
| Вопросы по QA Данный список вопросов достаточно важен. Он показывает насколько человек продвинулся в понимании того что такое QA. | |
| Какие документы по организации процесса тестирования вы знаете. | Ответы в вопросах ниже |
| Что такое Test Case и его структура? | |
| Что такое Test Plan и его структура? | |
| Что такое Bug Report и его структура? | |
| Какие виды тестирования вы знаете? | Ответы в вопросе ниже |
| Что такое и объясните принципы | Выбрать несколько вопросов (не более 5) для проверки знаний собеседуемого |
| Чем отличается Severity от Priority | Классика жанра ) |
| Тестирование белого ящика, черного ящика, серого ящика | |
| Что такое бетта тестирование | |
| Что такое Regresion Testing | |
| Что такое Acceptance Testing | |
| Что такое Smoke tests | |
| Что такое модульное, интеграционное и системное тестирование. | |
| Что такое Requirement traceability matrix | |
| Что такое Bug life cycle | |
| Что такое процесс управления конфигурацией в разработке ПО и в тестировании | |
| Что такое процесс управления изменениями в разработке ПО и в тестировании | |
| Что такое баг. Приведите пример. Какие типы багов вы знаете | Если человек может выделить баг документации, архитектурный баг, функциональный баг, баг юзабилити — это уже плюс. |
| Какой по вашему идеальный программный продукт для автоматизации работы QA | Данный вопрос показывает насколько человек понимает что такое QA и чем он отличается от QC. Также можно определить насколько человек понимает принципы автоматизации работы QA. |
| Какие процессы тестирования могли бы быть автоматизированы. | Примерно такой же вопрос что и предыдущий. Либо задать данный вопрос, либо предыдущий. |
| Что такое QA и что такое QC | Данный вопрос для общего развития. Хорошо если собеседуемый понимает что QC включен в QA, и что QA это не тестирование, а обеспечение качества на всем цикле разработки ПО. |
| Для чего проводится тестирование ПО | Вопрос для понимания общего развития собеседуемого. |
| Нужно ли тестировать документацию? | Ответ — да. Это называется «Тестирование требований к ПО”. Собеседуемый должен понимать, что требования в ТЗ могут быть: неправильно сформулированы, противоречащими и просто нереализуемыми. |
| Какие цели тестирования вы бы выделили? | Лично я бы выделил три цели: - поиск багов, - оценка качества продукта (ни в коем случае не обеспечение качества, от того сколько багов найдено качество ПО не улучшается), - оценка рисков (поскольку выпуск продукта с малым качеством не есть гуд, всегда найдуться риски — например, что кто то умрет или на вас подадут в суд) |
| Практические задачи Практические задачи позволяют отделить теоретиков от практиков. Человек может прочитать туеву кучу книг по тестированию но так ни разу не написать тест кейс или тест план. | |
| Посадить за комп и дать листок, чтобы напечатал текст. | По тому как человек работает с клавиатурой можно понять - как хорошо он работает с компьютером вообще. |
| Провести собеседование на английском на одну из тем по QA | Очень легко показывает уровень английского у человека. |
| По заданной интервьиром теме: | Примеры систем для данного тестирования |
| Сколько комнат в нашем офисе | Данная задача на внимательность и подразумевает, что человека проведут по всему этажу. |
| Задачи на сообразительность Данные задачи показывают возможность человека решать головоломки. Не факт что решив головоломку он является или будет являться хорошим специалистом. Это просто один из этапов анализа знаний собеседуемого. В процессе человека можно спрашивать - подталкивать человека к решению. Собеседование это все таки небольшой стресс. | |
| Почему крышка от люка круглая? | На самом деле крышка не круглая — в ней есть выступы для того чтобы ее установить. Ну конечно она имеет круглую форму и очевидно для того чтобы не упасть (любая иная фигура с углами или формы может провалиться в люк). |
| Есть 10 кроликов Есть 1000 бутылок с вином Одна из бутылок содержит яд. Как определить в которой? | Задача на двоичное мышление. Кролик пьет (1) или не пьет (0), соответсвенно мы можем закодировать 2 в 10 позиций 0000000000 — первая бутылка 0000000001 — вторая бутылка и т.п. |
| Есть дом. В доме четыре стены. У каждой стены по окну. Все окна выходят на север. Сколько таких мест на земле? | Бесконечное множество. Если поставить дом на южный полюс, а точек в плоскости бесконечно много, то все окна дома будут выходить на север. |
| И тому подобное.... | Для получения дополнительных примеров достаточно прочитать книгу Как сдвинуть гору Фудзи (См. Список литературы) |
Я уже упоминал про желание складировать полезные мысли о проектировании автоматизированных тестов - паттернах и стратегиях тестирования. Данная запись одна из, надеюсь, многих и связана с использованием времени - как одного из вспомогательных факторов при создании объектов в процессе тестирования.
И один из примеров стека автотестов:
...Я частенько бывал в симпатичном маленьком ресторанчике, который назывался “Папино место”. Однажды, когда я там обедал, недалеко от меня сел маляр в рабочем комбинезоне. Он спустился со второго этажа, где красил комнату. Каким то образом между нами завязалась беседа, и он начал говорить о том, как много нужно знать для того, чтобы заниматься малярным делом. “Например, – сказал он, – если бы вам пришлось красить стены в этом ресторане, какой цвет Вы бы выбрали?”
Я ответил, что не знаю, на что он сказал: “Стены нужно покрасить в темный цвет до такой то высоты, потому что, видите ли, люди, сидящие за столами, трутся локтями о стены, так что белая стена здесь не подойдет. Она слишком быстро становится грязной. Но над темной краской должна быть белая, чтобы создать в ресторане ощущение чистоты”.
Видимо, парень действительно разбирался в том, о чем говорил, так что я сидел, развесив уши, когда он сказал: “Кроме того, нужно разбираться в цветах: знать, как при смешивании красок можно получить различные цвета. Например, какие цвета Вы смешали бы, чтобы получить желтый?”
Я понятия не имел, как можно получить желтый цвет, смешивая краски. Если речь идет о свете, то нужно смешать зеленый и красный, но я знал, что он говорит о красках. Поэтому я сказал:
“Я не знаю, как получить желтый цвет без желтой краски”.
– Ну что же, – сказал он, – если смешать красную и белую краски, то получится желтая.
– Вы уверены, что получится не розовая?
– Конечно, – сказал он, – получится желтая.
Я поверил, что он получит желтый цвет, потому что он был профессиональным маляром, а я всегда восхищался людьми подобных профессий. Но мне все равно было интересно, как он это делает.
Тут меня осенило. “Должно быть, происходит какое то изменение в химическом составе. Может быть. Вы используете какой то особый вид пигментов, которые изменяют химический состав краски?”
– Да нет, – сказал он, – подойдут любые старые пигменты. Сходите в хозяйственный магазин, купите краску – обычную банку красной краски и обычную банку белой краски, – я их смешаю и покажу Вам, как получается желтый цвет.
В этот момент я подумал: “Что то здесь не так. Я достаточно знаю о красках, чтобы знать, что в таком случае желтый цвет получить невозможно, но он, должно быть, знает, что желтый цвет получается, а значит, происходит что то интересное. Я должен это увидеть!”
Поэтому я сказал: “Хорошо, я принесу краску”.
Маляр поднялся наверх, чтобы закончить работу, а ко мне подошел хозяин ресторана и сказал: “В чем смысл вашего спора? Он маляр и всю свою жизнь был маляром, и он утверждает, что желтый получается именно так. Так зачем же с ним спорить?”
Я смутился. Я не знал, что сказать. Наконец, я ответил: “Всю свою жизнь я изучаю свет. И я считаю, что, смешивая красный и белый цвет, желтый получить невозможно – можно получить лишь розовый”.
Итак, я отправился в хозяйственный магазин, купил краску и принес ее обратно в ресторан. Маляр спустился со второго этажа, и хозяин ресторана тоже пришел посмотреть. Я поставил банки с краской на старый стул, и маляр начал смешивать краски. Он взял красную краску, добавил белой – мне по прежнему казалось, что получается розовый цвет, – он смешал еще немного краски. После этого он пробормотал что то вроде: “Я обычно использовал небольшой тюбик желтой краски, чтобы усилить эффект – вот тогда получится желтый цвет”.
– А! – сказал я. – Конечно! Если добавить желтый, то получится желтый, но без него ничего не выйдет.
Маляр ушел обратно красить комнату.
Хозяин ресторана сказал: “У этого парня хватило наглости спорить с человеком, который всю свою жизнь изучает свет!”
...
В конце главы есть предложение которое нужно распечатать крупными черными буквами и повесить на видное место:
... произойти может все, что угодно, а не то, что, как вы уверены, должно произойти....
