среда, 5 августа 2009 г.

Анкета допросник SQA

Поскольку я меняю место работы, начальство попросило подготовить документ "как подготовить тестера". Компания, в которой я сейчас работаю, до меня тестеров как таковых не имела. Я задумался... и сперва составил анкету допросник SQA. Которую и выкладываю. К некоторым вопросам я прилагаю комментарии.

Вопросы либо придуманы мной, либо задавались мне на собеседованиях, либо вычитаны из блогов и книг. Надеюсь кому нибудь данный допросник будет полезен.

Анкета опросник для собеседования на позицию QA

Перед беседой, человек проводящий собеседование, сам должен иметь опыт работы в QA и прочитать весь список литературы, указанный в конце анкеты.

Вопросы о прошлой компании\месте работы и текущих ожиданиях:

Основная задача, для чего задаются данные вопросы — понять кем ощущает себя человек на текущем месте работы, чем он недоволен, как он вообще относиться к своей работе. Также предпринимается попытка понять, что человек ожидает от нас

Расскажите о вашем текущем месте работы: компания, должность, обязанности.

По тому как человек рассказывает о компании можно судить насколько он интересуется работой. Вовлечен ли он в общий процесс своей текущей работы либо просиживает штаны.

Какой у вас самый любимый проект и почему полюбили?

Если у человека нет такого проекта, то такой человек скорее всего нам не нужен. Человек может любить проект из-за работы с людьми, из-за используемых технологий и пр. Если у него все проекты на одно лицо — то либо ему не повезло в жизни, либо он ничего не делал, либо у него пока нет еще опыта ( в последнем случае все еще можно исправить)

Какой у вас самый нелюбимый проект и почему не любили?

Таких проектов может и не быть. Но лично у меня есть. И если они есть — значит человек не боится признаться в своих ошибках. Это многого стоит.

Как бы вы могли оценить ваш вклад в работу вашей компании?

Есть легенда. Спросили у трех камнетесов что они делают. Один ответил что он зарабатывает на жизнь. Второй ответил что точит камни. Третий ответил что он строит храм. Нужно искать третьих.

Почему решили сменить работу?

Это пустой вопрос, но в очередной раз показывает кто перед нами: Камнетес, Зарабатывающий либоСстроящий Храм.

Почему выбрали нашу компанию?

Всегда полезно узнать откуда растут ноги. Здоровому пиару для компании всегда есть место.

Что вы планируете получить от компании кроме материального вознаграждения?

Пустой вопрос, но может показать многое.

Что вы можете предложить компании - чем бы вы могли ей помочь или навредить. Чем быть полезны и тому подобное?

Пустой вопрос, но может показать многое.


Вопросы по технологиям

Главная задача данных вопросов узнать насколько в резюме или в словах слукавил интервьюируемый. Вполне возможно, что человек с некоторыми технологиями работал давно. В этом случае дайте ему возможность оценить его знания по следующей схеме:

5- знаю долго и пользуюсь технологией постоянно или знаю хорошо и достаточно глубоко в определенных местах (все знать невозможно!).

4 — знаю хорошо, пользуюсь технологией не часто, знаю как работает, могу легко освоить другие функции и возможности технологии после того как прочитаю документацию.

3 — либо работал достаточно давно, либо знаком поверхностно, документация требуется постоянно.

2 — знаю что такая технология есть, несколько раз сталкивался, знания поверхностны.

1 — слышал что такая технология есть, знаю где достать документацию, могу изучить в течение 1 месяца.

0 — никогда не слышал и не сталкивался.

Вполне очевидно что SQC должен уметь профессионально работать с компьютером - не как неопытный пользователь, а как достойнеший IT спец (умеет переустанавливать Win\Lin - значит мозги уже есть).

Bug Tracking System

Нужно узнать - знает ли собеседуемый что это такое, с какими системами работал, знает ли особенности управления багами

Знакомы ли вы с другими продуктами по управлению процессами QA.

Очень полезно узнать с чем еще работал собеседник и сможет ли он их назвать:

- система управления требованиями,

- система управления тестами (типа TestLnik) и т.п.

Знание Windows

- Что такое файловая система, какие файловые системы для MS Windows вы знаете?

- Какие версии ОС MS Windows вы знаете (желательно что бы человек слышаел не только Vista\Xp но и понимал что есть Home\Basic Professional и пр.)?

- Что такое реестр Windows?

- Какие программные средства работы в среде Windows вы можете еще назвать (те которыми пользуетесь)?

- Каким почтовым клиентом вы пользуетесь? Почему?

- Что используете для time Management

и пр. и пр. и пр.

Вполне очевидно что QA данные вопросы не нужны, но они показывают общий уровень специалиста.

Возможно создать такой же список вопросов по Linux

Прочие технологии

Определить дополительные технологии и программные средства с которыми должен уметь работать QA сложно. Если собеседуется специалист на автоматизированное тестирование, то очевидно должны подбираться языки программирования, DBMS etc.


Вопросы о саморазвитии

Данный список вопросов должен определить насколько человек склонен к самообучению и саморазвитию.

Какие книги вы прочитали в последние месяц, год?

IT, QA и близкие книги. Впрочем человек должен читать не только профессиональные книги, но это только мое мнение.

Какие сайты/блоги по тестированию знаете?

Если человек может назвать www.software-testing.ru, http://www.rbcs-us.com это очень хорошо.

Ведет ли свой профессиональный блог.

Если человеку есть что сказать и он говорит — это хорошо. Я тому пример ;)

Проходил ли обучение или курсы по тестированию

Если не проходил - то и фиг с ним. Я вот тоже только один вебсеминар прошел, остальное в книгах, блогах и материалах конференций искал.


Вопросы по предметной области

Данный список вопросов достаточно важен. Он показывает насколько человек продвинулся в понимании того, что такое разработка ПО.

Что такое жизненый цикл ПО и цикл разработки ПО.

Комментарии излишни.

Какие модели разработки ПО знаете, в чем они отличаются

Водопад, циклический водопад, Agile: scrum, xp.

Что такое требование к ПО и какие у требования есть аттрибуты


Какие документы при разработке ПО используются

ТЗ\FDD, Sodftware Specifications, Test Plan (test case)

Какие стандарты по разработке ПО вы знаете

Знает что есть 34 и 19 — не плохо, знает IEEE 829 – значительно лучше, знает в добавок ISO 12207 – человек в теме!


Вопросы по QA

Данный список вопросов достаточно важен. Он показывает насколько человек продвинулся в понимании того что такое QA.

Какие документы по организации процесса тестирования вы знаете.

Ответы в вопросах ниже

Что такое Test Case и его структура?


Что такое Test Plan и его структура?


Что такое Bug Report и его структура?


Какие виды тестирования вы знаете?

Ответы в вопросе ниже

Что такое и объясните принципы
- Installation / Uninstallation testing
- Perform boundary testing
- Functionality testing
- Virus Check
- Scenario testing
- Perform database testing
- Field Entry testing
- Interface testing
- Regression testing
- Perform application interoperability testing
- Perform OS interoperability testing
- Perform Hardware, Network compatibility testing
- Architecture reviews
- Code reviews
- Functional and Test Spec Review
- Requirements, Design docs Review
- Usability testing
- Specification based testing
- Test Progress and Summary Review
- User Documentation Review
- International/Localization
- Perform error handling testing/Recovery testing
- Performance testing
- Submit testing summary report
- Automated Testing
- Stress testing

Выбрать несколько вопросов (не более 5) для проверки знаний собеседуемого

Чем отличается Severity от Priority

Классика жанра )

Тестирование белого ящика, черного ящика, серого ящика


Что такое бетта тестирование


Что такое Regresion Testing


Что такое Acceptance Testing


Что такое Smoke tests


Что такое модульное, интеграционное и системное тестирование.


Что такое Requirement traceability matrix


Что такое Bug life cycle


Что такое процесс управления конфигурацией в разработке ПО и в тестировании


Что такое процесс управления изменениями в разработке ПО и в тестировании


Что такое баг. Приведите пример. Какие типы багов вы знаете

Если человек может выделить баг документации, архитектурный баг, функциональный баг, баг юзабилити — это уже плюс.

Какой по вашему идеальный программный продукт для автоматизации работы QA

Данный вопрос показывает насколько человек понимает что такое QA и чем он отличается от QC. Также можно определить насколько человек понимает принципы автоматизации работы QA.

Какие процессы тестирования могли бы быть автоматизированы.

Примерно такой же вопрос что и предыдущий. Либо задать данный вопрос, либо предыдущий.

Что такое QA и что такое QC

Данный вопрос для общего развития. Хорошо если собеседуемый понимает что QC включен в QA, и что QA это не тестирование, а обеспечение качества на всем цикле разработки ПО.

Для чего проводится тестирование ПО

Вопрос для понимания общего развития собеседуемого.

Нужно ли тестировать документацию?

Ответ — да. Это называется «Тестирование требований к ПО”. Собеседуемый должен понимать, что требования в ТЗ могут быть: неправильно сформулированы, противоречащими и просто нереализуемыми.

Какие цели тестирования вы бы выделили?

Лично я бы выделил три цели:

- поиск багов,

- оценка качества продукта (ни в коем случае не обеспечение качества, от того сколько багов найдено качество ПО не улучшается),

- оценка рисков (поскольку выпуск продукта с малым качеством не есть гуд, всегда найдуться риски — например, что кто то умрет или на вас подадут в суд)




Практические задачи

Практические задачи позволяют отделить теоретиков от практиков. Человек может прочитать туеву кучу книг по тестированию но так ни разу не написать тест кейс или тест план.

Посадить за комп и дать листок, чтобы напечатал текст.

По тому как человек работает с клавиатурой можно понять - как хорошо он работает с компьютером вообще.

Провести собеседование на английском на одну из тем по QA

Очень легко показывает уровень английского у человека.

По заданной интервьиром теме:
- создать формализованные требования,
- создать формализованные test-cases,
- создать тест план,
- создать предпологаемые баг репорты,

Примеры систем для данного тестирования
- Система авторизации на любом сайте электронной коммерции
- Дана консольная программа. Программа позволяет вводить последовательно три числа. Каждое число подтверждается клавишей Enter. После того как введено первое число, можно вводить второе. После того как введено второе число, может быть введено третье. После того как введено третье число программа сообщает - является ли треугольник с данными сторонами равнобедренным.
- Банка с кофе.
- Стерка
- Авторучка
- Солонка
- Любая другая вещь. Чем неожиданнее будет вешь тем лучше. Еще лучше если с самого начала собеседуемый начнет сам задавать вопросы. Какая именно банка, какая форма, какой материал. Т.е. еще лучше если он изначально сам создать список требований по объекту и начнет эти требования тестировать.

Сколько комнат в нашем офисе

Данная задача на внимательность и подразумевает, что человека проведут по всему этажу.



Задачи на сообразительность


Данные задачи показывают возможность человека решать головоломки. Не факт что решив головоломку он является или будет являться хорошим специалистом. Это просто один из этапов анализа знаний собеседуемого. В процессе человека можно спрашивать - подталкивать человека к решению. Собеседование это все таки небольшой стресс.

Почему крышка от люка круглая?

На самом деле крышка не круглая — в ней есть выступы для того чтобы ее установить.

Ну конечно она имеет круглую форму и очевидно для того чтобы не упасть (любая иная фигура с углами или формы может провалиться в люк).

Есть 10 кроликов

Есть 1000 бутылок с вином

Одна из бутылок содержит яд. Как определить в которой?

Задача на двоичное мышление. Кролик пьет (1) или не пьет (0), соответсвенно мы можем закодировать 2 в 10 позиций

0000000000 — первая бутылка

0000000001 — вторая бутылка и т.п.

Есть дом. В доме четыре стены. У каждой стены по окну. Все окна выходят на север. Сколько таких мест на земле?

Бесконечное множество. Если поставить дом на южный полюс, а точек в плоскости бесконечно много, то все окна дома будут выходить на север.

И тому подобное....

Для получения дополнительных примеров достаточно прочитать книгу Как сдвинуть гору Фудзи (См. Список литературы)


Список литературы:

Книги (все можно найти в электронном варианте):
- Тестирование ПО. Кем Канер и др.;
- Искусство тестирование. Майерс;
- Tестирование dot com. Роман Савин;
- Как сдвинуть гору Фудзи. Уильям Паундстоун;

Сайты:
1) http://www.rbcs-us.com/software-testing-resources/library/basic-library.html (в том числе и особенно Freightliner Test Level Matrix);
2) www.software-testing.ru;
3) Глоссарий терминов используемых в тестировании ПО
http://www.rstqb.org/index.php?id=25,0&sitelang=ru;
4) Более простой глоссарий http://testirovschiki.ru/glossary.php;
5) FAQ по тестированию http://www.ruleworks.co.uk/testguide/;

Конфереции:
SQADays (например http://it-conf.ru/ru/content/190.htm);

Обучение тестировщиков:
http://www.luxoft-training.ru/training/school/72;
http://www.avalon.ru/PPS/QA/Courses/About/?CourseID=905.

17 комментариев:

  1. Александр, не забудьте оставить наследникам информацию про баг на сайте компании, про который я писал :)

    Ведь до сих пор не исправили, ай-яй-яй...

    ОтветитьУдалить
  2. Ай ай. ;(
    К сожалению я никак не могу повлиять на исправление ТОГО бага. Могу только в очередной раз сообщить, что он есть.

    ОтветитьУдалить
  3. Считаю, что лучше чем толковый тестировщик, никто не поймет сидит ли перед ним толковый тестировщик или человек для monkey testing.
    Если нет первого, то тут хоть об пол расшибись, хотьт ответы правильные пиши - гарантированного результата не выйдет. Шансы конечно есть, но...

    ОтветитьУдалить
  4. Интересный список, хотя некоторые ответы мне кажутся спорными.
    Кто-нибудь уже проходил собеседование по нему?
    P.S. Кстати, или я нещадно туплю, или окна у дома на северном полюсе выходят таки на юг по направлению..

    ОтветитьУдалить
  5. Толковому тестировщику все равно нужен чеклист.
    Это не ответы - это мои комментарии. Они тоже могут быть ошибочны.
    А про окна дома - это вопрос с подковыркой :) - на северном полюсе везде куда не плюнь север.

    ОтветитьУдалить
  6. Так как раз на северном полюсе куда ни плюнь - плюнешь на юг. Потому и окна будут на юг выходить.

    ОтветитьУдалить
  7. Хм. Стоит задуматься. Может и правда полюса перепутал...

    ОтветитьУдалить
  8. Да... "Порадовали" Вы нас, "простых смертных" SQA. И насчёт "пустых вопросов", "которые могут показать многое" и насчёт пьяных кроликов и просто-таки заеложенных круглых люков (к Вашему сведению, в развитых странах люки преимущественно квадратные, ибо они не так переворачиваются, поскольку точек опоры больше).

    И о доме на южном полюсе, который таки один, а не "бесконечное множество". Или планет по имени Земля бесконечное множество ибо параллельных вселенных несметное количество? Что значит "точек в плоскости бесконечно много"? В какой плоскости, в плоскости ума?

    И вообще, человека видно сразу, не надо его так вопросами мучить. Например, о стандартах разработки ПО. Или Вы новичков собеседовать хотите? Тем более бесполезно - они не пройдут такое собеседование.
    Новичок должен быть умным и способным к обучению. Документы и по стандартам, и по моделям, и ещё по чему угодно всегда почитать успеется.
    А уровень специалиста (человека с опытом) можно определить только при прохождении испытательного срока. Этот же "допросник" - не помощник, а только помеха. Он напоминает вопросы следователя (ФИО, дата и место рождения и т. п.).
    В крайнем случае - дайте практическое задание, - пусть человек минут 10 подумает в спокойной обстановке.
    А написанное Вами местами приводит меня в негодование, и не только меня. Мои коллеги, вообще, саркастически смеются...

    ОтветитьУдалить
  9. >к Вашему сведению, в развитых странах люки
    Прошу прощения за нескромный вопрос а Россия не развитая страна? Можно узнать какие именно странны развитые?

    >В какой плоскости, в плоскости ума?
    Уважаемый аноним. Не люблю переходить на личности. В следующий раз плиз оставляйте свое имя. Тогда бы я ответил: Уважаемый "Аноним": Плоскость — множество точек, равноотстоящих от двух заданных точек. http://ru.wikipedia.org/wiki/%D0%9F%D0%BB%D0%BE%D1%81%D0%BA%D0%BE%D1%81%D1%82%D1%8C_(%D0%B3%D0%B5%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%8F)


    >И вообще, человека видно сразу, не надо его так вопросами мучить.
    хм. Я к сожалению еще не умею читать мысли. Поэтому просто смотря на человека я вижу либо толстого, либо худого человека. Либо женщину либо мужчину. Если у вас дар молча видеть спец или не спец... Я преклоняю свои колени. Но мне кажется, что вы занимаетесь простым словоблудием. Извините за грубое слово.

    >Новичок должен быть умным и способным к обучению.
    Кто бы спорил. КАК, ну КАК вы проверите что человек способен к обучению. Ну ей богу, такие пустые слова. Можно линк на ваш блог или резюме? Просто очень интересно, когда человек ругает другого - чем он мотивирован?

    >А уровень специалиста (человека с опытом) можно определить только при прохождении испытательного срока.
    Каждому давать испытательный срок? Не смешите мои тапочки. На две позиции брать сразу шестерых, что пришли. Вы рабочие места и прочие удобства будете из каких карманов оплачивать собираетесь?

    >Он напоминает вопросы следователя
    Именно поэтому в своей статье про омлет я я написал что нужно вести себя очень и очень мягко.

    >А написанное Вами местами приводит меня в негодование, и не только меня. Мои коллеги, вообще, саркастически смеются...

    МММ а можно узнать кто именно? я не люблю ссылки от анонима на анонимов. Как правило это просто ложь и попытка скрыть свое невежество.

    Мне очень хотелось бы обсудить свое и мое мнение, но предлагаю вам вынести этот разговор из блога и использовать голову а не нервы, когда что то пишете другому человеку.

    ОтветитьУдалить
  10. Меня зовут Сергей, если Вам так проще. Регистрироваться для написания поста, если чесно, было просто лень, да и бессмысленно.

    Я указал на ложные выводы, но Вы не увидели и не поняли основную мысль - умный умного узнает и поймёт с полуслова (да и дурак дурака). Одна моя преподавательница вообще определяла сама и учила определять умных людей по взгляду - и в этом есть смысл, я Вам скажу...
    А чесность проверять бессмысленно - ибо человеку врать на собеседовании о своих навыках и опыте абсолютно бесполезно.
    Вот основная мысль - и пристрастие к деталям (то бишь названия стандартов и прочая ерунда) - это не то, что нужно на собеседовании, как я считаю.

    Прошу прощения, но Россия не есть развитая страна - это аксиома. Развитые страны - Япония, ЮАР, Израиль, США, ЕС (частично). За форму люков во всех не отвечаю - не суть важно, я полагаю.

    Если обидел, извините, но всё-таки задумайтесь о "плоскости ума" - задача с домом на южном полюсе имеет всего одно решение. А именно, такая точка на Земле одна, и это - южный полюс; и в этой точке может стоять только один дом, ибо он по определению больше точки. Или Вы хотите сказать, что есть дома-матрёшки? Тогда и параллельные вселенные можно тоже считать...

    ОтветитьУдалить
  11. Здравствуйте Сергей.

    Почему же бессмысленно регистрироваться. Я чувствую у вас есть что сказать. Всегда интересно учиться у человека имеющего другой взгляд на вещи.

    Очень рад за вас и вашу учительницу, но сам таких способностей не имею. А знаю очень много людей, которые могут уболтать не имея мозгов и способностей. А вот язык имея.

    >задача с домом на южном полюсе имеет всего одно решение
    Не согласен. Южный полюс это бескрайние края )))

    ОтветитьУдалить
  12. >> Не согласен. Южный полюс это бескрайние края )))

    Да уж, "ты увидишь, он бескрайний, я тебе его дарю".
    Я подхожу чисто математически, а Вы - как Льюис Кэррол.
    Объясню свою мысль - Кэррол не стал блестящим математиком из-за того, что его фантазии хватило только на сказки об Алисе, а для математики нужно фантазию более высокого уровня (это не моя мысль, но я с ней согласен). То есть, "параллельные вселенные" и "дома-матрёшки" - это Кэррол. А модель мира, где у каждого дома окна выходят на север - это уже высший пилотаж. Попробуйте представить такую модель мира - нужно упомянутое утверждение взять за основу построения мира (это вам не Тили-мили-трямдию придумать).

    А способности распознавать "болтунов" не даются с рождения, иногда нужно учиться на ошибках. Один раз взяв такого на исп. срок, повторно уже не ошибёшься.

    Да и болтун может быть высококлассный, и на Ваши вопросы ответит идеально.

    Есть ещё один приём - делайте сухой технический тест с вопросами типа: посчитать количество тест-кейзов в простом калькуляторе или указать разницу между ad-hoc и exploratory тестированием и т. п.
    Такой тест обмануть трудно.

    А методологии и модели - это дело "наживное". Спросите любого классного технаря, какое у него отношение к методологиям (только чесно) - услышите много лексических оборотов...
    Но это не мешает таким людям делать свою работу высококлассно.

    Вот и судите сами, какие вопросы нужно выбросить и списка... Но "пустые" выбрасывайте без сожаления. "Пустые", "круглолючные"и "плоские" пусть отдел кадров задаёт - у них работа такая, неблагодарная.

    ОтветитьУдалить
  13. >Я подхожу чисто математически, а Вы - как Льюис Кэррол.
    Да, согласен я Сергей, пример не самый удачный.

    >А способности распознавать "болтунов" не даются с рождения, иногда нужно учиться на ошибках. Один раз взяв такого на исп. срок, повторно уже не ошибёшься.
    Согласен полностью, что учиться нужно работать с людьми. Насколько правдиво "повторно уже не ошибешься" пока не могу ни опровергнуть ни подвтердить ))

    >Такой тест обмануть трудно.
    Сергей, про указанные вами примеры есть литература (( Если болтун первоклассный, он и на это сможет что-то "сболтнуть".

    >>Спросите любого классного технаря
    О да!!! Но я также заметил, чем "старее" и "опытнее" технарь, тем менее он резок в своих суждениях и выпадах. Поскольку с опытом приходит понимание "что это уже было".

    Отдел кадров нужен только для подготовки резюме и назначении встреч. Пускать их на отсев соискателей... лучше не нужно. У них нет просто знаний - что у человека должно быть, а работать по принципу "ключевые слова из резюме и заявки" ох как аукнеться может. ))

    ОтветитьУдалить
  14. Люки круглые, потому что это позволяет более равномерно распределять давление на края и "продавить" такой люк очень сложно.
    Квадратными делают там, где надо удобно положить тротуарную плитку.

    Вот вам загадка - как может провалиться треугольный люк??? Поэтому ваш вариант ответа более чем не соответствует действительности, стоит его пересмотреть.

    ОтветитьУдалить
  15. из за неподготовеного интервьюера хороший специалист можит и работу не получить.север-направлене следуя этому окна должни смотреть в направлении направления????????????????????

    ОтветитьУдалить
  16. меня зовут Алексей

    ОтветитьУдалить
  17. Алексей, я уже давно сам не согласен со своим списком. И задач уже не задаю )))) Но из песни слов не выкинешь - заметка осталась.

    А по поводу не подготовки - к сожалению ответ - да, как в анекдоте "если на экзамене встречаются идиот и умный, то умный не сдаст экзамен с первого раза".

    ОтветитьУдалить