Otevřené otázky nejsou doplněk, ale dovednost

Zkuste si na chvíli představit dvě verze stejného zákazníka. V prvním scénáři vám dá na dotazníku spokojenosti 6 bodů z 10. V druhém scénáři vám dá stejnou šestku a k tomu napíše: „Produkt je fajn, ale objednávku jsem čekala tři týdny a nikdo mi mezitím nenapsal, co se děje.“ Máte stejné číslo. Máte úplně jinou informaci.

Tohle je věc, která mě na zákaznické zkušenosti fascinuje už roky: čísla nám řeknou, co se stalo, ale skoro nikdy neřeknou proč. A „proč“ je přesně to, s čím jako CX profesionálové musíme pracovat, protože skóre samo o sobě se nedá opravit. Dá se opravit jen konkrétní problém, který za ním stojí.

Otevřené otázky jsou nástroj, jak se k tomu „proč“ dostat. Jenže je to nástroj, který se v praxi hodně často používá špatně. Buď se ptáme tak, že lidé neví, co odpovědět, nebo jich napěcháme do dotazníku tolik, že nám polovina respondentů uteče před koncem. A pak máme stovky až tisíce volných textů, které nikdo nemá čas přečíst. Pojďme se na to podívat systematicky.

Jak se ptát, aby odpověď měla cenu

Když jsem se poprvé setkala s výzkumem Jona Krosnicka, respektovaného badatele v oblasti metodologie dotazníků, přišlo mi až zábavné, kolik různých věcí se skrývá pod nálepkou „otevřená otázka“. Krosnickova práce, publikovaná v Annual Review of Psychology, ukazuje, že různé typy otevřených otázek slouží úplně jiným účelům, a pokud si tenhle rozdíl neuvědomíte, dostanete odpovědi, se kterými nevíte, co dělat.

Existují otázky explorativní, tedy takové, kterými otevíráte téma, o kterém zatím nic nevíte: „S jakými výzvami se u nás nejčastěji setkáváte?“ Takovou otázku má smysl klást na začátku výzkumu, když si teprve budujete hypotézu. Pak jsou tu otázky, které míří na konkrétní zkušenost: „Co přesně se stalo, když jste se pokoušeli vrátit zboží?“ Tahle otázka funguje nejlíp hned po interakci, dokud je vzpomínka čerstvá.

Praktické pravidlo, které si sama vždycky hlídám: jedna otázka, jedno téma. Zní to jako samozřejmost, ale sledovala jsem desítky dotazníků, kde se v jedné otevřené otázce ptali na „produkt, dopravu a komunikaci“ najednou. Respondent pak napíše jednu větu o tom, co ho zrovna napadlo první, a o zbytku mlčí. Není to proto, že by mu na tom nezáleželo. Je to proto, že kombinovaná otázka nedává jasný signál, na co se vlastně ptáte.

Další věc, kterou podceňujeme: konkrétnost. „Co bychom mohli zlepšit?“ je otázka, která zní vstřícně, ale je tak široká, že respondent neví, kam s ní. Mnohem lépe funguje zúžení na kontext, který právě prožil: „Co by vaši dnešní zkušenost s doručením zlepšilo?“ Respondent má oporu, o čem přemýšlet, a vy dostanete odpověď, kterou umíte zpracovat.

A pak je tu jedna věc, kterou si přiznávám, že jsem sama dlouho dělala špatně: formulovala jsem otázky tak, aby v nich byla už naznačená odpověď. „Nezdálo se vám doručení pomalé?“ Respondent v takové otázce cítí, co byste chtěli slyšet, a často se tomu přizpůsobí, i když by jinak odpověděl jinak. Neutrální formulace, tedy „Jak byste popsali rychlost doručení?“, dává respondentovi prostor odpovědět svými slovy, ne potvrdit vaše podezření.

Kolik otevřených otázek je akorát

Tohle číslo mě při přípravě tohoto článku docela zarazilo. Pew Research Center, jedna z nejrespektovanějších výzkumných institucí na světě, ve své analýze zjistila, že otevřené otázky mají v průměru 18procentní míru nevyplnění, zatímco u uzavřených otázek je to jen 1 až 2 procenta. Tedy: skoro pětina lidí otevřenou otázku prostě přeskočí. A není to náhoda, je to fyzická a mentální námaha. Odpovědět na uzavřenou otázku znamená kliknout na možnost. Odpovědět na otevřenou otázku znamená formulovat myšlenku vlastními slovy a napsat ji, což podle stejného zdroje trvá úměrně déle a vyžaduje víc kognitivního úsilí, obzvlášť na mobilu.

Pew navíc zjistil ještě jednu věc, která by nás v CX měla zajímat z etického hlediska: míra nevyplnění se liší podle vzdělání, věku a etnicity, přičemž mladší lidé, lidé s nižším vzděláním nebo menšinové skupiny odpovídají na otevřené otázky méně často a stručněji. Jinými slovy, pokud se spoléháte hlavně na volné textové odpovědi, riskujete, že vaše „hlas zákazníka“ ve skutečnosti reprezentuje jen tu část zákazníků, která má čas, chuť a jazykovou jistotu psát dlouhé věty.

Kolik je tedy akorát? Analýza platformy Caplena, která zpracovala přes sto tisíc výzkumných projektů, ukázala, že do zhruba pěti až šesti otevřených otázek zůstává míra odpovědí relativně zdravá. Nad touto hranicí prudce roste, jak počet nevyplněných odpovědí, tak podíl prázdných nebo nesmyslných textů. Qualtrics ve svém metodickém průvodci doporučuje ještě konzervativnější přístup: pokud vaši respondenti nejsou mimořádně motivovaní, držte se pěti otevřených otázek nebo méně, a rozmístěte je v dotazníku tak, aby nešly hned po sobě.

Pro běžný transakční dotazník, tedy ten, který posíláte po nákupu nebo po kontaktu se zákaznickou podporou, to v praxi znamená jedno, maximálně dvě otevřené otázky. Jednu k samotnému skóre („Co je hlavním důvodem vašeho hodnocení?“) a případně jednu cílenou na konkrétní oblast, kterou zrovna zkoumáte. Víc už je luxus, který si můžete dovolit jen u hloubkových, dobrovolných výzkumů s motivovanými respondenty, ne u každodenního sběru zpětné vazby.

Co s tím vším textem: od čtení k hledání vzorců

Tahle část je místo, kde vidím, jak se CX týmy nejčastěji zaseknou. Sesbírají stovky komentářů, jeden člověk je má „projít“, a po dvou hodinách čtení vznikne dojem, spíš než analýza. Andrew Chen, který se dlouhodobě věnuje metrikám růstu, to formuloval trefně: nejakčnější součástí analýzy NPS (Net Promoter Score, metrika loajality založená na otázce, jak pravděpodobně by zákazník firmu doporučil) není samotné číslo, ale kategorizace otevřených komentářů od příznivců i kritiků.

Kategorizace v praxi znamená přiřadit každému komentáři jedno nebo víc témat z předem definovaného, ale živého seznamu: doprava, cena, kvalita produktu, komunikace podpory a tak dále. U menšího objemu, řekněme do pár stovek komentářů měsíčně, to zvládne člověk s tabulkou a trochou disciplíny. Jakmile se objem zvětší na tisíce, ruční kategorizace se stává neudržitelnou a přichází na řadu textová analytika (text analytics), tedy softwarové zpracování volného textu pomocí NLP (Natural Language Processing, zpracování přirozeného jazyka).

Tady je důležité rozumět tomu, co textová analytika skutečně dělá, protože kolem toho panuje trochu magické myšlení. Nástroj typicky dělá dvě věci: rozpozná téma, o kterém respondent píše, a odhadne sentiment, tedy jestli o něm mluví pozitivně, negativně nebo neutrálně. Nefunguje to jako čtení myšlenek, funguje to jako statistické rozpoznávání vzorců, a proto to funguje nejlíp na velkém objemu textu a nejhůř na jemných odstínech, ironii nebo smíšených pocitech v jedné větě.

Co mě při rešerši k tomuto článku opravdu zaujalo, byl konkrétní případ z praxe: mediální společnost s přibližně milionem uživatelů měsíčně dostávala přes 10 000 odpovědí na krátký dotazník spokojenosti a nedokázala je zpracovat rychleji než jednou za měsíc. Po nasazení automatické kategorizace a sentimentové analýzy, spolu s automatickými upozorněními na negativní komentáře, dokázali problémy identifikovat a řešit prakticky okamžitě. Během tří měsíců se jim podařilo zvýšit skóre o jedenáct bodů. Není to kouzlo technologie samo o sobě, je to důsledek toho, že se zpětná vazba konečně dostala k lidem, kteří s ní mohli něco udělat, dřív, než vychladla.

A tady se dostáváme k bodu, který je podle mě důležitější než výběr softwaru: uzavření smyčky (closing the loop). Kategorizace a sentiment vám řeknou, co se děje na agregátní úrovni. Ale otevřená otázka je pořád především vzkaz od konkrétního člověka, a pokud ten člověk napíše jasně pojmenovaný problém, zaslouží si, aby se to dostalo ke konkrétní osobě, která to může vyřešit, nejen do čtvrtletní prezentace pro vedení. Publikace zaměřené na CX metodiku to popisují jako rozdíl mezi programem, který „má hezký dashboard“, a programem, který skutečně mění zkušenost zákazníků.

Silné a slabé otázky vedle sebe

Nejlíp se to podle mě ukáže na příkladu.

Slabá otázka: „Máte nějaké připomínky?“ Je to otázka bez opory, respondent neví, k čemu se má vyjádřit, a nejčastější odpovědí bude „ne“ nebo prázdné pole.
Silná otázka: „Co by dnešní objednávku udělalo jednodušší?“ Je konkrétní, váže se na čerstvý zážitek a naznačuje, že odpověď povede ke skutečné změně.

Slabá otázka: „Byli jste spokojeni s naší podporou a produktem?“ Kombinuje dvě různá témata do jedné otázky, respondent odpoví jen na jedno z nich, nebo na žádné.
Silná otázka: „Co konkrétně vedlo k tomu, že jste dnešní komunikaci s podporou ohodnotili takto?“ Míří na jedno téma, odkazuje na konkrétní hodnocení, které respondent právě dal, a dává mu jasný rámec.

Slabá otázka: „Nemyslíte, že by dodání mohlo být rychlejší?“ Sugeruje odpověď, respondent cítí, co se od něj čeká.
Silná otázka: „Jak byste popsali rychlost dodání u této objednávky?“ Neutrální formulace nechává prostor pro jakoukoliv odpověď, pozitivní i negativní.

Co si z toho odnést

Otevřená otázka není doplněk k číslu, je to samostatný nástroj s vlastními pravidly. Formulujte ji konkrétně a k jednomu tématu. Nepřehánějte to s počtem, u běžné zpětné vazby stačí jedna až dvě. A hlavně: mějte plán, co s odpověďmi uděláte, dřív, než dotazník pošlete. Text, který nikdo nepřečte, je totiž jen jiná forma čísla, které nikdo nevysvětlí.

Přiznám se, že mě pořád překvapuje, jak málo firem tohle propojení mezi formulací otázky a kvalitou dat bere vážně. Umět se zeptat je dovednost, stejně jako umět naslouchat. A obě se dají trénovat.