Nem könnyű értékelni a képzési programokat

Az értékelés alapja: elvárások és célok kijelölése

A képzések és fejlesztések legitimitása kapcsán az első kérdésünk az lehet, hogy pontosan mit is várunk el egy adott programtól? Magasabb termelékenységet? Jobb munkavégzési hatékonyságot? Esetleg csak bizonyos képességek növekedését, mint például javuló kommunikációs kompetencia, esetleg gyorsabb döntéshozatali képesség?

Ahány üzlet és ahány szervezet annyi képzési igény és annyi specifikus elvárás. Egy dolgot azonban lefektethetünk: a fejlesztési programok kiválasztását, valamint a programokkal kapcsolatos elsődleges elvárások kialakítását "magasabb szintről" - az aktuálisan érvényes szervezeti- és üzleti stratégia szempontjából - kell megközelíteni. Nyilvánvaló ugyanis, hogy pénzügyi megtérülést - standard szervezeti működés esetében - csak az alapvető üzleti tevékenység irányából várhatunk. A stratégia megvalósításának támogatását tovább bonthatjuk - ha létezik ilyen - akkor a szervezet kompetencia-rendszerében meghatározott kompetenciák fejlesztésére, ill. kompetenciarendszer híján a munkaköri leírásban foglaltak támogatására.

Ha az adott programmal kapcsolatosan tudjuk milyen célokat tűzünk ki, valamint meg tudjuk fogalmazni az elvárásainkat, akkor jó úton haladunk az értékelés felé. Mert az értékelést többek között az előzetes szervezeti elvárásoknak való megfelelésként határozhatjuk meg. Az értékelés kulcsfontosságú tényezője tehát a megfelelő célok kitűzése. Azon túl, hogy a kitűzött célok illeszkedjenek a szervezeti stratégiához a célok mérhetőségére is! Nem minden cél elérése mérhető, és nyilván a képzési programok hozzájárulása sem értékelhető minden cél esetében. A képzési programok esetében - a szervezeti célok elérésének támogatása mellett - érdemes lehet különálló értékelési célokat, értékelési kritériumokat is megfogalmazni.
Hiszen nem lehet pontosan meghatározni azt, hogy egy-egy képzési program milyen mértékben járul hozzá az adott szervezeti cél valós eléréséhez. Erre vonatkozóan csak - esetleg jól megalapozott - feltételezésekkel élhetünk. Azonban a feltételezésekre nem alapozható korrekt értékelés, így célszerű értékelési, mérési célokat kitűznünk!

A képzési programok értékelésének szintjei

A tréning- és képzési programok értékelése nem rendelkezik részletes szakirodalommal, azonban létezik egy általános - Kirkpatrick nevével fémjelzett - modell, mely jó iránymutatásokkal (kiindulópontként) szolgálhat ehhez a feladathoz. Ennek a modellnek a használatát javasolja ügyfeleinek például a budapesti székhelyű GROW csoport is .

Kirkpatrick modellje az értékelésben négy szinten különít el:
1. Reakció
2. Tanulás
3. Viselkedésváltozás
4. Szervezeti eredmények

A modell szerint a fejlesztési programokat ezen a négy - egymásra épülő - szinten érdemes értékelnünk. A szintek sorrendje egyszerű logikán - a szintek közötti átmenetek bizonytalanságán - alapul.

A felnőttek tanulási folyamatait leíró elméletek alapján feltételezhetjük, hogy csak olyan anyagot fognak valóban elsajátítani, amellyel érdekes, releváns és amellyel involváló közegben találkoztak. A tanulásnak tehát előfeltétele a képzéssel való elégedettség. Ez a reakció szintje. A reakció szintjét mérve a tanulási előfeltételek meglétét számszerűsítjük.
A valódi tanulás azonban több más tényezőtől - például a tanuló aktuális hangulatától, a kapott ismeretek és a tanuló tudásszintjének megfeleltethetőségétől stb. - is függhet. Így érdemes külön is mérnünk ezen a szinten.

A tanulás megfelelő jelzőmozzanata lehet egy képzés hatékonyságának, azonban azt nem szabad elfelejtenünk, hogy a megtanult ismeretek nem biztos, hogy megjelennek a viselkedésben, tehát nem biztos, hogy létrejön a "tudástranszfer". Elképzelhető, hogy egy kolléga remek elméleti ismeretekre tesz szert egy tréningen, azonban ezeket nem alkalmazza a gyakorlatban. Egy program értékelésének harmadik szintje ennek fényében a valós viselkedésváltozás szintje.
A modell utolsó szintjéhez egy újabb kérdéssel juthatunk: milyen szervezeti szintű eredményei vannak az egyéni viselkedés megváltozásának?

Mit jelent mindez az értékelés gyakorlatában?

Milyen módszertannal vizsgálhatjuk a fejlesztési programokat az egyes értékelési szinteken? Az egyes szinteken Eszes László, a GROW csoport ügyvezető partnere kalauzol:

A reakció szintjén a résztvevők programra adott reakcióját, tetszését mérjük. Például egy termék analógiájánál ez a szint a vásárlói elégedettség mérésének felel meg. A gyakorlatban ez az értékelési szint számszerűsíthető a legkönnyebben, mégpedig a legtöbb helyen a már megszokott, képzéseket lezáró kérdőívvel. Ezeket a kérdőíveket általában közvetlenül a képzés végén - ha több alkalmat is felölel a program, akkor minden egyes alkalom végén -töltik ki a résztvevők. Fontos, hogy ez a helyszínen történjen, hiszen a szubjektív benyomásokra, azonnali ítéletekre vagyunk kíváncsiak. Mire érdemes rákérdeznünk? A képzéssel való elégedettség részleteire, például: elégedettség a helyszínnel, ellátással, tréner/képző felkészültségével, illetve a képzés anyagával.

A tanulás szintjén azt mérjük, hogy milyen tárgyi tudást, képességeket vagy attitűdöket, és milyen mértékben sikerült a képzés során elsajátítania a résztvevőnek. Ez módszertanilag jóval nagyobb kihívást jelent, mint a reakció mérése. Ha ismét egy analógiát használnák, akkor a tanulás szintjének mérése egy iskolai dolgozatnak felelne meg. Napjainkban elég ritka az olyan fejlesztő program, melynek tárgyi anyaga teljesen ismeretlen lenne a résztvevők számára, így a program során realizált tanulás értékelését ajánlott egy előzetes tudásfelméréssel (készségfelméréssel, attitűdvizsgálattal) kezdeni. Ezt követően kellő részletességgel le kell írnunk a program anyagát. A felmérés során az eredeti tudásszintet vetjük össze - a program tartalmi elemeinek elemzésével együtt - az utólagos tudással, így valós képet kaphatunk a résztvevők által elsajátított tudásról. Milyen módszerekkel mérhetjük a tudásszint változását? Elsődlegesen a képzés tényanyagára fókuszáló tesztekkel, melyek kialakításához kellő inspirációt nyújthatnak saját tanulmányaink. Példaként a feleletválasztós teszteket, reláció-analízist, rövid esszéket, illetve az ezeket kombináló feladatsorokat említhetjük.

Nagy szerepe van a munkahelyi környezetnek

Az újonnan tanult ismeretek munkahelyi megjelenését a viselkedésváltozás szintjén mérjük. Ilyenkor fontos figyelembe vennünk azt a tényt, hogy egy adott viselkedés megjelenését nagyban befolyásolja annak környezete. Azaz hiába tanult meg valamit a résztvevő egy képzés során, ha a munkahelye nem támogatja ennek alkalmazásában, hiszen akkor az adott viselkedés nem fog megjelenni. Azaz egy adott fejlesztési program viselkedésváltozás szintű hatása már nem csak a résztvevő és a tréner/programvezető, hanem a befogadó szervezet felelőssége is! Ennek megfelelően kell a program hatását és a változások és a program kapcsolatát értékelni. Mind a siker, mind egy esetleges "kudarc" felelőssége közös. A viselkedésváltozás mérésére - az eddigi szintekre jellemző önbeszámolós módszerekkel szemben - külső megfigyelők alkalmazása ajánlott. Az értékelő illetve fejlesztő központok (AC ill. DC) és a 360 fokos visszajelzés talán a legkézenfekvőbb példái a viselkedésváltozás mérésének. Ezen módszerek esetén is fontos figyelembe vennünk azt, hogy csak azt mérjük amit a résztvevő valóban elsajátíthatott az adott képzésen, azaz különös gondot kell fordítanunk a mérések alapjául szolgáló indikátorok kiválasztására. Itt is javasolt az előzetes és az utólagos mérések párhuzamos alkalmazása.

A szervezeti eredmények szintjén az adott fejlesztési programok - előre kiválasztott szervezeti indikátorok mentén - értelmezhető hatásait mérhetjük, mondta el Eszes László. Ezek az indikátorok ideális esetben a szervezeti stratégiából kerülnek levezetésre, és a szervezeti működés bármely területét érinthetik. Egy értékesítői képzés esetén mérhető indikátor lehet például az értékesítési volumen személyenkénti alakulása, vagy a megkötött szerződések száma, míg vezetői készségfejlesztés esetében a közvetlen beosztottak elégedettség-vizsgálata, és a vezetett csapatok teljesítményének alakulása, esetleg a lemorzsolódás kerülhet szóba. Ezek nyomon követése jelentős előkészületeket és egy jól működő belső kontrolling- és menedzsment információs rendszer meglétét igényli. Az értékelés ezen szintjén minden eddiginél jelentősebb az a kérdés, hogy a konkrét képzési program milyen mértékben járult hozzá a mért eredményekhez. Itt már nem csak a szervezeti támogatás a kérdés, hanem a "szervezeten kívüli világ" hatásai, a piaci környezet, illetve az egyes munkavállalók privát életét meghatározó tényezők is.

A képzések szervezeti szinten megjelenő eredményeinek értékeléséhez kombinálnunk kell a viselkedésváltozás mérhető megfigyelését a szervezeti folyamatok áttekintőbb értelmezésével és elemzésével. Egyszerűbb megoldásként alkalmazhatunk narratív elemzéseket - összegyűjtve a képzés eredményeire vonatkozó szervezeti történeteket és megfigyeléseket - amelyeket pénzügyi becslésekkel kombinálhatunk.

A fejlesztési programok értékelésének további kérdései

Mint a fenti áttekintésből is látszik a fejlesztési programok magasabb szintű értékelése nem egyszerű dolog. A módszertani kihívások mellett a komplexitás azonban pénzügyi kihívásokat is jelenthet, emelte ki Eszes László, hozzátéve: könnyedén előfordulhat, hogy egy részletes értékelés - amely mondjuk 5-6 értékelő központot, vagy 360 fokos visszajelzést is magában foglal - nagyobb pénzügyi ráfordítást igényel, mint maga a fejlesztési program. Kulcsfontosságú tehát, hogy pontosan határozzuk meg az értékelés szintjére vonatkozó céljainkat és a technikai, pénzügyi kereteknek megfelelően válasszunk értékelési megközelítéseket.

A "kemény" kérdések mellett a fejlesztési programok értékelése számos "puha" kérdést is felvet, melyekre ildomos előre felkészülnünk. Ilyen kérdések lehetnek például:

Elfogadják-e a képzésen résztvevők az értékelés és a mérés tényét? Nem kizárható, hogy egy vezető komoly ellenállást mutasson egy tartalmi kérdéseket feszegető "dolgozattal" szemben.

Milyen módon kommunikáljuk az értékelést?

Milyen mértékű felelősséget tulajdonítsunk az egyes résztvevőknek (tréner/képző - résztvevő - résztvevő vezetője stb.) a különböző szinteken megjelenő eredményért? Milyen adatokkal támasszuk alá ezt a felelősség megosztást?

Milyen módon kezeljük az értékelés során gyűjtött, illetve keletkezett információkat?

Alkalmazzunk-e viszonyítási pontokat a tanulás illetve viselkedésváltozás értékelésére? Hogyan határozzuk meg ezeket?

Nehéz, de szükséges...

A fent felvázolt gyakorlat számos kérdést, buktatót rejt magában. A képzési, fejlesztési programok értékelése azonban nem csak nehéz, de szükséges is a szervezetek számára. Ugyanis az értékelés és a mérés nem csak az adott tevékenység legitimitását határozza meg, de alapvető támpontokat ad a szervezet fejlesztési programjának, gyakorlatának karbantartásához és fejlesztéséhez.