Upozornění: Text přílohy byl získán strojově a nemusí přesně odpovídat originálu. Zejména u strojově nečitelných smluv, kde jsme použili OCR. originál smlouvy stáhnete odsud
Příloha č. 4 Smlouvy - Návrh realizace evaluace
1 Předmět evaluace
| Projekt Podpora a rozvoj služeb v komunitě pro osoby se zdravotním postižením v LK
Číslo projektu CZ.03.2.60/0.0/0.0/15 005/0003862
Vzhledem k tomu, že požadavky na zpracování díla jsou v zadávací dokumentaci jasné, níže
proto uvádíme pouze popis metodik, které jsou nad rámec ZD.
2 Metodologie, postup evaluace, sběr dat
© Metoda výzkumu: Teorií vedená evaluace dopadů vč. vytvoření teorie změny projektu, analýzy
kontextu a dopadu vč. následného ověření teorie změny s cílem ověřit dopady projektu.
Kritéria hodnotitelnosti teorie změny (TZ), které kladou na zprávy a výstup tyto požadavky:
Srozumitelná
- © Provšechny čtenáře je TZ snadno srozumitelná, text je pochopitelný, grafické znázornění
jasné
- © Různí lidé interpretují TZ stejným způsobem
- © Různé dokumenty poskytují konzistentní prezentaci téže TZ
Ověřitelná
- © Kroky intervence jsou popsány ověřitelným způsobem
Testovatelná
- © Mezi kroky (událostmi) jsou identifikovatelné kauzální vztahy
-| Propojené kroky jsou součástí identifikovatelné kauzální cesty (logiky intervence)
Objasněná
- © Očekávaný způsob fungování vazeb je objasněn
- © Výchozí předpoklady jsou jasně formulované
Úplná
- © Řetězec kroků propojuje aktéra změny s předpokládaným adresátem
Inkluzivní
- © Vpřípadě komplexních intervencí je zahrnuta různorodost souvisejících kontextů
Zdůvodněná
- © Je k dispozici evidence podporující předpokládanou posloupnost kroků v TZ (z
předchozích výzkumů, projektů, situační analýzy, studie výchozí úrovně)
Pravděpodobná
- © Pokud není k dispozici předchozí evidence, posloupnost kroků je pravděpodobná (při
zohlednění dostupných znalostí o intervenci a kontextu)
© | Metoda sběru a analýzy dat:
- Desk research: analýza dosavadních výstupů projektu, tj.: celkový počet podpořených osob,
kapacita podpořených osob, okamžitá kapacita služby, metodická podpora, prezenční listiny
ze seminářů, zprávy o realizaci, výkazy práce členů týmu, zápisy z jednání týmu
-Individuální a skupinové rozhovory a dotazníkové a terénní šetření s níže definovanými
aktéry s cílem zjistit, jakých efektů bylo realizací projektu dosaženo.
Přístupu k podkladům, přímé získání informací:
-| Přínosy pro poskytovatele a aktéry — řízený rozhovor (vzorek)
- © Řízené rozhovory s pracovníky týmu a aktérů
- © Průzkum mezi poskytovateli - dotazníky spokojenosti a přínosů
2.1 Realizace evaluace
Samotná realizace evaluace bude probíhat vlogicky na sobě navazujících krocích, které se
iterativně budou v průběhu jednotlivých aktivit a oblastí opakovat:
1. metodická specifikace řešení,
tvorba hypotéz,
sběr dat,
analýza a interpretace dat,
tvorba závěrů, ověření hypotéz.
W AUWN
Spolupráce a součinnost
Společnost disponuje:
s | tým 15expertů (tazatelé, kontaktní pracovníci, analytici, experti na soc. oblast)
© | potřebné technické vybavení (HW, SW, komunikační a prezentační technologie)
Realizační tým:
© | Vedoucí
| Analytik
s © Kontaktní pracovníci
s © Metodik pro vyhodnocení šetření
> Expert na soc. problematiku
2.2 Druh evaluace
2.2.1. Procesní evaluace
Procesní evaluací dojde kověření, do jaké míry plánované fungování projektu odpovídá
skutečnosti. Posuzovány budou následující vstupy, aktivity, výstupy projektu.
Dále budou průřezově posuzovány oblasti, které se týkají projektu jako celku, nikoliv jednotlivých
vstupů, aktivit a výstupů. Jedná se o:
7. Parametry kvalitní realizace projektu
- kritické faktory úspěchu
- © identifikace rizik
Jako podklad budou využívané tyto zdroje:
-Zprávy o realizaci projektu, výkazy práce členů týmu
-| Zápisy z jednání týmu
- | Prezenční listiny
- © Čerpání rozpočtu
-| Další dokumentace (např. VŘ)
- © Řízené rozhovory s poskytovateli a aktéry
2.2.2 Dopadová evaluace
Dopadová evaluace zhodnotí, zda projekt funguje tak, jak bylo zamýšleno, zda přináší očekávané
dopady a jaký je skutečný příspěvek (efekt) projektu, jeho skutečný dopad.
1. Zajištění dostupnosti sociálních služeb v komunitě osob se
zdravotním postižením
3
V průběhu přípravy evaluace budou otázky modifikovány v kontextu stanovených evaluačních
otázek v zD.
2.3Řízení evaluace
Prvotně dojde kaktualizaci plánu evaluace a zpracování vstupní evaluační zprávy, která bude
vypracována po dohodě se zadavatelem.
AC se přizpůsobí nastavené komunikační struktuře projektu, do které jsou již zakomponovány
pravidelné schůzky či jmenování styčných osob (schůzky v intervalu cca 1 x měsíčně, dle potřeby i
s jednotlivými aktéry).
Vedle pravidelných schůzek bude AC se zadavatelem pravidelně komunikovat prostřednictvím
e-mailu a telefonu. AC bude se zadavatelem konzultovat jednotlivé prováděné kroky.
2.4Metodické aspekty realizace evaluace
Pro evaluaci projektu bude zvolen evaluační design Teorií vedená evaluace dopadů. Tato metoda
bude ověřovat, zda a za jakých podmínek platí, že realizované aktivity a jejich výstupy skutečně
přináší: předpokládané okamžité či krátkodobé dopady, zda a za jakých podmínek vedou
k dlouhodobějším a žádoucím dopadům.
Design evaluace:
Pro tvorbu evaluačních zpráv budeme používat standardy evaluačního řetězce a jeho kroků
vyhodnocení jednotlivých oblastí evaluace:
© výstup (output) je měřitelná jednotka produktu nebo služby přímo vytvořená aktivitami
projektu,
e výsledek (outcome) je pozorovatelná a měřitelná změna jednotlivce nebo organizace
(žádoucí výsledky jsou definovány předkladateli projektu nebo přímo poskytovatelem
podpory),
© impakt je efekt výsledku, který lze přiřadit k výstupu (může být pozitivní nebo negativní) a
který lze identifikovat evaluací,
e riziko impaktu je vyjádření jistoty, že výstup povede k definovanému impaktu.
Teorií vedená evaluace dopadů bude zahrnovat 3 kroky:
1. Vytvoření teorie změny projektu = ověření toho, jak projekt mohl a měl fungovat
Tento krok napomůže zjistit, jaké dopady projekt přináší a jakým způsobem k nim dochází. Bude
zjištěno, jaké okamžité/krátkodobé/dlouhodobé dopady přináší jednotlivé výstupy projektu, kterými
jsou:
e Celkový počet podpořených osob: 270 osob
e Kapacita podpořených osob: 210 osob
e Okamžitá kapacita služby: 126 osob
e Metodická podpora
© | Prezenční listiny ze seminářů
Teorie změny bude sestavena na základě projektové dokumentace a logického modelu a následně
bude validována na základě vstupního předvýzkumu — tj. rozhovory se zadavatelem, aktéry, desk-
research viz výše.
2. Analýza kontextu = ověření, zda se tak skutečně dělo či nedělo, proč a za jakých podmínek
AC bude ověřovat, zda je projekt funkční, resp. zda vazby mezi výstupy (viz Kapitola 2.2.1) a
dopady (viz Kapitola 2.2.2) jsou funkční, tj. zda přináší očekávané výsledky a vede k očekávaným
dopadům.
V této fázi bude AC ve spolupráci se zadavatelem a aktéry analyzovat a definovat externí faktory
a kvantitativní a kvalitativní metriky (ukazatele), díky kterým bude možné ověřovat vazbu mezi
Výstupy a dopady. Zprávy budeme tedy připravovat tak, aby šetření odpovídalo na tyto základní
kontextové otázky:
© © Jaký problém bude intervence řešit?
s Jaké klíčové faktory tento problém ovlivňují?
* | Čoakdo se musí změnit? Jaké jsou dlouhodobé změny nezbytné v životě cílové skupiny? Jaké
jsou překážky těchto změn?
* © Jak může být tato změna vytvořena nebo podpořena?
3. Analýza dopadu a ověření teorie změny = ověření, že projekt vede k definovaným dopadům
Tento krok se skládá ze třech částí:
1. Procesní evaluace projektu
Vtéto části bude hodnocena struktura projektu, resp. zda může projekt splnit žádoucí dopad.
Pro ověření kvality implementace projektu bude využito otázek uvedených v Příloze č. 3 smlouvy —
Podrobná specifikace díla.
2. Ověření funkčnosti Struktury dopadů
Vtomto bodě bude ověřována vazba mezi výstupy a dopady projektu na různých úrovních.
V rámci této aktivity bude probíhat sběr dat, jejich analýza a následná interpretace. Výsledkem bude
porovnání výchozí situace cílových skupin (viz kapitola 2.5) se situací po ukončení aktivit projektu.
V rámci ověření funkčnosti struktury dopadů budou uskutečněny individuální a skupinové rozhovory
a dotazníkové a terénní šetření s definovanými aktéry (viz kapitola 2.6) s cílem zjistit, jakých efektů
bylo realizací projektu dosaženo. Následovat bude systematický rozbor získaných dat a jejich
S. prognostické — snažící se odhadnout budoucí vývoj dané problematiky.
3. Ověření nezamýšlených dopadů
Tento krok je zaměřen na ověření pozitivních i negativních dopadů, které nastávají v důsledku
realizace projektových aktivit. V konečné fázi se může jednat o nezamýšlené dopady projektu, ale
i chybné účinky projektu.
Praktické aspekty sběru dat budou navrženy ve spolupráci se zadavatelem při zpracování vstupní
evaluační zprávy, četnost sběru je předběžně stanovena v Harmonogramu evaluace — Kapitola 6,
2.5 Cílová skupina (CS)
CS je stanovena zadavatelem:
Osoby se zdravotním postižením
Osoby s kombinovanými diagnózami
2.6 Aktéři evaluace (AE)
AE jsou stanoveny zadavatelem:
ou
Krajský úřad Libereckého kraje — OSV
Poskytovatelé sociálních služeb v LK
Osoby se zdravotním postižením
3 Cíl evaluace
Cílem evaluace bude vyhodnocení, zda a do jaké míry došlo ke splnění cílů projektu:
1
8.
9.
. k zajištění dostatečné kapacity sociálních služeb v komunitě osob se zdravotním postižením
na území Libereckého kraje,
zajištění pokrytí území Libereckého kraje vybranými druhy sociálních služeb pro osoby
s duševním, mentálním a zdravotním postižením,
vytvoření dostupné, kvalitní a stabilní sítě sociálních služeb v komunitě osob se zdravotním
postižením,
zajištění dostatečné podpory osobám se zdravotním postižením službami v komunitě,
k snazšímu přechodu osob z psychiatrických léčeben do domácího prostředí,
ke snížení stigmatu pacientů s psychiatrickým onemocněním, s duševní poruchou, mentálním
a fyzickým postižením,
. zajištění komplexního systému podpory uživatelům v regionu,
ke zkvalitnění přímé práce s uživateli,
zvýšení efektivity vybraných sociálních služeb,
10.ke zkvalitnění poskytovaných služeb a profesionalizaci služeb v komunitě osob se zdravotním
postižením.
4 Výstupy evaluace
4.1 Vstupní evaluační zpráva (VEZ)
VEZ bude zpracována s cílem zpřesnit uvažovanou metodologii řešení projektu vč. plánovaného
časového rozvržení. Bude obsahovat upřesněný harmonogram a definovat aktéry evaluace, cíle
a výstupy projektu. Její součástí bude dále návrh komunikační struktury mezi zadavatelem a AC
a všemi aktéry evaluace, detailní rozpracování metodologie výzkumu vč. specifikace metod, které
budou v průběhu realizace evaluace využity a zdůvodnění jejich výběru (tj. popis metody sběru
a analýzy dat). Současně bude ale obsahovat také např. definované evaluační otázky, analýzu rizik
(stanovení rizik vč, jejich pravděpodobnosti výskytu a významnosti a návrhu opatření k řízení / jejich
eliminaci a nastavení kontrolních mechanismů pro včasnou identifikaci dalších rizik evaluace)
a evaluační matici.
4.2 Průběžná evaluační zpráva (PEZ)
Každá PEZ bude obsahovat popis konkrétních kroků evaluátora (metodologii řešení a veškerá
evaluační zjištění) za dané období. Bude mimo jiné popisovat použitou metodologii a výsledky
provedených šetření, či případná doporučení k optimalizaci realizace projektu.
4.3 Závěrečná evaluační zpráva (ZEZ)
ZEZ bude obsahovat manažerské shrnutí (hlavní evaluační zjištění), detailní popis metodologie
řešení (popis výzkumu, parametry využitých dat a metod), vyhodnocení veškerých evaluačních
zjištění vč. jejich interpretace, odpovědi na evaluační otázky a návrh jasných a adresných doporučení
formulovaných na základě hlavních zjištění.
Nad rámec požadované struktury budou zprávy tvořené v principu evaluačního řetězce:
* | Výstup
s Výsledek
e | Impakt
VEZ, PEZ, ZEZ budou vyjma hlavních kapitol (viz obsah výše) obsahovat obsah a úvod, budou
doplněny tabulkami, grafy a obrázky a jejich seznamem pro přehlednost.
Výstupy evaluace budou realizovány v souladu s „Pravidly pro informování a komunikaci a
vizuální identity OPZ“.
5 Základní analýza rizik pro fázi řešení evaluace
Riziko
Pravděpodobnost Dopad Významnost | Návrh na eliminaci
A S1
Po zn m e edn u
i je
*e laU
. B * Au oo- U... ee.. -
Zahájení projektu, analýza dat E:5 > běeze ty has bo
Nabytí účinnosti smlouvy (1. 4. 2018)
Úvodní schůzka X
Základní desk research
Vstupní EZ (vypracování)
Vstupní EZ (předložení) x
Případné připomínky objednatele k vstupní EZ x
Vypořádání připomínek, předložení konečné verze vstupní EZ i
Předání dat k projektu i interních dat a materiálů zadavatele
dk ún z
Desk research
Základní analýza dat
Získání dat z jiných zdrojů než od zadavatele (registr poskyt. soc. služeb, ! i ň
ČSÚ, MPSV — bude upřesněno)
Terénní šetření
uél
sd
KE K R R R R B E 0 025 11
X
Datazníkové šetření s cílovou skupinou i bi
Individuální a skupinové rozhovory s aktéry evaluace
Sběr papírových dotazníků
Průběžná zpráva (dosavadní výstupy ze šetření)
V souladu s požadavkem zadavatele na minimální obsah
Do 30 dnů od nabytí účinnosti smlouvy
Do 10 pracovních dnů od předložení vstupní evaluační zprávy
Do 5 pracovních dnů od obdržení připomínek zadavatele
ROU MOH
Klíčové aktivity evaluace/Kalendářní rok, kalendářní měsíc
Formulace ý ů FAPRFD E
Kvalitativní analýza dat
Statistická analýza dat
Syntéza výsledků kvalit. a kvantit. analýzy
Odpovědi na evaluační otázky
É
Formulace doporučení
Zpracovávání ZEZ
ZEZ (předložení a prezentace) i)
Případné sřipomínky objednatele kZEZ
Vypořádání připomínek a pře« dložení k konečné verze ZEZ
»žení D5
VEZ (předložení) o: ee
Zpracovávání PEZ 1 * a * E: E =
č
PEZ 1 (předložení a prezentace) r by iy
(PEZ1Š
Případné připomínky objednatele kPEZ1 8
Vypořádání připomínek a předložení konečné ve
Zpracovávání PEZ 2
le R
PEZ 2 (předložení a prezentace) ee as + m: 1
PEZ 2"
Případné připomínky objednatele kPEZ2 © za
Vypořádání připomínek a předlo ožení konečné v zePEZ2 © :
Zpracovávání PEZ 3
> Do 30 dnů po ukončení 6. měsíce trvání smlouvy
Do 10 pracovních dnů od předložení PEZ 1/PEZ 2/PEZ 3
P „2 5 pracovních dnů od obdržení připomínek zadavatele k PEZ 1/PEZ 2/PEZ 3
" Do 30 dnů po ukončení 12. měsíce trvání smlouvy
10
PEZ 3 (předložení a prezentace) PEZ 3'
Případné připomínky objednatele k PEZ 3 x*
Vypořádání připomínek a předložení konečné verze PEZ 3 X |
Vypracování ZEZ |
ZEZ (předložení a prezentace) zz
Případné připomínky objednatele k ZEZ xX
Vypořádání připomínek a předložení konečné verze ZEZ :
X
Řízení evaluace čA TN ES EH O PO] O ST E EE N ] E P] E v :
Podpis smlouvy
Pravidelná setkání s projektovým týmem (zadavatelem), se zástu pci obcí j č
a také s poskytovali sociálních služeb (1 — 2x měsíčně) |
e j ěě ní
Flash report
: 11
Skončení projektu xX
Prezentace ZEZ
12
Ukončení předmětu plnění zakázky xX
Dle nastavení požadavků zadavatele na harmonogram plnění uvedené níže (Tabulka 1) nelze ukončit předmět plnění zakázky k 31. 10. 2019. K tomuto
datu má být teprve odevzdána 1. verze ZEZ k připomínkování. Následně je potřeba počítat s 10 pracovními dny ke zpracování případných připomínek
objednatele a dalšími 5 pracovními dny pro vypořádání připomínek zpracovatelem. Navrhujeme proto ukončení předmětu plnění zakázky minimálně o
jeden měsíc, tj. k 30. 11. 2019 (za předpokladu, že budou obdrženy pouze jedny připomínky k ZEZ).
Dále vzhledem k požadavku vypracovat 3 PEZ vždy do 30 dnů po ukončení každého 6. měsíce trvání smlouvy (tj. 10., 16. a 22. měsíc realizace evaluace),
dochází ke „splynutí PEZ č. 3 a ZEZ. Navrhujeme proto realizovat pouze 2 PEZ.
* Do 30 dnů po ukončení 18. měsíce trvání smlouvy
'0 no 30 dnů od ukončení realizace projektu
1 skončení projektu 30. 9. 2019
** ukončení předmětu plnění zakázky k 31. 10. 2019
11
Tabulka 1: Harmonogram evaluace a předávání zpráv dle Přílohy č. 2 Smlouvy
Výstu Termín odevzdání 1 verze EZ Případné připomínky Vypořádání připomínek
NSkupy (k připomínkování) objednatele — konečná verze EZ
Vstupní EZ Do 30 dnů od nabytí účinnosti smlouvy 10 pracovních dnů od obdržení | 5PDod obdržení
1. verze zprávy
připomínek
Průběžné EZ
Do 30 dnů po ukončení každého 6. měsíce
trvání smlouvy
Závěrečná EZ
Do 30 dnů od ukončení realizace projektu
12