Textová podoba smlouvy Smlouva č. 6201979: Evaluace projektu ,,Podpora procesů střednědobého plánování, síťování

                        Příloha č. 4 Smlouvy - Návrh realizace evaluace

1 Předmět evaluace

 

Projekt Podpora procesů střednědobého plánování, síťování a financování sociálních
služeb v LK

 

 

 

 

Číslo projektu CZ.03.2.60/0.0/0.0/15 005/0003861

 

2 Metodologie, postup evaluace, sběr dat

e Metoda výzkumu: Teorií vedená evaluace dopadů vč. vytvoření teorie změny projektu, analýzy
kontextu a dopadu vč. následného ověření teorie změny s cílem ověřit dopady projektu.

Kritéria hodnotitelnosti teorie změny (TZ), které kladou na zprávy a výstup tyto požadavky:

Srozumitelná
Ověřitelná
Testovatelná
Objasněná
Úplná
Inkluzivní
Zdůvodněná
Pravděpodobná

OD od O OA © O ©

e © Metoda sběru a analýzy dat:

- Desk research: analýza projektové dokumentace, datových zdrojů (např. statistiky, výroční
zprávy) a dosavadních výstupů projektu, tj.: Střednědobého plánu rozvoje služeb
v Libereckém krajina období 2018 — 2020, Akčních plánů pro roku 2018 — 2020, Metodiky
kontrolní činnosti Odboru sociálních věcí KŮ LK vč. jejího zavedení do praxe, Katalogu
sociálních služeb, nastaveného PR a povědomí pracovníků kraje a obcí v oblasti síťování,
plánování a definování potřebnosti sociálních služeb,

-Individuální a skupinové rozhovory a dotazníkové a terénní šetření s níže definovanými
aktéry s cílem zjistit, jakých efektů bylo realizací projektu dosaženo.

Přístupu k podkladům, přímé získání informací:

 

- © Přínosy pro poskytovatele a aktéry — řízený rozhovor (vzorek)

- © Řízené rozhovory s pracovníky týmu a aktérů

- © Průzkum mezi poskytovateli - dotazníky spokojenosti a přínosů

- © Požadavky poskytovatelů a veřejnosti na IT aplikaci (fokusní skupina)

= © Průzkum mezi veřejností - měření zásahu propagace u veřejnosti (fokusní skupina)

0

2.1 Realizace evaluace

Samotná realizace evaluace bude probíhat vlogicky na sobě navazujících krocích, které se
iterativně budou v průběhu jednotlivých aktivit a oblastí opakovat:

1. metodická specifikace řešení,
tvorba hypotéz,

sběr dat,

analýza a interpretace dat,

„BM NM

tvorba závěrů, ověření hypotéz.

Spolupráce a součinnost

 

Pro flexibilní komunikaci se zadavatelem bude k dispozici náš pracovník přímo v kanceláři naší
společnosti v Liberci. Současně bude zřízen společný prostor na internetu, který budou využívat také
zástupci zadavatele a na tomto prostoru budou průběžně sdílené pracovní soubory — dotazníky,
zápisy z rozhovorů, plán úkolů a aktuální stav jejich plnění, pracovní verze dokumentů, apod.

5

2.2 Druh evaluace

2.2.11 Procesní evaluace

Procesní evaluací dojde kověření, do jaké míry plánované fungování projektu odpovídá
skutečnosti. Posuzovány budou následující vstupy, aktivity, výstupy projektu.

VSTUPY

Rozpočet

Období
realizace

Partnerství

Realizační
tým

AKTIVITY

Podpora a rozvoj procesů plánování sociálních služeb
(dále jen „55“) při tvorbě SPRSS LK

Analýza komunitního plánování v území a komunitních
plánů obcí (II. a IIl.)

Analýza jednotlivých cílových skupin a návrh strategie —
podklad pro analytickou a strategickou část plánu
Facilitace a vedení kulatých stolů v obcích s rozšířenou
působností k mapování potřebnosti SS v lokalitě a k
nastavení opatření k jejich rozvoji

Podpora a rozvoj procesů při řízení, rozvoji,
financování a kontroly SS v LK

Zavedení Karet řešených potřeb SS v LK (dále jen „Karty
potřeb“)

Informační kampaň

Zpracování metodiky věcných kontrol SS na místě

IT aplikace k řízení, správě, financování a kontrole
Základní sítě SS

Funkční !T aplikace pro správu základní sítě speciálních
služeb LK

Interaktivní katalog SS/sociálních jevů

Výstupy spojené s fungováním IT aplikace a katalogu
SS/jevů budou srozumitelnou formou představeny
veřejnosti

Zvýšení odborných znalostí a pracovních kompetencí
úředníků kraje a obcí zabývajících se plánováním

a zjišťováním potřebnosti SS v LK

Vzdělávací kurzy

Supervize pracovníků kraje Oddělení rozvoje a
financování SS

VÝSTUPY
Analýza procesů komunitního plánování obcí LK
Analýza cílových skupin pro SPRSS LK

SPRSS LK (2018—2020)

Akční plán pro daný rok (2018, 2019 i 2020)

Metodika pro obecní samosprávy

Metodický postup pro obce

Vznik min. 33 Karet potřeb a jejich zavedení

do praxe SS v LK

Metodický dokument popisující používání Karet potřeb
pro všechny druhy SS

Proškolení všech pracovníků ORFSS KŮ LK v používání
Karet potřeb (12 pracovníků)

Proškolení zástupců sociálních odborů obcí LK (obce II.
a Ill. typu)

Proškolení zástupců poskytovatelů SS pověřených
kslužbám obecného hospodářského zájmu (cca 100
zástupců poskytovatelů).

Metodika věcných kontrol

Rozšíření IT aplikace současné krajské aplikace

Interaktivní katalog SS/jevů

2x tištěný katalog SS/ jevů

Metodika sběru dat od poskytovatelů a obcí v rámci lT
aplikace

Technická dokumentace aplikace a Metodika pro
uživatele (kraj, obce, poskytovatelé)

Min. 6 metodických setkání s poskytovateli

Proškolení všech uživatelů aplikace
Správa a servis IT systému po dobu projektu

Průběžná PR kampaň aktivit (prezentace výstupů dle
Katalogu sociálních služeb / jevů)

Vyškolení pracovníků obcí a kraje zabývajících se
procesy plánování a síťování SS (20 pracovníků obcí

a min. 10 pracovníků KÚ LK)

Pracovníci oddělení rozvoje a financování SS budou mít
po dobu projektu možnost čerpat supervizi pod
dohledem odborného supervizora/kouče

Dále budou průřezově posuzovány oblasti, které se týkají projektu jako celku, nikoliv jednotlivých
vstupů, aktivit a výstupů. Jedná se o:

- — parametry kvalitní realizace projektu

- — kritické faktory úspěchu

- — jdentifikace rizik

Jako podklad budou využívané tyto zdroje:
- — Zprávy o realizaci projektu, výkazy práce členů týmu
- — Zápisy z jednání týmu
- „ Prezenční listiny
- — Čerpání rozpočtu
- — Další dokumentace (např. VŘ)
- - Řízené rozhovory s poskytovateli a aktéry

2.2.2: Dopadová evaluace

Dopadová evaluace zhodnotí, zda projekt funguje tak, jak bylo zamýšleno, zda přináší očekávané
dopady a jaký je skutečný příspěvek (efekt) projektu, jeho skutečný dopad.

KRÁTKODOBÉ DOPADY
Vytvořením SPRSS na období 2018 - 2020 dojde k podpoření
procesu plánování SS
Zajištění standardu k poskytování péče a následná efektivní
kontrola

Zkvalitnění poskyýtované péče klientům SS

Prezentace jednotlivých SS veřejnosti

Proškolením pracovníků obcí a KÚLK dojde ke zkvalitnění
mapování potřebnosti SS

V průběhu přípravy evaluace budou otázky modifikovány v kontextu stanovených evaluačních
otázek v zD.

2.3Řízení evaluace

Prvotně dojde kaktualizaci plánu evaluace a zpracování vstupní evaluační zprávy, která bude
Vvypracována po dohodě se zadavatelem.

AC se přizpůsobí nastavené komunikační struktuře projektu, do které jsou již zakomponovány
pravidelné schůzky či jmenování styčných osob (schůzky v intervalu cca 1 x měsíčně, dle potřeby i
s jednotlivými aktéry).

Vedle pravidelných schůzek bude AC se zadavatelem pravidelně komunikovat prostřednictvím
e-mailu a telefonu. AC bude se zadavatelem konzultovat jednotlivé prováděné kroky.

2.4Metodické aspekty realizace evaluace

Pro Evaluaci projektu bude zvolen evaluační design Teorií vedená evaluace dopadů. Tato metoda
bude ověřovat, zda a za jakých podmínek platí, že realizované aktivity a jejich výstupy skutečně

“—=>

přináší předpokládané okamžité či krátkodobé dopady, zda a za jakých podmínek vedou
k dlouhodobějším a žádoucím dopadům.

Design evaluace:

Pro tvorbu evaluačních zpráv budeme používat standardy evaluačního řetězce a jeho kroků
vyhodnocení jednotlivých oblastí evaluace:

e  výstup (output) je měřitelná jednotka produktu

* výsledek (outcome) je pozorovatelná a měřitelná změna

*  impakt je efekt výsledku

e riziko impaktu je vyjádření jistoty, že výstup povede k definovanému impaktu.

Teorií vedená evaluace dopadů bude zahrnovat 3 kroky:

1. Vytvoření teorie změny projektu = ověření toho, jak projekt mohl a měl fungovat

Bude rozpracován a doplněn logický model projektu, AC upraví logický model tak, aby reflektoval
reálné a ověřené (v rámci evaluace) efekty projektu na cílové skupiny a prostředí. Tento krok
napomůže zjistit, jaké dopady projekt přináší a jakým způsobem k nim dochází.

Bude zjištěno, jaké okamžité/krátkodobé/dlouhodobé dopady přináší jednotlivé výstupy projektu.

Teorie změny bude sestavena na základě projektové dokumentace a logického modelu a následně
bude validována na základě vstupního předvýzkumu — tj. rozhovory se zadavatelem, aktéry, desk-
research (např. analýzou projektové dokumentace, datových zdrojů (např. statistiky, výroční zprávy)
a dosavadních výstupů projektu.

2. Analýza kontextu = ověření, zda se tak skutečně dělo či nedělo, proč a za jakých podmínek

AC bude ověřovat, zda je projekt funkční, resp. zda vazby mezi výstupy (viz Kapitola 2.2.1) a
dopady (viz Kapitola 2.2.2) jsou funkční, tj. zda přináší očekávané výsledky a vede k očekávaným
dopadům.

V této fázi bude AC ve spolupráci se zadavatelem a aktéry analyzovat a definovat externí faktory
a kvantitativní a kvalitativní metriky (ukazatele), díky kterým bude možné ověřovat vazbu mezi
výstupy a dopady. Zprávy budeme tedy připravovat tak, aby šetření odpovídalo na tyto základní
kontextové otázky:

*  Jaký problém bude intervence řešit?

*  Jaké klíčové faktory tento problém ovlivňují?

* Coakdose musí změnit? Jaké jsou dlouhodobé změny nezbytné v životě cílové skupiny? Jaké
jsou překážky těchto změn?

*  Jak může být tato změna vytvořena nebo podpořena?

3. Analýza dopadu a ověření teorie změny = ověření, že projekt vede k definovaným dopadům

Tento krok se skládá ze třech částí:

1. Procesní evaluace projektu

V této části bude hodnocena struktura projektu, resp. zda může projekt splnit žádoucí dopad.
Pro ověření kvality implementace projektu bude využito otázek uvedených v Příloze č. 3 smlouvy —
Podrobná specifikace díla.

2. Ověření funkčnosti struktury dopadů

V tomto bodě bude ověřována vazba mezi výstupy a dopady projektu na různých úrovních.
V rámci této aktivity bude probíhat sběr dat, jejich analýza a následná interpretace. Výsledkem bude
porovnání výchozí situace cílových skupin (viz kapitola 2.5) se situací po ukončení aktivit projektu.

V rámci ověření funkčnosti struktury dopadů budou uskutečněny individuální a skupinové rozhovory
a dotazníkové a terénní šetření s definovanými aktéry (viz kapitola 2.6) s cílem zjistit, jakých efektů
bylo realizací projektu dosaženo. Následovat bude systematický rozbor získaných dat a jejich
interpretace. Následovat bude systematický rozbor získaných dat a jejich interpretace. V rámci
4 analýzy dat následně dojde buď k potvrzení, nebo naopak vyvrácení daného tvrzení. Hypotézy budou

formulovány společně se zadavatelem a bude se sledovat jejich potvrzení. Vyhodnocení hypotéz
bude provedeno ve všech třech níže uvedených rovinách:

* © deskriptivní— popisující aktuální stav problematiky.

* | diagnostické — hledající příčiny vzniklého stavu.

s | prognostické — snažící se odhadnout budoucí vývoj dané problematiky.

3. Ověření nezamýšlených dopadů

Tento krok je zaměřen na ověření pozitivních i negativních dopadů, které nastávají v důsledku
realizace projektových aktivit. V konečné fázi se může jednat o nezamýšlené dopady projektu, ale
i chybné účinky projektu.

2.5 Cílová skupina (CS)
CS je stanovena zadavatelem:
- Poskytovatelé a zadavatelé SS, služeb pro rodiny a děti a dalších služeb na podporu sociálního
začleňování
- Pracovníci v S5
- © Zaměstnanci veřejné správy, kteří se věnují sociální, rodinné nebo zdravotní problematice
-Sociální pracovníci

2.6 Aktéři evaluace (AE)

AE jsou stanoveny zadavatelem:
- Krajský úřad LK (OSV)
- Poskytovatelé registrovaných SS v LK
- © Osoby v sociálně nepříznivé situaci, tj. uživatelé SS nebo jejich zástupci
- Pracovníci měst a obcí podílející se na plánování SS v LK

m

6

3 Cíl evaluace

Cílem evaluace bude vyhodnocení, zda a do jaké míry došlo ke splnění cílů projektu:

1. Vytvoření SPRSS v LK v souladu s metodikou MPSV
2. Vytvoření funkční IT aplikace ke sběru dat

4 Výstupy evaluace
4.1 Vstupní evaluační zpráva (VEZ)

VEZ bude zpracována s cílem zpřesnit uvažovanou metodologii řešení projektu vč. plánovaného
časového rozvržení. Bude obsahovat upřesněný harmonogram a definovat aktéry evaluace, cíle
a výstupy projektu. Její součástí bude dále návrh komunikační struktury mezi zadavatelem a AC
a všemi aktéry evaluace, detailní rozpracování metodologie výzkumu vč. specifikace metod, které
budou v průběhu realizace evaluace využity a zdůvodnění jejich výběru (tj. popis metody sběru
a analýzy dat). Současně bude ale obsahovat také např. definované evaluační otázky, analýzu rizik
(stanovení rizik vč. jejich pravděpodobnosti výskytu a významnosti a návrhu opatření k řízení / jejich
eliminaci a nastavení kontrolních mechanismů pro včasnou identifikaci dalších rizik evaluace)
a evaluační matici.

4.2 Průběžná evaluační zpráva (PEZ)

Každá PEZ bude obsahovat popis konkrétních kroků evaluátora (metodologii řešení a veškerá
evaluační zjištění) za dané období. Bude mimo jiné popisovat použitou metodologii a výsledky
provedených šetření, či případná doporučení k optimalizaci realizace projektu.

4.3 Závěrečná evaluační zpráva (ZEZ)

ZEZ bude obsahovat manažerské shrnutí (hlavní evaluační zjištění), detailní popis metodologie
řešení (popis výzkumu, parametry využitých dat a metod), vyhodnocení veškerých evaluačních
zjištění vč. jejich interpretace, odpovědi na evaluační otázky a návrh jasných a adresných doporučení
formulovaných na základě hlavních zjištění.

Nad rámec požadované struktury budou zprávy tvořené v principu evaluačního řetězce:

« Výstup
e | Výsledek
© | Impakt

VEZ, PEZ, ZEZ budou vyjma hlavních kapitol (viz obsah výše) obsahovat obsah a úvod, budou
doplněny tabulkami, grafy a obrázky a jejich seznamem pro přehlednost.

Výstupy evaluace budou realizovány v souladu s „Pravidly pro informování a komunikaci a
vizuální identity OPZ“.

5 Základní analýza rizik pro fázi řešení evaluace

Riziko | Pravděpodobnost | Dopad | Významnost 1 Návrh na eliminaci - opatření
výskytu — |

Nedostatečná vstu
pro evaluaci, neochota ak
participovat na evaluací

Zpoždění termínů v rámci

evaluace

Nedostupnost cílové

Evaluace nezpracovaná podle
požadavků zadavatele