Odborná skupina Organizace výzkumu České fyzikální společnosti JČMF 
Akademické fórum VII  "K principům organizace vědy a výzkumu" Praha, 22.10.2009

Zásady, postup a harmonogram 
pro tvorbu koncepce hodnocení výzkumu a vývoje
návrh – 13. 8. 2009 

Jana Musilová

Návrh předložený v srpnu 2009 autorkou jako členkou Pracovní skupiny České konference rektorů
pro metodiku hodnocení výsledků výzkumu a vývoje jako jeden z podkladů pro její práci. 

Charakteristika návrhu

Dokument je vstupním materiálem ČKR vypracovaným vzhledem k naléhavé potřebě odborně fundované koncepce a postupů hodnocení výsledků VaV a koncepce financování VaV v České republice.  Obsahuje návrh zásad, postupu a harmonogramu pro tvorbu této koncepce a její realizace. Nezabývá se obecnějšími aspekty organizace vědy a výzkumu, k nimž by patřily např. otázky ministerstva pro vědu a vysoké školy, problematika výzkumných univerzit, apod.  Návrh je zpracován pro interní potřebu České konference rektorů  a její Pracovní skupiny pro metodiku hodnocení výsledků výzkumu a vývoje.

Předkládaný návrh vychází 

•	z připomínek označovaných v oficiálních materiálech jako „obecné“ a „zásadní“, které Česká konference rektorů uplatňovala v průběhu připomínkových řízení k Metodice hodnocení výsledků VaV;  z těchto připomínek, Radou pro výzkum a vývoj vesměs nepřijatých, vyplývá nepoužitelnost stávajících „metodik“ pro hodnocení výsledků  VaV, a fakt, že k vhodnému způsobu hodnocení výsledků VaV nelze dospět úpravou těchto metodik ,

•	z požadavku, že koncepce hodnocení výsledků VaV i její konkrétní realizace musí respektovat prospěch české vědy bez ohledu na dílčí  zájmy jednotlivých institucí či jejich skupin, nebo na momentální výhodnost určitého typu hodnocení či postupu pro některou ze skupin výzkumných institucí,

•	z předpokladu, že při tvorbě koncepce a konkrétních metod hodnocení VaV budou uplatňována  výhradně odborná hlediska, a nikoli výsledky dohod založené spíše na názorech, jako tomu bylo dosud.

Teze

1)	Poměr financování širších vědních oborů stanovit v dlouhodobém výhledu na základě strategických vládních rozhodnutí . Strategická rozhodnutí nelze nahrazovat mechanismem „Metodiky“.
2)	Koncepci financování VaV a konkrétní návrh rozpočtů by vládě měla předkládat skupina ministrů odpovídajících za správu kapitol zahrnujících financování VaV, a to na základě konzultace s odborně kompetentním poradním orgánem nezávislým na vládě . 
3)	Při rozhodování ad 1) respektovat skutečnou nákladnost výzkumu v rámci oborových skupin, kterou lze posoudit na základě dostupných údajů o financování VaV.
4)	Výsledky VaV primárně hodnotit oborově specificky uvnitř širších oborových skupin.
5)	Hodnocení výsledků VaV založit na kombinaci vhodných kvantitativních ukazatelů  a kvalitativního hodnocení „peer review“ odbornými komisemi.
6)	Kvantitativní hodnocení použít jako jedno z kritérií pro financování uvnitř oborových skupin až po zabezpečení spolehlivosti dat v RIV.

Podrobněji k tezím

Požadavky na financování a hodnocení výzkumu

1)	Úroveň financování VaV: Ve střednědobém výhledu zajistit veřejné financování VaV nejméně na úrovni průměru EU-27.
                                                                                                                  
2)	Financování kategorií VaV: 

•	Alternativa 1: Ve střednědobém a dlouhodobém výhledu posílit podíl na financování základního výzkumu ze státního rozpočtu oproti stávajícímu stavu.
•	Alternativa 2 : Finanční prostředky určené na VaV rozdělovat na úrovni vlády na základě kvalifikovaných a analyticky podložených strategických úvah mezi jednotlivé skupiny širších oborů, (nedělit předem na základní a aplikovaný výzkum). Při tom vzít v úvahu 
-	oborové preference stanovené na základě strategie rozvoje výzkumu v ČR založené na odborných analýzách a prognózách,
-	nákladnost výzkumu v rámci jednotlivých širších oborů posouzenou na základě analýzy dostupných dat.

3)	Rozdělování institucionálních prostředků na poskytovatele:  Institucionální prostředky rozdělovat mezi příslušné poskytovatele podle souhrnných výsledků hodnocení  oborových skupin. Dvě nezbytné složky hodnocení: 
•	hodnocení pomocí vhodných kvantitativních ukazatelů respektujících oborová specifika, 
•	obsahové (kvalitativní) hodnocení výsledků VaV nezávislými hodnoticími skupinami odborníků v rámci širších oborových skupin. 
             Samotné kvantitativní ukazatele nejsou pro rozhodování o rozdělení finančních prostředků 
             dostatečné, podstatná je kvalitativní složka hodnocení.

Obecné zásady pro hodnocení výsledků výzkumu a vývoje

1)	Odborné hledisko: Při tvorbě koncepce hodnocení výsledků VaV, jejího rozpracování do konkrétních metodických podkladů a následných pravidel financování VaV je nutné uplatňovat výhradně odborná hlediska vycházející z příslušných analýz, nikoli hlediska názorová, jak tomu bylo dosud. Do tvorby pravidel hodnocení VaV angažovat i odborníky z oblasti bibliometrie a scientometrie.

2)	Kvantitativní hodnocení : Kvantitativní ukazatele samy o sobě nemohou sloužit jako jediné kritérium pro hodnocení výzkumné úrovně institucí nebo skupin institucí. Mohou však především umožnit vytipovat instituce, jejichž podíl na tvorbě výsledků  VaV není dostatečný.

3)	Kvalitativní hodnocení: Klíčovou součástí hodnocení výsledků výzkumu a vývoje je kvalifikované periodické hodnocení kvalitativní úrovně výsledků institucí nebo jejich skupin (peer review):
-	hodnocení s tříletou až pětiletou periodou,
-	nezávislé komise složené z odborníků v oblasti výzkumné problematiky jednotlivých širších oborových skupin,
-	využití zahraničních zkušeností.

4)	Oborové hledisko: Hodnocení výsledků výzkumu a vývoje musí být oborově specifické. Základem pro hodnocení je zpracování oborových standardů pro hodnocení výsledků VaV a zjištění oborových specifik (publikační standardy, publikační zvyklosti, nákladnost oborů, apod.) na základě analýz dostupných dat. 

5)	Mezioborové srovnání: Na základě znalosti kvantitativních oborových standardů a kvalitativního hodnocení „peer review“ se pokusit  „normovat“ kvantitativní ukazatele relevantní pro jednotlivé oborové skupiny tak, aby bylo možné i mezioborové srovnání.

Zásady pro kvantitativní hodnocení výsledků VaV                                                      

1)	Volba ukazatelů: Kvantifikaci výsledků VaV nelze provést pomocí jednorozměrné veličiny. Je třeba definovat více ukazatelů relevantních v rámci jednotlivých oborových skupin.
2)	 Analýza dat: Volbu ukazatelů je třeba stanovit a ověřit na základě analýz dostupných dat o výsledcích VaV (RIV) poté, co bude zaručena spolehlivost dat v RIV .
3)	Scientometrie a bibliometrie: Hodnocení je třeba založit také na odborných metodách z oblasti scientometrie a bibliometrie.

Zásady pro kvalitativní hodnocení výsledků VaV 

1)	Peer review: Zásadním prvkem kvalitativního hodnocení výsledků VaV je hodnocení peer review nezávislými odbornými komisemi.
2)	Analýza zkušeností - zahraničí: Metodiku hodnocení peer review je třeba zpracovat mj. na základě východisek vyplývajících z kvalifikovaných analýz výsledků tohoto typu hodnocení v zahraničí, zejména v evropských zemích s odpovídajícími zkušenostmi (Velká Británie, Itálie,…).
3)	Analýza zkušeností - ČR: Pro formulaci východisek pro hodnocení peer review využít zkušeností s tímto typem hodnocení v ČR (dílčí výsledky interního hodnocení výzkumu na některých vysokých školách,  výsledky hodnocení výzkumných záměrů meziresortními oborovými komisemi, pravidelné hodnocení ústavů Akademie věd ČR).
4)	Obsahové hledisko: Součástí hodnocení peer review musí být obsahové posouzení vybraných výsledků VaV (publikací).

Oborově specifické údaje

1)	Členění oborových skupin: K členění výzkumných oborů do širších oborových skupin je třeba dospět na základě analýz.

2)	Publikační specifika: Publikační zvyklosti jsou oborově specifické a je třeba je analyzovat na základě dostupných dat. 

3)	Nákladnost výzkumu: Na základě dostupných dat například o projektech (GAČR ) je třeba analyzovat nákladnost výzkumu v rámci oborových skupin.

Postup při tvorbě koncepce a způsobu hodnocení výsledků VaV

1)	Pracovní skupiny: Vytvoření pracovních skupin odborníků z vysokých škol. Skupiny vytvářet již s perspektivou pokračování jejich činnosti  (jako komisí činných při periodickém hodnocení) i po přijetí koncepce hodnocení při její průběžné realizaci:
a)	pracovní skupina pro kvantitativní analýzy dat
b)	pracovní skupina pro analýzu výsledků kvalitativního hodnocení (peer review)
c)	oborově zaměřené pracovní skupiny (oborové standardy a specifika)
d)	komise pro formulaci souhrnného návrhu (odborníci na problematiku hodnocení VaV, po jednom zpravodaji z jednotlivých pracovních skupin).

2)	Zpracování analýz: Zpracování jednotlivých typů analýz na základě předchozí specifikace, závěry z analýz.

3)	Koncepce:  Formulace koncepce hodnocení výsledků VaV v jednotlivých oborových skupinách.

4)	Metodika:  Formulace konkrétních postupů při hodnocení výsledků VaV v jednotlivých oborových skupinách. 

5)	Testování: Testování na datech.
   
6)	Oponentura: Oponentura návrhů v jednotlivých oborových skupinách nezávislými odborníky.

7)	Formulace návrhu: Formulace výsledného návrhu hodnocení výsledků VaV a návrhu na využití tohoto hodnocení pro rozdělování institucionálních prostředků na poskytovatele, popřípadě na skupiny institucí či jednotlivé instituce.

Oponentura návrhů koncepce a postupů hodnocení výsledků VaV

1)	Nezávislá oponentura: Zpracovaný návrh koncepce a realizace hodnocení výsledků VaV je třeba podrobit interní kontrole a  nezávislé  institucionální externí oponentuře (ČKR může například  požádat EUA jako její člen o zajištění takové externí oponentury).

2)	Testování na datech: Provést modelové testování koncepce a metod hodnocení výsledků VaV na konkrétních datech, specificky podle skupin oborů.

Požadavky na údaje

1)	Data RIV: Po uvedení databáze RIV do stavu, kdy bude plně zabezpečena spolehlivost dat, je třeba, aby byla zajištěna dostupnost dat v požadovaném elektronickém formátu vhodném pro provedení analýz.

2)	Údaje o financování VaV:  Je třeba zajistit dostupnost dat o financování projektů výzkumu a vývoje v požadované oborové struktuře a v požadovaném elektronickém formátu.

3)	Analýzy hodnocení VaV: Je třeba zajistit přístup k již provedeným analýzám hodnocení výsledků VaV (hodnocení zkušeností ze zahraničí, hodnocení výzkumných záměrů meziresortními oborovými komisemi, apod.), včetně dílčích podkladů použitých k tvorbě těchto analýz. Je žádoucí, aby jednotlivé vysoké školy  poskytly své interní podklady související s hodnocením VaV.

Harmonogram: 

1)	Pracovní skupiny, experti: Sestavení pracovních skupin a zahájení jejich činnosti, dohody 
s nezávislými experty – do 30. 11. 2009.
2)	Sběr dat: Zajištění dostupnosti  všech požadovaných dat – do 30.11.2009.
3)	Kvantitativní analýzy: Provedení oborově specifických kvantitativních analýz na základě dostupných dat – do 31.3.2010.
4)	Kvalitativní analýzy: Provedení oborově specifických  analýz kvalitativního hodnocení VaV na základě dostupných dat –  do 31.3.2010.
5)	Koncepce: Formulace koncepce hodnocení výsledků VaV na základě provedených analýz Formulace koncepce rozdělování institucionálních prostředků na poskytovatele – do  31. 5. 2010. 
6)	Průběžná kontrola: Průběžná interní kontrola a korekce koncepce – do 30. 6. 2010. 
7)	Způsob hodnocení:  Specifikace hodnocení  a způsobů rozdělování institucionálních prostředků podle výsledků hodnocení  – do 31. 8. 2010.
8)	Návrh: Formulace komplexního návrhu – do 31. 9. 2010.
9)	Testování: Testování na datech a korekce postupů – do 30. 10. 2010.
10)	Oponentury: Interní  kontrola a externí institucionální oponentury korigovaného návrhu doplněného údaji o testování, závěrečné korekce podle výsledků oponentur  – do 31. 12. 2010.

Brno, 13. srpna 2009
Zpracovala: J. Musilová