V rámci zpracovávání dat na Hlídači probíhá i intezivní dolování textových dat ze zdrojových dokumentů.
Pro OCR dolování používáme jak vlastní servery, tak servery našich fanoušků, kteří dali k dispozici část svého přebytečného výpočetního výkonu pro potřebu Hlídače státu.
Pro sdílení výpočetního výkonu jsme připravili velmi jednoduchý Docker balíček - OCR Minion, který je možné nainstalovat téměř na jakékoliv zařízení, včetně např. domácích NAS serverů.
Detaily o OCR Minion najdete na našem GitHubu https://github.com/HlidacStatu/OcrMinion
Za posledních 24 hodin jsme našimi OCR servery vydolovali data z celkem 105859 dokumentů a 227089 scanů, 900 insolvencí, 0 smluv, 5331 veř.zakázek.
Za posledních hodinu jsme našimi OCR servery vydolovali data z celkem 601 dokumentů dokumentů a 1391 scanů.
Na zpracování čeká 50804 dokumentů a 377 se právě zpracovává.. Právě probíhá OCR 13 scanů, dalších 1085 scanů čeká ve frontě.
| Jméno/provozovatel OCR Minion | OCR stránek za 24 hod |
|---|---|
| lukas@l...y.name | 10776 |
| michal@h...k.net | 4195 |
| wojtishek@g...l.com | 3963 |
| radovan@t...a.name | 3831 |
| ocrminion@w...r.net | 3754 |
| michal@k...k.cz | 3353 |
| hlidac@s...a.info | 3237 |
| info@p...r.com | 3224 |
| pcejka@g...l.com | 2715 |
| kontakt@k...r.cz | 2278 |
| vitek@i...k.cz | 2181 |
| tomas.michalek@w...x.biz | 1923 |
| martin@p...l.cz | 1667 |
| jorgem@s...m.cz | 795 |
| wostrosch@g...l.com | 368 |
| michal@m...a.cz | 230 |
| goldenfish@l...t.cz | 159 |
Některé OCR Minion dolují text z obrázku velmi dlouho. Obvyklá doba se pohybuje do 2 minut. Pokud to trvá více než 10 minut na stránku, pak je výkon stroje, na kterém OCR Minion běží, příliš pomalý. Zkušenost ukazuje, že není důležitý počet současně běžících instancích OCR Minion, ale rychlost a priorita přiděleného CPU. Určitě nepouštějte na jednom fyzickém stroji více instancí OCR Minion než je 80% dostupných CPU jader.
| OCR Minion | Průměrná doba OCR jedné fotky (v s.) | Celkem zpracováno | OCR trvající déle než 2 min |
|---|---|---|---|
| wostrosch@g...l.com | 164 | 854 | 601 |
| michal@m...a.cz | 70 | 1 294 | 76 |
| jorgem@s...m.cz | 56 | 2 057 | 57 |
| lukas@l...y.name | 20 | 26 623 | 66 |
| info@p...r.com | 6 | 10 596 | 43 |
| tomas.michalek@w...x.biz | 17 | 5 406 | 15 |
| martin@p...l.cz | 18 | 5 001 | 10 |
| pcejka@g...l.com | 10 | 8 268 | 17 |
| kontakt@k...r.cz | 13 | 6 442 | 11 |
| vitek@i...k.cz | 14 | 6 183 | 9 |
| wojtishek@g...l.com | 5 | 13 235 | 17 |
| hlidac@s...a.info | 7 | 9 697 | 12 |
| michal@k...k.cz | 6 | 10 601 | 12 |
| radovan@t...a.name | 5 | 12 428 | 13 |
| ocrminion@w...r.net | 5 | 12 186 | 12 |
| michal@h...k.net | 4 | 14 396 | 15 |
