Po roce budování Assessain chceme být s vámi naprosto upřímní o tom, jak na tom jsme — a poprosit vás o pomoc s rozhodnutím, co dál.

Kde jsme dnes

Assessain funguje už přes rok. Vytvořili jsme funkční platformu — tvorbu pracovních listů z PDF, hodnocení pomocí AI, odkazy pro odevzdávání prací a další. Někteří z vás ji pravidelně používají a jsme za to vděční.

Ale tady je upřímná pravda: zatím jsme nenašli směr, za který by učitelé byli ochotni platit. I když nástroj funguje, zpětná vazba, kterou stále slýcháme, je stejná:

"To AI hodnocení je fajn, ale neodpovídá tomu, jak bych to ohodnotil/a sám/sama."

A to je zásadní problém. Pokud musíte každou známku od AI znovu zkontrolovat a opravit, úspora času je minimální. Chápeme to — a myslíme si, že víme proč.

V čem je problém

Každý učitel hodnotí na základě let zkušeností a intuice — kritérií, která jdou daleko za to, co zachytí jakákoli rubrika. Věci jako "tahle odpověď je sice správná, ale míjí podstatu" nebo "tenhle student se zlepšuje, tak mu to trochu přimhouřím".

Assessain momentálně hodnotí pouze na základě rubriky a vzorové odpovědi. Nezná vaše standardy, vaše očekávání ani váš styl hodnocení. Hodnotí jako jakákoli jiná AI — a upřímně, to samé zvládne ChatGPT zadarmo.

To nestačí. Musíme nabídnout něco skutečně lepšího.

Možný nový směr: AI, která se učí váš styl

Zvažujeme zásadní změnu v tom, jak Assessain funguje. Tady je myšlenka:

1. Zkontrolujete a opravíte známky AI u prvních 3–5 studentských prací (to byste stejně udělali)
2. Assessain se naučí z vašich oprav — co jste ohodnotili přísněji, co mírněji a proč
3. AI pak přehodnotí zbývající práce podle vašeho stylu, ne obecným způsobem
4. Postupem času si Assessain vybuduje váš profil hodnocení — čím víc ho používáte, tím lépe hodnotí

Výsledek: místo „AI hodnocení" dostanete „AI hodnocení, které odpovídá tomu, jak hodnotíte VY."

To je něco, co ChatGPT neumí (nemá paměť mezi sezeními), a co žádný jiný nástroj pro hodnocení aktuálně nenabízí.

Tři možné cesty vpřed

Vidíme tři možné budoucnosti pro Assessain:

Cesta A: Vybudovat funkci kalibrace. Pokud dost z vás věří, že by to skutečně změnilo užitečnost Assessain, investujeme další týdny do jejího vybudování. Technicky je to proveditelné — potřebujeme jen vědět, že to řeší skutečný problém.

Cesta B: Pokračovat ve zlepšování současného přístupu. Možná kalibrace není to hlavní. Možná existují jiné funkce nebo opravy, které by z Assessain udělaly nástroj, za který byste rádi platili. Řekněte nám, co to je.

Cesta C: Ukončit projekt. Pokud je upřímná odpověď taková, že nástroje pro AI hodnocení prostě ještě nejsou dost užitečné, raději to chceme vědět teď, než pokračovat ve vývoji něčeho, co nikdo nepotřebuje. Kód bychom zveřejnili jako open-source a posunuli se dál.

Ozvěte se nám

Tohle není řečnická otázka — vaše odpověď přímo rozhodne, co bude dál. Prosíme každého uživatele Assessain, abyste si vzali 2 minuty a odpověděli na tento e-mail (nebo napsali na juda.kaleta@gmail.com):

1. Zní vám myšlenka „AI, která se učí váš styl hodnocení" zajímavě? Změnilo by to, jak moc Assessain používáte?
2. V čem AI nejčastěji chybuje při hodnocení prací vašich studentů? Můžete uvést konkrétní příklad?
3. Zaplatili byste 5 €/měsíc za nástroj pro hodnocení, který spolehlivě odpovídá vašim standardům?

I jednovětná odpověď pomáhá. I „ne, už mě to nezajímá" pomáhá. Nejtěžší je, když se nikdo neozve.

Děkujeme, že jste součástí této cesty. Ať už přijde cokoli, váš názor to ovlivní.

— Juda, tvůrce Assessain