Ve fiskálním roce 2024–2025 pracuje tým Editing na řadě vylepšení vizuálního editoru, aby pomohl novým dobrovolníkům porozumět některým zásadám a směrnicím nezbytným k provedení konstruktivních změn na Wikipediích.
Nováčci a mladší přispěvatelé ze subsaharské Afriky se budou při úpravách cítit dostatečně bezpečně a sebevědomě, aby mohli publikovat změny, na které jsou hrdí a které zkušení dobrovolníci považují za užitečné.
Moderátoři na anglické a francouzské Wikipedii zaznamenají zlepšení v kvalitě úprav, které nováčci provádějí, a budou motivováni nakonfigurovat, jak jim Edit Check prezentuje zásady.
Stav
Peacock Check
Probíhající práce vývoje Peacock Check.
Ve spolupráci s týmem Machine Learning začal editační tým pracovat na novém checku: Peacock check (T368274) Tato kontrola odhalí použití nafouknutých výrazů a vyzve uživatele, aby je změnil.
V současné době shromažďujeme zásady na wiki, šablony používané k označování neneutrálních článků a termíny (žargon) používané v souhrnech úprav pro 20 wiki.
A/B test: Vícenásobné referenční kontroly
Včera (25. března) začal A/B test na 12 wikipediánech, který odstraňuje omezení ohledně toho, kolik lidí z Reference Checks má potenciál vidět v rámci jedné úpravy.
Poznámka: V současné době se na jednu úpravu zobrazuje maximálně jeden Reference Check.
Tento experiment je snahou naučit se: Jaké – pokud nějaké – změny v kvalitě a dokončení úprav pozorujeme, když lidé mají potenciál vidět více Reference Checks v rámci jedné úpravy?
Zjištění z tohoto A/B testu budou relevantní pro blízkou budoucnost, kdy více kontrol úprav stejného a nebo různých typů (např. Peacock Check, Paste Check atd.) může být aktivováno v rámci jedné relace úprav.
Denní míra vracení nových úprav obsahu, kde je zobrazena Reference Check.
Chtěli jsme zjistit, zda a jak mohlo nové prostředí Edit Check na ploše ovlivnit kvalitu úprav, a proto jsme zkoumali, jak se změnil počet vrácených úprav před a po vydání z prosince 2024.
Zjistili jsme se:
Míra vracení nových úprav obsahu, kde byla spuštěna Reference Check, se snížila o 15,7 % (z 20,4 % před změnou na 17,2 % po změně).
Došlo k 8% nárůstu podílu nových úprav obsahu, které zahrnovaly referenci (z 34,8 % před změnou na 37,9 % po změně).
Minulý týden jsme dokončili analýzu, která porovnávala, jak – pokud vůbec – se několik klíčových metrik posunulo před touto změnou a po ní.
Účel této analýzy: Rozhodnout, zda došlo k nějakým změnám v uživatelském prostředí, které bychom měli upřednostnit před zahájením A/B testu, který vyhodnotí dopad toho, že je možné zobrazit více Reference Checks v rámci jedné úpravy.
Práce na kontrole úprav pokračují v několika oblastech:
Demo Reference Check na Wikimanii (2024) od Seleny Deckelmann, hlavní produktové a technologické ředitelky Wikimedia Foundation
T341308 - vylepšení uživatelského prostředí pro zobrazení více kontrol úprav v rámci jedné úpravy
T360591 - vývoj rozhraní API ke zvýšení rychlosti a snadnosti zavádění nových kontrol úprav a navrhovaných úprav ve vizuálním editoru nebo vedle něj.
T364505 - vytváření rámce uživatelského rozhraní, které zajistí, že lidé budou moci využívat nové Edit Checks a navrhované úpravy jako součást společného jazyka
T368274 - zkoumání proveditelnosti použití velkého jazykového modelu k detekci chování pávů v rámci úprav, které lidé provádějí.
Do budoucna bude tým úprav pokračovat ve vývoji kontroly úprav během fiskálního roku 2024–2025.
Tato práce bude podporovat Wiki Experiences Objective.
Poznámka: Pokud máte zájem o aktivaci kontroly referencí na vaší wiki, napište nám prosím ping User:Trizek (WMF) nebo User:PPelberg (WMF), nebo nás kontaktujte na naší diskusní stránce.
Středeční rozhovor se zaměří na následující témata týkající se Edit Checku:
Diskutujeme o uživatelské zkušenosti pro Paste Check. Tento další kontrola úprav, kterou zavedeme, má pomoci nováčkům, kteří přidávají nový obsah, nevědomky porušují autorská práva.
Kontrola stavu projektu Edit Check. Jaké kontroly jsou k dispozici na kterých wikinách? Jaké nové kontroly se plánují? Obecněji řečeno, jakou strategií se bude Edit Check v nadcházejícím roce řídit? Atd.
V úterý (18. června) byla referenční kontrola ve výchozím nastavení dostupná na všech Wikipediích kromě bn, de, en, hi, id, nl, pl a ru.[3]
Při pokusu o propojení s blokovanou doménou ve vizuálním editoru lidé obdrží zpětnou vazbu.
Od čtvrtka (13. června) získají lidé, kteří se pokusí přidat externí odkaz do vizuálního editoru (desktop a mobil), okamžitou zpětnou vazbu, když se pokusí propojit s doménou, kterou se projekt rozhodl zablokovat.
Kontrola odkazu (jak tomu říkáme) vyhodnocuje všechny externí domény, na které se lidé pokoušejí odkazovat, oproti následujícím zdrojům:
Místní seznamy: MediaWiki:BlockedExternalDomains.json and MediaWiki:Spam-blacklist
Všeobecný seznam: meta:Spam_blacklist
Technická ukázka ukazující, jaké by to mohlo být, kdyby se kontroly úprav objevily na upravitelné ploše nebo vedle ní.
V Citoidu, když se lidé pokusí citovat doménu, kterou projekt považoval za hodnou zablokování
Zatímco předkládání Checks ve výše uvedených chvílích se ukázalo jako efektivní, po určitou dobu dobrovolníci a zaměstnanci sdíleli nápady na Checks, které by se mohly objevit, když lidé aktivně přidávají/mění obsah článku.
Počáteční výsledky testu A/B Edit Check (T342930) vrátily následující výsledky:
Nováčci a mladší přispěvatelé mají 2,3krát vyšší pravděpodobnost, že přidají nový odkaz na novou úpravu obsahu, když je k dispozici kontrola úprav.
Nebyl pozorován žádný drastický pokles míry dokončení úprav a opuštění úprav.
Kontrola úprav má dopad zejména na nováčky a uživatele na mobilních zařízeních.
Pozorovali jsme mírný pokles až žádné změny v kvalitě úprav tam, kde byla kontrola úprav zobrazena, ve srovnání s tím, kde nebyla.
Zvyšuje podíl nových úprav obsahu s odkazem, který je vrácen. Dopad musíme dále prozkoumat.
V důsledku toho byl Edit Check nasazen jako výchozí na A/B wikinách.
Reference Reliability (spolehlivost odkazu)
Reference Reliability (mobilní zařízení)
Reference Reliability (počítač)
Dne 7. března byla ve výchozím nastavení k dispozici všem na všech wiki první iterace kontroly Reference Reliability.
To znamená, že kdykoli se kdokoli pokusí citovat zdroj, který projekt zablokoval, bude o tom přímo do Citoid informován a bude vyzván, aby vyzkoušel jiný zdroj.
Pokud je v tomto kontextu zapnuto "blokováno", znamená to, že doména, kterou se někdo pokouší citovat, je označena na MediaWiki:Spam-blacklist nebo MediaWiki:BlockedExternalDomains.json.
Aktivní
Nasazení Reference Check - první Edit Check (reference) je nyní aktivní na 22 wikinách. Nová sada wikin je pro A/B test. Ověříme, zda uživatelé reagují na kontrolu, a budeme pokračovat v úpravách.
Multi-Check (vícenásobná kontrola) - v současné době je Edit Check nakonfigurován tak, aby lidem zobrazoval jednu zpětnou vazbu, bez ohledu na to, zda může být oprávněná jiná zpětná vazba. Probíhá návrh uživatelského prostředí pro zobrazení více kontrol v rámci jedné úpravy.
Nadcházející
Reference Reliability (spolehlivost odkazu) - Reference Reliability informuje uživatele, pokud je zdroj uveden pod MediaWiki:Spam-blacklist nebo MediaWiki:BlockedExternalDomains.json. Bude nasazen spolu s A/B testem Reference Check.
Aktivní
Nováček na Wikipedii Hausa doprovázející nový obsah, který přidávali, s odkazem poté, co je vyzval Edit Check.
Reference Check nasazení - první Edit Check (reference) je nyní aktivní na 11 wikinách. Druhy úprav, které lidé provádějí, si můžete prohlédnout na odkazech Special:Recent uvedených na Edit check/Deployment status. Další nasazení do arabských a vietnamských Wikipedií je naplánováno na týden od 4. prosince.
Komunitní výzva - 10 francouzsky mluvících dobrovolníků se v úterý 28. listopadu připojilo ke členům redakčního týmu na komunitní výzvě. Shrnutí konverzace naleznete zde.
Reference Reliability (spolehlivost odkazu) - pro podporu příští Edit Checku (referenční spolehlivost) tým vyvíjí API, které umožní Citoidu poskytovat lidem zpětnou vazbu, pokud doména, kterou se snaží citovat, existuje na MediaWiki:Spam-blacklist nebo MediaWiki:BlockedExternalDomains.json.
Nadcházející
Raná maketa toho, jak by mohla uživatelská zkušenost s více kontrolami vypadat.Uživatelský skript - Edit Check bude brzy k dispozici prostřednictvím uživatelského skriptu. To dobrovolníkům usnadní experimentování s Edit Checkem bez ohledu na to, zda a jak je nasazen na wiki, na které ji chtějí hodnotit.
Multi-Check (vícenásobná kontrola) - v současné době je Edit Check nakonfigurován tak, aby lidem zobrazoval jednu zpětnou vazbu, bez ohledu na to, zda může být oprávněná jiná zpětná vazba. Tým je v rané fázi navrhování uživatelského prostředí, které umožní lidem prezentovat více kontrol v rámci jediné úpravy.
První kontrola úprav (editcheck-references) vyzvala lidi, kteří přidávali nový obsah, aby zahrnuli odkaz, pokud tak neučinili sami.
Další Edit Check vyzve lidi, aby nahradili zdroj, když se pokusí citovat doménu, kterou projekt považuje za spam.
Editační tým to vidí jako první krok k potenciální budoucnosti, kde editační rozhraní mohou využívat konsensus uložený na stránkách jako w:WP:RSP k tomu, aby lidem nabídla zpětnou vazbu o zdroji, který se snaží citovat.
Zde jsou vyobrazeny návrhy, které zkoumáme.
Nyní potřebujeme vaši pomoc:Jaký přístup preferujete nejvíce?Co na takovém přístupu oceňujete?Jaké otázky/znepokojení vám tyto přístupy přinášejí?
Minulou středu (11. října 2023) byla možnost Edit Check dostupná ve vizuálním editoru pro počítače a mobilní zařízení na úvodní sadě wikin:
dag.wikipedia.org, ee.wikipedia.org, fat.wikipedia.org, gur.wikipedia.org, gpe.wikipedia.org, ha.wikipedia.org, kg.wikipedia.org, ln.wikipedia.org, tw.wikipedia.org
Úpravy, v nichž byl aktivován Edit Check, můžete zkontrolovat filtrováním Special:RecentChanges pomocí značky editcheck-references-activated.
Upravit stránku pro hlášení falešně pozitivních Edit Check
Podíl nových úprav obsahu, které zahrnují referenci
Základní metriky
Podíl nových úprav obsahu vrácených podle úrovně uživatelské zkušenosti
Dvě z metrik, které tým úprav plánuje použít k vyhodnocení dopadu úvodní kontroly reference, jsou:
Snížení podílu nových úprav obsahu, které jsou vráceny
Zvýšení podílu nových úprav obsahu, které zahrnují reference
Nedávno jsme dokončili základní analýzu, abychom vám pomohli nastavit cíle pro dvě výše uvedené metriky.
Zde je něco z toho, co jsme se naučili:
Ve všech Wikipediích je u nových úprav obsahu, které obsahují odkaz, ~2x menší pravděpodobnost, že budou vráceny zpět (6,2 %) než u úprav, které odkaz neobsahují (11,5 %)
Na všech Wikipediích je u nově příchozích a mladších editorů méně pravděpodobné, že zahrnou novou referenci s novými úpravami obsahu ve srovnání se staršími editory.
Ze všech nových úprav obsahu, které nováčci na Wikipedii provedou, 12 % těchto úprav obsahuje odkaz.
Ze všech nových úprav obsahu lidí, kteří provedli více než 500 kumulativních úprav na Wikipedii, 26 % těchto úprav obsahuje odkaz
Začněte tím, že důvod, proč někdo zvolí pro odmítnutí přidat referenci, když je k tomu Edit Check vyzve, se zaznamená jako značka úprav, která je "připojena" k této úpravě.
Definice pro tyto ještě nedefinované značky budou nakonec uloženy zde: Edit check/Tags.
Dvě nové změnové značky
Tento týden byly k dispozici dvě nové značky změn související s kontrolou úprav, které můžete použít k filtrování Special:RecentChanges.
Tyto značky nám pomohou společně vyhodnotit, do jaké míry kontrola úprav reference zvyšuje pravděpodobnost, že lidé nový obsah, který přidávají, doplní referencí.
Značka
Popis
Zkus
editcheck-newreference
Úpravy provedené pomocí vizuálního editoru, které zahrnují přidání nového odkazu na článek v hlavním jmenném prostoru.
enwiki, frwiki
editcheck-newcontent
Úpravy provedené pomocí vizuálního editoru, které zahrnují přidání nového obsahu do článku v hlavním jmenném prostoru
Poznámka: Logika, která určuje, kdy se použijí dva tagy, je stejná logika, která se používá k rozhodnutí, zda by se lidem měla zobrazit odkaz na Edit Check.
Demo Reference Edit Check (mobile)
Edit Check Prototype (mobilní) připraven
Prototyp pro první Edit Check je připraven!
Nyní potřebujeme vaši pomoc s identifikací toho, co může být potřeba opravit a vylepšit, než bude povoleno v produkci jako funkce beta.
Pokyny pro vyzkoušení prototypu kontroly úprav a sdílení zpětné vazby o této věci naleznete na diskusní stránce: Seeking Feedback: Edit Check Prototype.
Pro kontext, tato první kontrola úprav, která vyzve nováčky, kteří přispívají novým obsahem bez včetně odpovídajícího reference, aby to zvážili.
What people who ''decline'' to add a citation when Edit Check invites them to do so might see.
První verze
První verze Edit Check je téměř připravena k vyzkoušení!
Během příštího týdne od nás můžete očekávat sdílení odkazu na testovací wiki, kde si můžete vyzkoušet prototyp Edit Check.
Mezitím můžete vidět druhy úprav, o kterých si EditCheck aktuálně myslí, že vyžadují referenci, a to filtrováním Poslední změny pomocí nově zavedeného tagu editcheck-references.
Zobrazí značku na enwiki a frwiki.
Na základě konverzací komunity (stále probíhajících) [4][5][6][7] a řady technických a designových šetření [8][9][10], během února redakční tým objasnil první verzi Edit Check na mobilu...
Počáteční verze mobilního prostředí Kontrola úprav, která lidi vyzve k přidání reference.
Uživatelská zkušenost - první verze Edit Check předstvuje nový krok v rámci mobilního vizuálního editoru publikačního pracovního postupu, který lidé uvidí, jestli/když přidají nový obsah bez reference. Návrh pro uživatelské prostředí desktopů stále probíhá. Podívejte se na stránku T329579.
Testování použitelnosti - Abychom zjistili, zda lidé rozumí pracovnímu postupu Edit Check a dokážou jej intuitivně procházet, brzy zahájíme sérii testů použitelnosti. Podívejte se na stránku T327356.
Technické zkoumání - Kontrola úprav použije k určení, jaký nový obsah je přidán v rámci dané relace úprav, přístup založený na transakcích. Práce na vývoji způsobu detekce jednotlivých vět pokračují za T324363.
Počáteční heuristika - Pro začátek bude počáteční heuristika kontroly úprav relativně přímočará, protože vyzve lidi, aby se rozhodli, zda změna, kterou provádějí, vyžaduje odkaz, pokud/když přidávají nový odstavec a tento odstavec již odkaz neobsahuje. Podívejte se na T324730 a T329988#8654867.
Dále: Editační tým implementuje úvodní heuristiku kontroly úprav (T324730) a odpovídající skrytouznačku změn (T324733), abychom my – dobrovolníci a členové editačního týmu – mohli vyhodnotit, do jaké míry se v očekávaných případech spouští heuristika kontroly reference.
Práce na kontrole úprav právě probíhají! Níže naleznete přehled toho, na čem Editační tým aktivně pracuje…
Komunitní rozhovory - Mezi říjnem 2022 a lednem 2023 uspořádal editační tým 7 komunitních konverzací, aby se dozvěděl, jaké bylo přispívání na Wikipedii pro lidi žijící v subsaharské Africe a ze subsaharské Afriky. Příští týden můžete očekávat, že tým zveřejní poznatky z těchto rozhovorů a jak bude informovat o práci, kterou na tomto projektu děláme.
Návrh - Tým aktivně pracuje na návrhu, jak by mohla vypadat mobilní uživatelská zkušenost pro první kontrolu reference. V nadcházejících týdnech pozveme dobrovolníky, aby nám pomohli tyto návrhy revidovat a vylepšit. Mezitím můžete sledovat tuto práci ve Phabricatoru.
Povídání se zkušenými dobrovolníky - Aby byla "Reference Check" užitečná pro nezkušené i zkušené dobrovolníky, bude muset lidi vést k tomu, aby citovali reference způsobem, který projekty očekávají. V nadcházejících týdnech zahájíme rozhovory se zkušenými dobrovolníky, abychom se dozvěděli, jaká jsou tato očekávání, abychom mohli zajistit, že kontrola úprav bude nakonfigurována způsobem, který s nimi bude v souladu.
Technická zkoumání - Aby "Reference Check" fungovala, bude software potřebovat vědět, kdy se lidé pokoušejí přidat nový obsah, zda tento nový obsah vyžaduje referenci a zda aktuálně referenci obsahuje. Tým Editing Engineering v současné době provádí řadu technických šetření, aby se rozhodl, jak přistoupíme k budování této funkce.
Strategie a přístup
Aby mohli nováčci a mladší přispěvatelé ze Subsaharské Afriky vybavit know-how a nástroje k publikování změn, na které jsou hrdí a které zkušení dobrovolníci považují za užitečné, zavede Editing Team novou funkcionalitu ve vizuálním editoru (desktop a mobile), která bude kontrolovat zavedené změny, kterými se lidé pokoušejí vylepšit tyto změny, aby provedli tyto změny Zásady a pokyny Wikipedie.
První "kontrola", kterou redakce zavede, je taková, která zjistí, když se lidé pokoušejí přidat nový obsah do existujícího článku bez odpovídajícího odkazu, a vyzve je, aby tak učinili.
Funkce bude doplněna doplňkovou sadou funkcí, které umožní moderátorům konfigurovat uživatelské prostředí nováčkům a Junior Contributors zajistí, aby je software vedl k provádění akcí, které jsou v souladu s projektovými zásadami a konvencemi.
Překážky
Rostoucí obliba vizuálního editoru mezi lidmi, kteří jsou v editaci Wikipedie[11] noví, nás vede k tomu, že si myslíme, že editační zkušenost byla poměrně úspěšná při pomoci nezkušeným dobrovolníkům naučit se technické dovednosti nezbytné k publikování změn na Wikipedii.
Problém je v tom, že vizuální editor a další editační rozhraní neupozorňují lidi na Zásady a pokyny Wikipedie, které se od nich očekávají.
V důsledku toho změny, které nezkušení dobrovolníci publikují, často porušují zavedené osvědčené postupy a vedou k nežádoucím výsledkům pro nezkušené dobrovolníky, zkušené dobrovolníky a projekty Wikipedie jako celku:
Nezkušení dobrovolníci – jsou zklamaní a frustrovaný, když změny, které se v dobré víře snaží provést na wiki, jsou vráceny zpět (čti: vráceny), odstraněny a nebo prozkoumány nespravedlivým způsobem. Tyto špatné interakce jsou demotivující a odhánějí tyto možné dobrovolníky a členy komunity s jedinečnými znalostmi, které mají možnost nabídnout.[12]
Zkušení dobrovolníci/moderátoři – musí udělat více práce s vracením nekvalitních úprav a zveřejňováním zpráv na diskusních stránkách nezkušených dobrovolníků, aby si uvědomili zásady a nebo pokyny, které pravděpodobně nevědomky porušili. Neustálá potřeba vzdělávat nezkušené dobrovolníky a zrušit jejich změny může vést k tomu, že zkušení dobrovolníci budou vůči nezkušeným dobrovolníkům skeptičtí a budou s nimi netrpěliví.
Projekty Wikipedie – se snaží růst a diverzifikovat svou dobrovolnickou populaci a zmenšovat meze znalostí přítomné na wikinách Wikimedie.
Tento projekt se snaží řešit výše uvedené výzvy:
Nabídnout nezkušeným dobrovolníkům relevantní a využitelnou zpětnou vazbu o zásadách Wikipedie ve vzácných chvílích, kdy jsou uprostřed provádění změn pomocí vizuálního editoru.
Vybavení moderátorů novou schopností specifikovat zpětnou vazbu, kterou dostávají nezkušení dobrovolníci při úpravách
Teorie změny
Tento projekt je postaven na víře, že tím, že se objeví relevantní pokyny ve vzácných okamžicích, kdy jsou nezkušení dobrovolníci uprostřed změn na Wikipedii, a vybaví je know-how a nástroji nezbytnými k aplikaci těchto pokynů, provedou změny, na které jsou hrdí a kterých si zkušení dobrovolníci cení.
Z dlouhodobého hlediska si Editační tým myslí, že lidé, kteří jsou noví, zejména lidé, kteří byli historicky vyloučeni a poškozeni zavedenými mocenskými strukturami, se budou cítit bezpečně a motivováni k provádění změn na Wikipedii, pokud dokážou přesně předpovědět, zda změny, které se pokoušejí provést, jsou v souladu s existujícími politikami, směrnicemi a/nebo kulturními konvencemi Wikipedie.
Obecněji řečeno, Editing Team si myslí, že abychom se vyvíjeli směrem k budoucnosti, kde zásady a kulturní normy wiki – a nakonec i obsah – odrážejí různorodé zkušenosti lidí, kterým mají tyto projekty sloužit, musíme nejprve učinit normy a standardy, které jsou v současnosti platné, čitelné a použitelné pro lidi během úprav.[13]
Tímto způsobem si dobrovolníci mohou vyvinout sdílené povědomí o případech, kdy tyto normy a standardy nemají takový dopad, jaký měly mít, a rozhodnout se, jaké – pokud vůbec nějaké – změny, o kterých si myslí, že stojí za to na ně reagovat.
Primární publikum
Editační tým se zaměřuje na potřeby lidí v této činnosti, kteří jsou:
Zkušenosti: Naučit se základům přispívání na Wikipedii
V kontextu tohoto projektu považujeme lidi, kteří se stále "učí základy", za lidi, kteří publikovali <100 kumulativních úprav jedné nebo více Wikipedií. To zahrnuje i lidi, kteří upravují Wikipedii poprvé.
Lokalita: Život v subsaharské Africe
Projekty: Přispívání do anglické a francouzské Wikipedie
Motivace: Snaží se vyplnit mezery, kterých si všimnou ve Wikipedii
Čtyři kritéria zaměření uvedená výše jsou výsledkem:
U nově příchozích je dvakrát vyšší pravděpodobnost, že budou žít v Africe nebo Asii.[14]
Hnutí se snaží udržet redaktory, kteří žijí mimo Evropu a Severní Ameriku.[14]
Lidé ze subsaharské Afriky jsou v hnutí nedostatečně zastoupeni: Lidé ze subsaharské Afriky představují pouze 1 % aktivních unikátních editorů, přestože představují 15 % celosvětové populace a 7 % celosvětové internetové populace.[15]
80 % registrovaných redaktorů v subsaharské Africe přispívá do anglické nebo francouzské Wikipedie.[16]
Editační tým pro začátek sleduje přístup s Edit Check, který minimalizuje pravděpodobnost false positives a je implementován způsoby[17], které umožňují dobrovolníkům, na základě jednotlivých projektů, vyvíjet heuristiku [18], aby se postupem času stala robustnější.
Tato strategie znamená aktivaci počáteční kontroly úprav reference, pokud/když jsou splněny všechny následující podmínky:
K článku, který někdo upravuje, je přidán minimálně jeden nový odstavec textu
"Nové odstavce textu", které někdo přidal, NEOBSAHUJÍ odkaz
Změny popsané v "1." a "2." se odehrávají na stránce v hlavním jmenném prostoru (NS:0)
Výše uvedené podmínky jsou implementovány a udržovány v kódu zde: editcheck/init.js.
Editační tým dospěl k rozhodnutí začít s relativně omezeným a přímočarým souborem pravidel, aby:
Zvýšil pravděpodobnost, že nováčci a mladší přispěvatelé zjistí, že pokyny, které jim kontrola úprav nabízí, a zkušenosti s úpravami v širším měřítku, budou intuitivní a přímočaré, aby je povzbudily vrátit se k úpravám znovu.
Snížili pravděpodobnost, že Edit Check vytvoří více práce pro zkušené dobrovolníky tím, že vyzvete nováčky a mladé přispěvatele, aby přidali zdroje, když je nepotřebují
Více o předpokladech, které vedly k uvažování výše, se můžete dozvědět na stránce phab:T329988#8654867.
Redakční tým se domnívá, že je velmi důležité, aby moderátoři byli oprávněni konfigurovat, kdy a pro koho bude Edit Check aktivován. Tímto způsobem si mohou být jisti, že software podporuje chování, které považují za produktivní, a upravovat software, když tomu tak není.
V souladu s výše uvedeným a čerpající inspiraci z toho, jak systémy Edit filter a Konfigurace komunity Growth Team umožňují dobrovolníkům kontrolovat a konfigurovat, jak fungují na wiki, Edit Check umožní dobrovolníkům na základě jednotlivých projektů:
Audit a edit logiku, která určuje, kdy se aktivuje reference Edit Check a
Zkontrolovat úpravy, které provádějí lidé, kterým se zobrazí Edit Check
Práce na implementaci výše uvedeného pokračují na phab:T327959.
Uživatelská zkušenost
Mobilní
Počáteční verze mobilního prostředí Edit Check, která vyzve lidi, aby se rozhodli, zda chtějí přidat referenci nebo ne.
Pozitivní zpětnou vazbu lidé obdrží, když se rozhodnou přidat referenci jako výsledek kontroly úprav, která je k tomu vyzve.
Obrazovka, která zve lidi, kteří se rozhodnou nepřidat odkaz a aby sdělili proč.
Přehled různých obrazovek v mobilním prostředí Edit Checku.
První verze Edit Check představí nový krok v rámci mobilního vizuálního editoru publikačního pracovního postupu, který lidé uvidí, jestli/když přidají nový obsah bez reference.
Počítač
Návrh pro uživatelské prostředí desktopů stále probíhá.Podívejte se na stránku T329579.
Experimenty
Vícenásobná kontrola Fáze 1 Analýza dopadů
Vícenásobná kontrola (1. fáze)
V prosinci 2024 jsme vydali nový design pro desktopové prostředí Edit Check.
Tato změna posunula Edit Checks z zobrazování uvnitř článků na zobrazování vedle nich, v nové "boční liště".
Abychom rozhodli, jak – zda vůbec – tato změna ovlivnila přerušení práce dobrovolníků a kvalitu úprav, porovnali jsme analyzované několik klíčových metrik, které se změnily před touto změnou a po ní.
Zjištění
Míra vracení nových úprav obsahu, kde byla aktivována kontrola reference, se snížila o 15,7 %.
20.4% (před) → 17.2% (nyní).
Podíl nových úprav obsahu, které zahrnovaly referenci po změně, vzrostl o 8 %.
34.8% (před) → 37.9% (nyní)
Bez zahrnutí vrácených úprav došlo k nárůstu míry dokončení úprav o 3,2 % [2 procentní body].
68 % úprav, kde byla uvedena kontrola reference, bylo úspěšně uloženo a po změně v UX kontroly úprav nebylo vráceno.
Míra, s jakou lidé odmítli přidat referenci, když je vyzvala kontrola úprav, se snížila o 4,7 %.
Závěr(y)
Výše uvedená zjištění naznačují, že tato konstrukční změna byla čistě pozitivní.
V důsledku toho budeme pokračovat v závislosti na tomto novém paradigmatu návrhu, protože zavádíme nové typy kontrol úprav a momenty v rámci pracovního postupu úprav, když jsou prezentovány.
Došlo k 2násobnému nárůstu v podílu nových úprav obsahu nově příchozími, mladšími přispěvateli a neregistrovanými uživateli, které obsahovaly referenci, když se kontrola referencí zobrazila na způsobilé úpravy.
Nové úpravy obsahu *s* odkazem
U lidí, kterým byla zobrazena kontrola reference, je 2,2krát vyšší pravděpodobnost, že publikují novou úpravu obsahu, která obsahuje referenci a je konstruktivní (nebude vrácena do 48 hodin).
Nárůst byl pozorován u všech kontrolovaných typů uživatelů, wikin a platforem.
Nejvyšší pozorovaný nárůst byl na mobilních zařízeních, kde je u přispěvatelů 4,2krát vyšší pravděpodobnost, že zveřejní konstruktivní novou úpravu obsahu s odkazem, když se u vhodných úprav zobrazila kontrola reference.
Návratová rychlost
Míra vrácení nového obsahu se snížila o 8,6 %, pokud byla k dispozici kontrola referencí.
Nové úpravy obsahu od přispěvatelů ze subsaharské Afriky jsou o 53 % nižší, že budou vráceny zpět, když se u způsobilých úprav zobrazí kontrola reference.
Nárůsty jsme zaznamenali na počítačích i mobilních zařízeních. Na mobilních zařízeních je pravděpodobnost, že uživatelé 4,2krát ji zahrnou do svého nového obsahu referenci, pokud se kontrola reference zobrazí u vhodných úprav.
Zatímco některé nekonstruktivní úpravy nového obsahu s odkazem byly zavedeny touto funkcí (nárůst o 5 procentních bodů), došlo k vyššímu podílu konstruktivních úprav nového obsahu s přidaným odkazem (nárůst o 23,4 procentního bodu).
V důsledku toho jsme zaznamenali celkový nárůst kvality nových úprav obsahu.
Došlo ke -8,6% snížení v míře vracení všech nových úprav obsahu ve srovnání s úpravami, kde byla v testovací skupině zobrazena Reference Check, s úpravami, které byly vhodné, ale nezobrazily se kontrola reference v kontrolní skupině.
Míra konstruktivní retence
Přispěvatelé, kteří jsou zobrazeni Reference Check a úspěšně uloží nevrácenou úpravu, mají o 16 procent vyšší pravděpodobnost, že se vrátí a provedou nevrácenou úpravu ve druhém měsíci (31-60 dní poté).
Tento nárůst byl pozorován především u úprav na ploše. Na mobilních zařízeních byl pozorován statisticky nevýznamný rozdíl.
Guardrails
Úprava míry dokončení
Nepozorovali jsme žádné drastické poklesy v míře dokončení úprav od záměru k uložení (kde je zobrazena Reference Check) k celkovému úspěchu nebo podle wiki.
Celkově došlo k 10% poklesu v míře dokončení úprav u úprav, kde byla zobrazena Reference Check.
Na mobilních zařízeních byl pozorován vyšší pokles míry dokončení úprav než na počítačích. Na mobilních zařízeních se míra dokončení úprav snížila o -24,3 %, zatímco na počítačích se snížila o -3,1 %.
Hodnocení blokování
Došlo k poklesům nebo žádným změnám v počtu uživatelů zablokovaných poté, co jim byla ukázána Reference Check a publikována úprava v porovnání s uživateli v kontrolní skupině.
Falešně negativní hodnocení
Byla zde nízká míra falešně negativních výsledků. Pouze 1,8 % ze všech publikovaných nových úprav obsahu v testovací skupině neobsahovalo novou referenci a nebyla zobrazena Reference Check.
Falešně pozitivní hodnocení
6,6 % přispěvatelů odmítlo přidání citace, protože uvedli, že nově přidávaný obsah nepotřebuje referenci. Toto byla celkově nejméně vybíraná možnost odmítnutí.
Návrh testu
Testu se zúčastnilo 11 Wikipedií.
Na každé wiki bylo 50 % uživatelů náhodně přiřazeno do skupiny test a 50% bylo přiřazeno do skupiny control.
Uživatelům ve skupině test se zobrazilo upozornění Kontrola referencí s výzvou, aby se rozhodli, zda nový obsah, který přidávají, potřebuje referenci (pokud ji již sami nepřidali).
Uživatelům ve skupině control se zobrazilo výchozí prostředí úprav, i když nový obsah, který přidávali, nedoprovázeli odkazem.
Načasování
Tato analýza byla dokončena 16. dubna 2024 a analyzovala údaje o zapojení na 11 zúčastněných wikinách od 18. února 2024 do 4. dubna 2024.
Hodnocení dopadu
Životaschopnost funkcí zavedených jako součást projektu Edit Check závisí na dopadech, které způsobí a které odvrací.[19]
Tato část popisuje:
Impacts (dopady) účelem funkcí zavedených jako součást kontroly úprav je způsobit a odvrátit
Data použijeme k pomoci[20] určení, do jaké míry funkce má či nemá způsobit konkrétní dopad
Metody hodnocení budeme používat ke shromažďování údajů nezbytných k určení dopadu dané funkce
Komentáře/zprávy od zkušených dobrovolníků o kvalitě úprav v rámci Edit Check jsou aktivovány[22]
A/B test[23], kvalitativní zpětná vazba (např. diskuze na diskusních stránkách, falešně pozitivní zprávy)
2.
Zvýšení pravděpodobnosti, že nově příchozí a mladší přispěvatelé upravující úpravy ze subsaharské Afriky doplní nový obsah, který přidávají s referencí
Zvýšení procenta publikovaných úprav, které přidávají nový obsah a zahrnují referenci
Zvýšení procenta nově příchozích nebo mladších přispěvatelů z SSA, kteří publikují alespoň jednu novou úpravu obsahu, která obsahuje referenci
Zvýšení pravděpodobnosti, že někdo zahrne referenci, až příště přidá nový obsah.
Nováčci a mladší přispěvatelé, kteří editují ze subsaharské Afriky, budou hlásit, že se budou cítit bezpečně a sebevědomě při provádění změn na Wikipedii
Nováčci a mladší přispěvatelé najdou zpětnou vazbu a výzvy k akci, kterou jim Edit Check představuje:
Užitečnost
Podporu
Motivaci
Kvalitativní zpětná vazba prostřednictvím kanálů, jako jsou:Community Calls, diskusní stránky, organizátoři akcí atd.
4.
Zkušení dobrovolníci budou nezávisle kontrolovat a opakovat výchozí konfigurace kontroly úprav, aby zajistili, že kontrola úprav způsobí, že nováčci a mladší přispěvatelé budou provádět produktivní úpravy.
5.
Nováčci a mladší přispěvatelé si budou více vědomi potřeby přidat referenci při přispívání nového obsahu, protože vizuální editor je vyzve, aby tak učinili v případech, kdy tak sami neučinili.
Zvýšení procenta nově příchozích nebo mladších přispěvatelů ze SSA, kteří publikují alespoň jednu novou úpravu obsahu, která obsahuje referenci.
Vysoká míra falešně pozitivních nebo falešně negativních výsledků
Podíl nových úprav obsahu publikovaných bez odkazu a bez zobrazení Edit Check (indikátor falešně negativního výsledku)
Podíl přispěvatelů, kteří odmítli přidání citace a vybrali "Nepřidal jsem nové informace" nebo jiný indikátor, že změna, kterou provádějí, nevyžaduje citaci
A/B test1 $, kvalitativní zpětná vazba obdržená od dobrovolníků o přesnosti a užitečnosti aktuální konfigurace Edit Check[25]
7.
Edit Check je na škálování příliš náročný na zdroje
Efektivita se časem neobjeví, takže implementace každého nového Edit Checku je náročnější než předcházející
Dobrovolníci v celém hnutí mají dlouhou historii práce na:
Proaktivně vzdělávat a vést nováčky, aby prováděli změny, na které jsou hrdí, a změny, které zlepšují Wikipedii
Zabránit lidem ve zveřejňování destruktivních změn, a
Reagovat na články Wikipedie a moderovat je.
Editační tým a tento projekt byly inspirovány těmito snahami, z nichž některé jsou uvedeny níže.
Pokud existuje projekt nebo zdroj, o kterém si myslíte, že bychom si jej měli být vědomi, přidejte jej sem!
Projekt školení vyladěného open-source LLM (large language model (velký jazykový model)), který bude odhalovat dezinformace na základě lingvistické analýzy.
Přání varovat lidi, kteří vkládají text do Wikipedie, a komentovat úpravy, ve kterých k tomu dojde, aby to patrol mohl zvážit, když revidují úpravy/hledají úpravy ke kontrole.
Uživatelský skript, který přidává vizuální indikátory do seznamu sledovaných položek a položky posledních změn, když jsou do článků přidány nespolehlivé zdroje.
Uživatelský skript, který k citacím Wikipedie přidává kategorické ikony a poskytuje čtenářům a editorům rychlé počáteční vyhodnocení citací na první pohled.
Jak bychom to mohli udělat tak, aby lidé, kteří jsou uprostřed úprav, pravděpodobně viděli a "internalizovali" informace, které jsou aktuálně prezentovány v Upozornění na úpravy?
Umožňuje jednotlivým dobrovolníkům a projektům zobrazovat vlastní oznámení nad formulářem pro úpravy v závislosti na stránce, jmenném prostoru nebo jiných okolnostech.
Primární výukový program pro nové editory na anglické Wikipedii, pokrývající jak zásady, tak technické postupy pro VisualEditor a značkování wiki. Naposledy přepracována koncem roku 2020 a aktivněji udržovaná než TWA.
Uživatelský skript pro zvýraznění pasáží, které postrádají odkazy, s červeným pozadím. Jeho hlavním účelem je pomoci uživatelům rychle identifikovat pasáže, odstavce a sekce v hlavním prostoru článků a konceptů, na které se neodkazují
Automaticky kontroluje procento copyvio nových stránek na pozadí a zobrazuje tyto informace s odkazem na zprávu na panelu 'informace' na panelu nástrojů pro správu stránek.
↑
Kde "životaschopnost" v tomto kontextu odkazuje na funkci, která je vhodná k tomu, aby byla škálována pro všechny projekty, jak je určeno rozsahem, v němž se prokázalo, že má čistý pozitivní dopad na wikiny a dobrovolníky, kteří je budují a udržují.
↑Důraz na "pomoc" ukazuje, jak všechna rozhodnutí budou záviset na různých datech, z nichž všechna je třeba posoudit a zvážit, aby bylo možné učinit informovaná rozhodnutí.
↑T325838 - Dokončení návrhu plánu měření Edit Checku
↑ 22.022.122.2V každém projektu, kde je k dispozici Edit Check, budou moci dobrovolníci použít značku editcheck-reference-activated ke kontrole úprav, kde se kontrola reference zobrazí lidem v procesu publikování úpravy. Další informace o značkách Edit Check.
↑Kromě stávajících kanálů zpětné vazby (Phabricatoru, diskusní stránky atd.) budou existovat minimálně dva další způsoby, jak mohou lidé sdílet zpětnou vazbu o kontrole úprav: A) nahlášení úprav, o kterých si myslíte, že by se Edit Check neměl zobrazit, a B) odmítnutí přidat referenční úpravu uprostřed s uvedením, že si myslíte, že Edit Check byl zobrazena, i když být neměl.
.gif)
.png)
.png)
Reference Reliability (mobilní zařízení)
Reference Reliability (počítač)
Počáteční verze mobilního prostředí Edit Check, která vyzve lidi, aby se rozhodli, zda chtějí přidat referenci nebo ne.
Pozitivní zpětnou vazbu lidé obdrží, když se rozhodnou přidat referenci jako výsledek kontroly úprav, která je k tomu vyzve.
Obrazovka, která zve lidi, kteří se rozhodnou nepřidat odkaz a aby sdělili proč.
Přehled různých obrazovek v mobilním prostředí Edit Checku.
.gif){kind=link}
