Методологія контент-аналізу ґрунтувалася на трирівневій оцінці.
Перший рівень — перехресне незалежне оцінювання.
Після додавання статей до програми їх аналізували щонайменше 3 людини (зазвичай від 3 до 5) за визначеними критеріями. Серед них — дотримання базових журналістських стандартів, відповідність міжнародним нормам (зокрема засудження Росії за вторгнення в Україну, визнання незалежності та суб’єктності України).
На цьому етапі волонтери з України, Іспанії, Франції та інших країн незалежно один від одного оцінювали кожну зі 1921 статті, доки не накопичувалося щонайменше 3 оцінки на матеріал. Це дозволяло сформувати поточну загальну «технічну» оцінку.
Учасники не мали доступу до результатів інших, щоб унеможливити взаємний вплив.
Таким чином, кожна стаття була проаналізована щонайменше тричі, а зазвичай і більше. Загалом це становило понад 5700 прочитань.
За підсумками базової оцінки першого рівня кожен матеріал отримував агреговану «технічну» оцінку з трьох можливих рівнів:
«зелений» — позитивна оцінка: конструктивне висвітлення подій, коректна структура та відповідність журналістським стандартам;
«жовтий» — здебільшого відповідає стандартам; незначні неточності чи порушення не впливають на загальну якість та об’єктивність;
«червоний» — наявні серйозні порушення журналістських стандартів: маніпуляції, перекручення, підміна причинно-наслідкових зв’язків.
Другий рівень — експертний.
Його мета — об’єктивізувати дані першого етапу. Для цього внутрішні експерти міжнародно-аналітичної спільноти Resurgam (фахівці з політології, міжнародних відносин, протидії дезінформації, філософії, а також спеціалісти з OSINT) проводили додатковий аналіз авторів.
Цей рівень складався з таких компонентів:
додаткова оцінка публікацій авторів, особливо тих, хто потрапив до «червоного рівня» або перебував на межі цієї категорії;
деталізований колективний розбір статей із побудовою «наративної мапи»;
вивчення бекґраунду авторів, визначення системності провокативних публікацій поза межами окресленого дослідження;
OSINT-аналіз контактів та перевірка авторів на предмет зв’язків із РФ і можливих рівнів заангажованості.
За результатами другого рівня були сформовані досьє, у яких більш детально аналізувалися автори та фіксувалися зауваження до їхніх публікацій.
Третій рівень — рецензійний.
Його мета — об’єктивізувати отримані дані шляхом зовнішнього рецензування та рекомендацій сторонніх фахівців.
У рецензуванні взяли участь 10 осіб: представники академічної журналістики, головні редактори українських видань, фахівці з фактчекінгу, політичної психології та інших галузей. Рішення щодо можливих корекцій даних дослідження (першого й другого рівнів) ухвалювалися кваліфікованою більшістю. Водночас команда міжнародно-аналітичної спільноти Resurgam не мала права голосу на цьому етапі.
Для забезпечення максимальної прозорості на рецензійне засідання були офіційно запрошені представники Посольства Іспанії в Україні. На жаль, вони не з’явилися.
Крім того, зібрані зауваження було надіслано до іспанських медіа. Метою цього кроку було як отримати їхні коментарі, так і почути аргументацію, яку ми були готові врахувати.
За результатами роботи на всіх трьох рівнях був підготовлений фінальний звіт, частина якого представлена публічно.