Чи вміє штучний інтелект мислити як бізнес-аналітик?

Для тесту я обрала фармацевтичну категорію, де дані про продажі збираються регулярно і мають високу якість. Логіка аналізу при цьому переноситься і на інші категорії.

У кожному запиті я коротко описувала контекст і задавала базові метрики: продажі в упаковках, продажі в грошах і частку ринку. Без такого опису кожен інструмент вигадує власну структуру даних, і відповіді стає складно порівнювати між собою. Тому перед зверненням до ШІ варто сформулювати, який продукт чи категорію аналізуємо, за який період є дані та які показники доступні.

Базова логіка відповіді в усіх інструментів майже однакова. Спершу вони пропонують підтвердити сам факт падіння, оцінити його масштаб і визначити момент, коли воно почалося. Далі йде пошук причин серед показників, якими бізнес керує самостійно, аналіз ситуації в категорії та в конкурентів через частку ринку і перевірка ролі реклами. Наприкінці кожен інструмент зводить результати в набір гіпотез і рекомендацій.

Відмінності проявляються в деталях.

ChatGPT починає з механіки самих продажів і переходить до ринку, конкурентів і реклами після аналізу базових причин, що цілком логічно.

Grok одразу пропонує писати код і будувати маркетинг-мікс модель (MMM), яка оцінює внесок кожного чинника в продажі. Для швидкої відповіді на запитання про падіння продажів такий шлях надмірно складний, оскільки побудова моделі потребує часу, якісних даних і фахівця.

Gemini частково повторює логіку ChatGPT і додає набір швидких способів перевірити гіпотези: порівняння динаміки показників у часі, аналіз еластичності, тобто чутливості продажів до змін ціни чи інших чинників, і перехресні таблиці.

DeepSeek єдиний починає з перевірки самих даних. Він пропонує врахувати різну кількість робочих днів у періодах і порівняти показники з тим самим періодом минулого року, що особливо важливо для бізнесу з вираженою сезонністю.

Claude теж на старті оцінює масштаб падіння і пропонує простежити, чи не перейшла частка ринку до конкурентів.

Усі інструменти добре відтворюють базову логіку пошуку причин, від підтвердження факту падіння до гіпотез і рекомендацій, і частина з них схильна ускладнювати задачу більше, ніж вона того потребує.

Прогнозна модель дозволяє оцінити майбутню динаміку продажів, спланувати бюджет і перевірити різні сценарії рекламних вкладень ще до ухвалення рішення.

У цьому блоці я свідомо не просила ШІ писати код. З першої спроби він майже ніколи не буває повністю коректним, і для типових задач аналітики зазвичай мають напрацьовані скрипти, які потребують лише точкового доопрацювання. Мене цікавили логіка побудови моделі, вибір підходу і способи перевірити, чи можна їй довіряти.

Усі інструменти сходяться в кількох базових припущеннях:

• модель будується на тижневих даних;
• прогнозують продажі в упаковках або в грошах, причому частіше радять працювати з упаковками;
• історія даних має охоплювати щонайменше два роки, оптимально від трьох, хоча на практиці якісну модель можна побудувати і на коротшому періоді;
•  ефект реклами враховується із затримкою, найчастіше від одного до восьми тижнів, адже покупці реагують на рекламу поступово;
• модель має дозволяти розрахунок сценаріїв на основі майбутнього медіаплану
• результатом є розкладання продажів на базовий рівень, який бізнес отримав би без реклами, і додатковий ефект від реклами.

ChatGPT пропонує дві окремі моделі: одну для оцінки внеску реклами, іншу для прогнозу. Такий підхід методологічно коректний і на практиці зайво трудомісткий, адже одна якісно побудована модель здатна і розкласти продажі на складові, і дати прогноз.

Grok одразу обирає байєсівську маркетинг-мікс модель і називає готові відкриті інструменти для неї, зокрема Robyn від Meta. Проте серед них немає новішого фреймворку Meridian від Google, який дає більше можливостей задавати очікувану окупність реклами і менш вимогливий до обсягу історичних даних.

Gemini обирає простішу і дуже практичну логіку: регресійну модель, у якій реклама є одним із чинників впливу на продажі. Для багатьох бізнес-задач це найефективніший базовий підхід. Gemini також єдиний пропонує перевіряти модель через окупність рекламних інвестицій (ROI) додатково до статистичних метрик точності.

DeepSeek працює в межах класичного маркетинг-мікс моделювання з акцентом на статистичну коректність і пропонує перевіряти, чи є вплив кожного чинника статистично значущим.

Claude не прив'язується до одного підходу і пропонує обирати модель залежно від задачі, що є безумовним плюсом. У виняткових випадках він радить алгоритми машинного навчання на кшталт випадкового лісу чи градієнтного бустингу, які в бізнес-контексті виглядають сумнівно: їхні результати складно пояснити керівництву, особливо коли йдеться про ефект реклами та планування бюджету.

Кожна наступна гривня, вкладена в рекламу, приносить дедалі менше додаткових продажів, і в певний момент вкладення перестають окупатися. Визначення цієї точки насичення допомагає вчасно перерозподілити бюджет.

ChatGPT відштовхується від заданого бізнесом порогу окупності, будує криву відгуку продажів на рекламу і стежить, скільки приносить кожна додаткова гривня. Сигналом до зупинки стає момент, коли ця віддача опускається нижче порогу.

Grok діє схоже і вважає сигналом до зупинки момент, коли кожна додаткова гривня реклами повертає менше гривні. Він також радить стежити за кривою відгуку: коли реклама вже дає від 70 до 80% максимально можливого додаткового ефекту, крива починає виходити на плато, і продажі дедалі слабше реагують на збільшення бюджету.

Gemini згадує потребу в моделі і основну увагу приділяє показникам рекламних кампаній: частоті контакту, вартості цільової дії (CPA), зростанню вартості тисячі показів (CPM) і зупинці приросту охоплення. Ці показники корисні як додаткова перевірка. Для прогнозу поведінки кривої відгуку і планування бюджету в різних сценаріях потрібна повноцінна модель.

DeepSeek вибудовує найпослідовніший ланцюжок: спочатку модель, на її основі крива відгуку, далі розрахунок віддачі від додаткових вкладень і насамкінець перевірка через показники кампаній.

Claude дає дуже детальну відповідь і намагається охопити всі можливі підходи, від простих регресій до складних нелінійних моделей. Логіка відповіді в цілому правильна. Для прикладної задачі рівень деталізації надмірний: він зміщує фокус з управління бюджетом на сам процес моделювання.

Найкращий результат у цьому експерименті показали ChatGPT і Gemini.

• ChatGPT тримає рівновагу між бізнес-логікою і моделюванням, інколи ускладнюючи там, де це не обов'язково.
• Grok мислить як дата-саєнтист і одразу переходить до моделювання, що добре для глибоких досліджень і не завжди доречно в щоденній аналітиці.
• Gemini найкраще підходить для швидкої оцінки ситуації та перевірки гіпотез, коли рішення потрібне вже зараз.
• DeepSeek найдисциплінованіший з погляду аналітичного процесу: спочатку дані, потім модель, потім висновки.
• Claude знає багато підходів і часто ускладнює задачу настільки, що це заважає швидко перейти до управлінського рішення.

Важливо розуміти, що це якісне порівняння відповідей у межах конкретного тесту, а не універсальний рейтинг моделей.

З власного досвіду, ШІ поки що не здатен дати повністю коректне рішення з першої спроби. Аналітика залишається ітеративним процесом, у якому відповідальність за якість висновків несе людина. Бізнес-моделювання в руках досвідченого фахівця, з ШІ чи без нього, лишається інструментом, який допомагає компаніям ефективніше конкурувати на ринку. На цьому принципі побудована аналітична робота Carat Ukraine, де аналітичні дані доповнюють експертну оцінку.

• Маркетинг-мікс моделювання (MMM) — статистичний підхід, який оцінює внесок реклами, ціни, сезонності та інших чинників у продажі.
• Базовий рівень продажів — обсяг продажів, який бізнес отримав би без реклами.
•  Інкрементальний ефект — додаткові продажі, які забезпечила саме реклама.
• Лаг — затримка між виходом реклами і реакцією покупців.
• Крива відгуку — залежність інкрементальних продажів від розміру рекламного бюджету.
• Точка насичення — рівень бюджету, після якого додаткові вкладення майже не дають приросту продажів.