
Microsoft представила FinanceBench — систему оцінювання, яка безперервно покращує Copilot в Excel для фінансової роботи, зокрема моделювання, аналізу та звітності, — повідомляє компанія у блозі Copilot.
Що таке FinanceBench
FinanceBench — один із понад 20 бенчмарків, якими Microsoft міряє якість Copilot в Excel. Він зібраний із понад тисячі кейсів, написаних і перевірених фінансовими фахівцями. Кейси відтворюють багатокрокові завдання реального аналітика, FP&A-лідера чи банкіра: трьохзвітні моделі, DCF, порівняльний аналіз ринку, LBO, прогнозування на драйверах і управлінські звіти.
Джерела кейсів — практики через експертні партнерства, робота з клієнтами і інженерами, дослідження користувачів та аналіз виробничих сигналів. Завдяки постійному притоку даних бенчмарк еволюціонує разом із продуктом.
Як влаштований кейс
- Початкові артефакти: реальна модель з усією складністю та «примхами» даних, плюс додаткове підґрунтя.
- Промпти: завдання користувача, зокрема багатокрокові діалоги.
- Очікуваний результат: робоча книга або інші артефакти з ідеальним виконанням.
- Рубрики: деталізовані критерії для оцінки відповіді.
Крім фінансових процесів, Microsoft варіює «форму» робочих книг, джерела даних, складність і використані функції. Це дає змогу точково міряти якість у конкретних сценаріях — наприклад, «підсумування моделі прогнозу доходів у великих книгах із зведеними таблицями (PivotTables)».
Рубрики і їхня складність
Рубрики охоплюють коректність, завершеність завдання, оформлення та дотримання кращих практик Excel. FinanceBench заглиблюється далі: перевіряє формульні зв’язки, конвенції моделі, лінки між припущеннями та драйверами, а також можливість аудиту.
Microsoft ділиться типовими помилками: надто вузькі критерії карають коректні альтернативи (наприклад, вимога XLOOKUP, коли INDEX+MATCH також правильні), а надто загальні можуть пропустити помилки (підтвердження підсумку без перевірки, що він формульний, а не «вбитий» значенням).
Як оцінюють результати
Детерміновані перевірки (очікувані значення в клітинках, формульність проти «хардкоду») виконує кодовий «грейдер». Ширші критерії — читабельність моделі, відповідність форматування задачі — перевіряє агентний грейдер, тобто модель ШІ, що інспектує книгу і виставляє оцінку за пунктами.
Важливість критеріїв можна зважувати — наприклад, сильніше враховувати точність і форматування — і формувати підсумковий бал. За даними Microsoft, усі кейси додатково переглядають фінансові експерти, щоб підтвердити реалістичність і коректність.



