Data Engineering в дипломе: как анализировать скидочные акции на примере DeWalt

Введение

В марте 2026 года Amazon анонсировал распродажу DeWalt инструментов со скидками до $190. Для IT-специалиста это не просто новость, а кейс для data-driven подхода: как спрогнозировать оптимальный размер скидки, какие товары выгоднее уценить, и как автоматизировать сбор и анализ таких данных. Встраивая реальный бизнес-контекст в диплом, вы получаете живую защиту и готовое портфолио. Ниже — конкретная схема превращения этого кейса в ВКР по Data Engineering.

Основная часть: от новости к дипломному проекту

Глава 1 – Аналитический обзор и постановка задачи

В первой главе вы проводите анализ предметной области. Ссылаясь на статью о DeWalt, обоснуйте актуальность: ритейлеры теряют прибыль из-за неоптимальных скидок. Используйте ГОСТ 34.601-90 для описания стадий создания автоматизированной системы. Приведите сравнительную таблицу трёх подходов к прогнозированию цен (статистический, ML, гибридный) с метриками точности – MAE и RMSE.

Обязательно включите обзор нормативных документов: ISO/IEC 25010 для оценки качества данных, DAMA-DMBOK для управления данными.

Глава 2 – Проектирование ETL-пайплайна

Разработайте архитектуру сбора данных о скидках. Используйте C4-модель: контейнерный уровень показывает Airflow (оркестратор), PostgreSQL (хранилище), и Python-скрипты для парсинга. Ниже пример DAG для Apache Airflow – он реально сэкономит часы при защите, показывая знание индустриальных практик.

from airflow import DAG
from airflow.providers.postgres.operators.postgres import PostgresOperator
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta

def collect_dewalt_data():
    # логика парсинга страниц Amazon
    pass

with DAG('deals_pipeline',
         start_date=datetime(2026, 4, 1),
         schedule_interval='0 6 * * *',
         catchup=False) as dag:
    parse = PythonOperator(task_id='parse_amazon', python_callable=collect_dewalt_data)
    load = PostgresOperator(task_id='load_to_db',
                            sql='INSERT INTO deals VALUES (...)')
    parse >> load

Покажите, как вы обеспечиваете отказоустойчивость (retries, SLA) – это приятно удивит комиссию.

Глава 3 – Эксперименты и оценка эффективности

Проведите A/B-тест на исторических данных: сравните скидки, предложенные вашей моделью, с фактическими. Метрики: ROI (Return on Investment) и прирост выручки. Результаты оформите через дашборд в Tableau или Grafana – это заменит десяток страниц текста.

В дипломе обязательно опишите соответствие ГОСТ 19.701-90 для схем алгоритмов. Комиссия это ценит больше, чем кучу кода без оформления.

Практические выводы (чему вы научитесь)

• Проектировать ETL-пайплайны на Apache Airflow с мониторингом через OpenTelemetry.
• Применять ГОСТ 34 и ISO 25010 для обоснования архитектуры.
• Строить прогнозные модели (LightGBM, Prophet) и считать метрики MAE, RMSE, ROI.
• Оформлять схемы в C4 и алгоритмы по ГОСТ 19 – это повысит балл на защите.
• Автоматизировать сбор данных из веб-источников с управлением конфигурацией в Kubernetes.

FAQ

Какой стек выбрать для ВКР по анализу скидок?

Базовый: Python (Pandas, Scikit-learn), PostgreSQL, Airflow. Продвинутый: Spark для больших данных, DVC для версионирования экспериментов. Для презентации – Grafana или Tableau.

Требует ли вуз обязательного использования ГОСТ 34?

Большинство технических вузов ожидают хотя бы упоминания ГОСТ в первой главе. Если в методичке не указано – добавьте в структуру работы ссылку на ГОСТ 34.601 как эталон для АС.

Где взять данные для модели, если нет доступа к Amazon?

Используйте открытые датасеты исторических скидок (Kaggle, Keepa) или сгенерируйте синтетические. В дипломе важно показать методологию, а не секретные данные.

Как считать эффективность, если нет цифр из отчёта?

Оцените относительное улучшение по сравнению с базовой линией (например, случайные скидки). Метрики: прирост продаж на 12%, снижение товарных остатков. Приведите расчёты с погрешностью.

Источник: Amazon is clearing out these popular DeWalt power tools by up to $190 off (опубликовано 2026-03-16)