Графы, растры и
море: как
школьники создают
будущее геоаналитики
Графы, растры и море: как школьники создают будущее геоаналитики
Уровень сложности
Средний
Время на прочтение
6 мин
Количество просмотров
58
Блог компании ВТБ• Экономика » Финансы » Банк » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Гр » Группа ВТБ » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Оа » Банк ВТБ Геоинформационные сервисы• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект * Машинное обучение• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение * Алгоритмы• Информационные технологии » Информатика » Программирование » Алгоритм
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Алгоритм
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Алгоритм *
Ретроспектива
Наша команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
Привет, Хабр! Меня зовут Алексей Пустынников , я руководитель команды• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
геоаналитики в банке ВТБ• Экономика » Финансы » Банк » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Гр » Группа ВТБ » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Оа » Банк ВТБ. Сегодня я хочу рассказать вам об интересном проекте,
в котором участники конкурса «Большие Вызовы» решали сложные задачи в сфере
геоаналитики и машинного обучения• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение.
Представьте: лето, море, Сочи... А вы старшеклассник, которого внезапно
приглашают не просто отдохнуть, а взяться за работу. Причем не за простую
работу — вас ждут задачи с графовыми нейросетями• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети, сложными моделями машинного
обучения• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение и анализом данных• Математика » Теория вероятностей и статистика » Математическая статистика » Анализ данных. Добро пожаловать в образовательный центр «Сириус»,
где отдыхает лишь ваше представление о том, что школьники должны просто
зубрить учебники.
Программа «Большие вызовы» — это не просто школьный кружок. Здесь все
по-взрослому: реальные бизнес-задачи, большие данные, командная работа и
дедлайны, которые не щадят никого.
В этой статье я расскажу, как школьники справились с этим непростым испытанием
и доказали, что молодежь способна удивлять.
Описание проекта
Геоаналитика — важный инструмент для бизнеса. Компании принимают решения,
опираясь на данные о локациях. Однако стандартные методы геоанализа не всегда
учитывают сложные связи между районами и объекты в их окружении. Например,
реки и железные дороги• Транспорт » Железнодорожный транспорт » Железные дороги могут разделять районы, что часто игнорируют
традиционные модели.
Мы с коллегами из ВТБ• Экономика » Финансы » Банк » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Гр » Группа ВТБ » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Оа » Банк ВТБ предложили команде• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) школьников задачу: создать
универсальные гео-эмбеддинги — векторное представление данных о локациях,
которое можно использовать для различных задач. Чтобы решить эту проблему, они
применили графовые нейросети• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети, которые помогают лучше учитывать топологию
местности и связи между объектами.
Команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
Проект объединил четверых учеников старшей школы, каждый из которых внес свой
уникальный вклад:
Данис Динмухаметов — ученик 10 класса• Информационные технологии » Информатика » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Информационные технологии » Информатика » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование) с четырьмя годами опыта в
программировании. Полтора года назад он увлекся машинным обучением• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение и
искусственным интеллектом• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект.
Данис Динмухаметов
Юлия Цыганок — ученица 10 класса• Информационные технологии » Информатика » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Информационные технологии » Информатика » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование), увлеченная компьютерным зрением• Информационные технологии » Искусственный интеллект » Компьютерное зрение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Компьютерное зрение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Компьютерное зрение и
искусственным интеллектом• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект. Участвовала в летних буткемпах и конкурсах.
Юлия Цыганок
Ксения Максименко — начала свой путь в машинном обучении• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение недавно, но быстро
развивает свои навыки в области анализа данных• Математика » Теория вероятностей и статистика » Математическая статистика » Анализ данных.
Ксения Максименко
Динияр Муратшин — с восьмого класса• Информационные технологии » Информатика » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Информационные технологии » Информатика » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование) занимается машинным обучением• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение на
бесплатных образовательных платформах. В девятом классе• Информационные технологии » Информатика » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование)
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Информационные технологии » Информатика » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Языки программирования » Типы данных » Структуры Данных » Класс (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Парадигмы программирования » Объектно-ориентированное программирование » Класс (программирование) уже участвовал в
практических проектах.
Динияр Муратшин
Почему они выбрали именно этот проект? Каждый из участников отметил, что выбор
проекта по гео-эмбеддингам был продиктован его сложностью и актуальностью. В
отличие от других проектов, связанных с более привычными задачами вроде
компьютерного зрения• Информационные технологии » Искусственный интеллект » Компьютерное зрение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Компьютерное зрение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Компьютерное зрение, здесь предстояло погрузиться в малоизученную и
перспективную область — графовые нейронные сети• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети. Им было важно не просто
применить готовые решения, но и разработать что-то новое, что могло бы иметь
реальное практическое применение.
Проект от ВТБ• Экономика » Финансы » Банк » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Гр » Группа ВТБ » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Оа » Банк ВТБ дал ребятам возможность выйти за рамки обычного школьного
обучения и столкнуться с настоящим вызовом.
Как это было: этапы работы над проектом
Сбор данных и их подготовка
Первой задачей команды• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) стало получение и обработка данных.
Мы предоставили данные по четырем крупным городам: Москве• Россия » Регионы России » Субъекты Российской Федерации » Города федерального значения России » Москва, Санкт-Петербургу,
Сочи и Казани• Россия » Федеральные округа РФ » Приволжский федеральный округ РФ » Республика Татарстан » Населенные пункты Татарстана » Казань (все данные были агрегированы и обезличены). Работать с таким
массивом информации, особенно когда речь идет о реальных транзакционных и
геоданных, — это серьезная задача. Мы не могли позволить себе, чтобы ребята
потерялись в этих объемах, поэтому помогали им на каждом этапе.
В этих данных содержались:
Транзакционные данные от разных бизнесов, что позволило анализировать
экономическую активность в различных зонах;
Геоданные: расположение остановок общественного транспорта• Транспорт » Общественный транспорт, зон, областей и
регионов в городах• Россия » Города России, данные о торговой активности и др.
Демографические данные : средний возраст, пол и др.
Информацию о метро участники добавляли самостоятельно из открытых источников.
Данные были агрегированы в геосетку с разрешением 500x500 метров, что
позволило структурировать их и сделать более удобными для обработки и анализа.
Сетка 500x500 метров
Этот шаг позволил создать единую базу данных, которая объединила
географические и социально-экономические показатели.
Обработка пропущенных данных
Многие признаки были разрежены, что могло навредить качеству моделей. Поэтому
команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) занялась устранением пропусков в данных. Признаки, такие как
демография или данные о застройке, были заполнены лишь на 30–40%. Для работы с
графами разработаны специальные алгоритмы• Информационные технологии » Информатика » Программирование » Алгоритм
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Алгоритм
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Алгоритм заполнения данных, один из них —
метод Feature Propagation . Это техника использует информацию от соседних
узлов в графе для заполнения пропусков в данных.
Как выглядит метод по шагам
Графовые нейросети• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети и message passing
Для построения моделей команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) изучила методы работы с графами. В основе
использованных моделей лежали различные архитектуры графовых нейронных сетей• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети,
такие как GraphSAGE , GCN и GAT. Все эти подходы обобщаются в единую
парадигму, называемую message passing.
GCN — это классическая архитектура, использующая графовые свертки;
GraphSAGE — один из первых методов, использующий обучение на подграфах. Такой
подход позволяет не только эффективно обучать модели на огромных графах, но и
получать эмбеддинги для данных, которые не были представлены в обучающей
выборке;
GAT использует механизм внимания для агрегации информации.
Как работает Message Passing
Работа с растровыми изображениями
Идея использовать растровые изображения пришла в ходе наших совместных
обсуждений. Мы понимали: даже графовые нейросети• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети не смогут эффективно учесть
все нюансы ландшафта.
Поэтому дополнительно команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) использовала многоканальные семантические карты• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Инженерия знаний » Онтология (информатика)
• Информационные технологии » Искусственный интеллект » Инженерия знаний » Онтология (информатика)
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Инженерия знаний » Онтология (информатика)
, которые включали информацию о физических барьерах, таких как реки, железные
дороги• Транспорт » Железнодорожный транспорт » Железные дороги и магистрали. Эти данные позволили улучшить учет локальных особенностей
районов и повысить точность моделей. Растровые изображения помогли учесть не
только топологические связи, но и физические особенности локации.
Например, для Москвы• Россия » Регионы России » Субъекты Российской Федерации » Города федерального значения России » Москва добавление растров улучшило метрику R² на несколько
процентов.
Как растры улучшают качество
Команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) использовала для обработки изображений• Информационные технологии » Информатика » Обработка сигналов и изображений » Обработка изображений библиотеки, такие как Rasterio
и timm.
Построение и обучение моделей
После сбора и предобработки данных, а также изучения теоретической части
команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) приступила к построению моделей. Их обучение происходило на основе
вышеописанных архитектур графовых нейросетей• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети. Было решено попробовать как
semi-supervised, так и unsupervised learning подходы, что позволило обучить
модели на данных, где не всегда была полная разметка .
Процесс обучения включал как transductive (модель обучается на всем графе),
Transductive Learning
так и inductive learning (обучение происходит на подграфах, что позволяет
масштабировать модель и применять ее на новых данных).
Inductive Learning
Отдельное внимание команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) уделила настройке гиперпараметров и выбору лучшей
архитектуры. В этом процессе использовали инструменты для оптимизации
гиперпараметров, такие как Optuna .
После всех этапов работы — от сбора и подготовки данных до применения графовых
нейросетей• Информационные технологии » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Интеллектуальные информационные системы » Самообучающиеся системы » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Использование искусственного интеллекта » Распознавание образов » Нейронные сети
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение » Распознавание образов » Нейронные сети
• Технологии » Нейронные сети и работы с растровыми изображениями — команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) подошла к самому
важному этапу: анализу результатов и оценке созданных моделей.
Результаты
Одной из главных для оценки качества моделей стала метрика R², которая
использовалась для оценки точности прогноза средней выручки бизнеса в локации.
В ходе работы команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) сравнивала результаты с базовыми моделями, такими как
линейная регрессия и градиентный бустинг.
В экспериментах были проверены различные подходы, в том числе и с
использованием предобученных гео-эмбедингов в базовых моделях. Наибольшее
качество показали нейросетевые подходы для городов• Россия » Города России со сложной географией,
такие как Сочи и Казань• Россия » Федеральные округа РФ » Приволжский федеральный округ РФ » Республика Татарстан » Населенные пункты Татарстана » Казань, где прирост был значительным.
Результаты, полученные участниками, представлены в таблице:
Метрика R²
Полученные результаты имеют значительный потенциал для использования в
реальных бизнес-задачах. Например, модели могут помочь ретейлерам• Торговля » Розничная торговля выбирать
оптимальные места для открытия новых точек продаж, банкам• Экономика » Финансы » Банк » Банки России
• Экономика » Экономика России » Банки России
• Россия » Экономика России » Банки России — принимать решения
о размещении отделений, а рекламным агентствам• Реклама » Рекламное агентство — таргетировать аудиторию при
размещении наружной рекламы• Реклама » Наружная реклама.
Рефлексия участников
Завершив проект, каждый из участников поделился своими мыслями о проделанной
работе, ее сложности и выводами, которые они сделали.
Команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) школьников и эксперты ВТБ• Экономика » Финансы » Банк » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Гр » Группа ВТБ » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Оа » Банк ВТБ
Основные трудности, с которыми столкнулись школьники, касались как
технических, так и организационных аспектов. По мнению одного из ребят, самым
сложным этапом стало объединение всех компонентов проекта в единое целое. В
процессе работы они быстро осваивали методы и техники, но к концу проекта
количество задач и объем данных стали серьезным испытанием.
Сложность задач заставила их выйти за пределы привычного обучения, и каждый
отметил, что этот опыт обогатил их представления о машинном обучении• Информационные технологии » Искусственный интеллект » Машинное обучение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект » Машинное обучение. « Было
непросто, но это того стоило », — поделился один из участников.
Видеть, как ребята размышляют над сложными задачами, было для нас особенно
ценно. Их способность преодолевать трудности приятно удивляла.
Заключение
Вот так и получилось: команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) ребят, графы, растры и несколько недель
интенсивной работы — и на выходе у нас модели, которые могут менять подходы к
геоаналитике. Приятно видеть, что за этими сложными задачами стоят не только
опытные специалисты, но и молодые таланты. Мы, команда• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование)
• Информационные технологии » Информатика » Программирование » Интерфейс пользователя » Команда (программирование)
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Интерфейс пользователя » Команда (программирование) экспертов из ВТБ• Экономика » Финансы » Банк » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Гр » Группа ВТБ » Банки Группы ВТБ » Банк ВТБ
• Объект организация » Организации по алфавиту » Организации на Оа » Банк ВТБ,
гордимся быть частью их пути и верим, что этот проект станет лишь началом для
великих свершений в их карьере.
