Мы уже писали о том, как роботы могут использовать машинное обучение, чтобы адаптироваться к объектам, которых они никогда не видели и к ситуациям, в которых они никогда не были. Подобная группа исследователей из Корнельского университета тоже работает над технологиями, позволяющим роботам эффективно распознавать объекты и ориентироваться в окружающей обстановке, прежде чем роботы станут действительно полезными в домашней обстановке.
У людей есть способность выделять нужные объекты из изображения окружающей среды и игнорировать всё остальное. К сожалению, роботы, пока ещё так действовать не умеют. Им приходится анализировать каждый пиксель (и все пиксели вместе) изображения того, на что он смотрит, и принять решение, есть или нет в поле зрения того, что его интересует. Так что, если попросить робота пройтись по комнате и найти, например, компьютерную клавиатуру, он будет методично изучать каждую пиксель-эквивалентную площадь, пока не найдёт то, что нужно. Пока робот, возможно, найдёт таким способом искомый предмет, это займёт примерно вечность…
Поэтому исследователи из Корнельского университета решили научить роботов искать предметы примерно так, как делаем это мы – классифицировать изображения окружающей среды (“сцены”) на общие категории, а потом анализировать, как эти категории соотносятся друг с другом.
Например, если Вы входите в комнату и хотите найти компьютерную клавиатуру, Вы сначала бессознательно определяете места, на которые вам не нужно обращать внимание (стены, потолок и, может быть, пол). Затем, если Вы не сразу заметите клавиатуру, Вы посмотрите более пристально на то место, где клавиатуру реальнее всего найти - в непосредственной близости от компьютера.
Робот “Cornell” делает примерно то же самое (см. видео).
Чтобы робот смог успешно выполнить поставленную задачу, перед этим он должен пройти курс машинного обучения. Сначала роботу показывают серию из примерно 50-ти “сцен”. Причем большинство объектов на “сцене” помечено. Робот считывает метки и запоминает характеристики соответствующих объектов (например, цвет, текстуру, расположение близлежащих объектов). Затем, используя эти характеристики робот может полностью классифицировать новые объекты в окружающей среде, которая ему еще не встречалась.
Вооруженный такими “знаниями” и таким способом мышления, робот может войти в комнату, в которой он никогда не был ранее и “знать”, что, раз он заметил монитор, то клавиатура будет лежать неподалеку от монитора и нужно искать около монитора.
… Вот она, клавиатура, справа от монитора!