d_kishkinev (d_kishkinev) wrote,
d_kishkinev
d_kishkinev

Categories:

Учу DeepLabCut - крутой deep learning фреймворк на Python для pose estimation

DeepLabCut (DLC) - это open source проект, использующий deep learning для автоматического видео трекинга человека, животных или даже любых иных объектов (живые клетки, частички, неодушевленные объекты), и не просто трекинга "центр массы объекта" (это сейчас могут многие проги типа пакетов в R), а "умное" распознавания частей тела на каждом фрейме. При чем большой прорыв тут в том, что никаких прикрепленных markers, потенциально изменяющих поведение, не нужно, т.е. это markerless approach.

DLC - это разработка быстро растущего коллектива девелоперов, изначально вокруг такого чувака Alexander Mathis (постдок из Harward University и скоро завлаб в EPFL (École polytechnique fédérale de Lausanne), Швейцария) и его жены Mackenzie W. Mathis, но теперь проект набирает скорость и популярность, подключаются новые разработчики.

Демонстрация возможностей DLC для автоматического определения "скелета" позы множества животных (при этом вы обучаете программу делать определение поз только на некоторых фреймах - модель далее применима на множестве новых видео с разным количеством животных, при несколько разных углах и освещениях)


дрозофила откладывает яйца


Презентация проекта от создателя


На рынке есть некоторые, даже иногда довольно развитые, программные продукты для video tracking, но они с проприетарными и негибкими алгоритмами, часто заточенными на pre-clinical trials и популярных модели типа крысы/мыши. К тому же они неоправданно дорогие (например EthoVision от Noldus начинается от 5000 фунтов и далее по 1,5k за допмодули). Эта платформа бесплатна и чрезвычайно гибкая. Есть GUI, но в целом нужно или очень желательно знать Python. Конечно есть проблемы и документация вызывает вопросы, но в целом всё круто.

Мы планируем использовать DLC для нескольких проектов для оцифровки сложных поведенческих актов у животных (например, сканирующие движения головы у птиц в изменяющемся магнитном поле или расположение разных частей тела у рыб в одиночку или в стае).

Проект с документацией, тьюториалами выложен на Github, а еще есть отдельный информационно-демонстрационный сайт.
Tags: ai, behavioural neuroscience, computer vision, neuroethology, neuroscience, science, science popularization
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments