Если задача сложная, то есть сайты специально для этого: вставляешь ссылку на видео с ютуб, выбираешь качество и скачиваешь файл. Там это делается по клику на кнопку "Скачать".
Откройте фаербаг и посмотрите размер элементов, скорее всего вы кликаете на родителя. Так же можете определять координаты элемента сами и кликать в любом его месте