ポインターイベントを拾わずに子要素に伝える

pointer-events: noneを使えばいいらしい。

.foo {
  pointer-events: none;
}

参考にしたサイト様

• pointer-events - CSS: カスケーディングスタイルシート | MDN