왜 해녀는 여자들만 할까? 사실 남자 해녀(해남?)도 있었다. 원래 조선 초기까지만 하더라도 제주엔 '포작인(鮑作人)'이라고 하여 전복이나 미역을 채취하는 주체는 남성 해녀가 있었다. 하지만 관가에서 포작인들에게 지운 진상품(전복 등)의 수탈이 매우 심했고 그 외에도 남성들은 귤재배나 국마장 연무, 군역 등에 징집되어 물질에만 전념하기 어려웠기 때문에 도망가는 일이 빈번했다. 그러다 보니 관가에서는 당시 부역이나 공물 납부 의무 대상에서 제외되어 있던 여성에게 전복 채취를 강제하기 시작하고 이것이 관습으로 정착되었다고 한다.
또 한가지 이유는 전통적으로 남성은 먼바다로 나가 배를 타고 고기잡이를 하고, 여성은 인근 연안에서 물질을 하여 전복이나 소라, 미역 등을 채취하는 식으로 노동이 분업화된 것도 있다. 바다에 나가는 남성 어업은 특히 조난이나 사망 위험이 매우 컸기 때문에 가정 경제를 유지하기 위해 여성들이 물질을 담당하는 구조가 자리 잡게 된 것이다.
또한 제주는 육지가 척박해 농업만으로 생계를 유지하기 어려웠고, 이 때문에 여성의 경제활동 참여가 다른 지역보다 훨씬 활발했다. 해녀 물질 수입이 가계의 중요한 축이 되면서 물질하는 여성이 제주 사회에서 자연스럽고 존중받는 역할로 자리잡았고, 세대를 거쳐 어머니에서 딸로 기술과 가업이 전승되는 방식으로 이어졌다. 또한 해녀는 혼자 바다에 들어가는 것이 아니라 해녀 공동체가 중요한 역할을 했다. 해녀들은 물질을 하면서 서로의 안전을 살피고, 채취할 장소와 작업 규칙을 공유하며 경험 많은 해녀가 어린 해녀에게 기술과 바다에 대한 지식을 전수해 주었다. 그러다 보니 해녀는 단순한 직업이 아닌 여성 공동체와 지역사회의 경제문화적 구조가 되었다.