1、当前面的名词表示特指某个人或者某些人的时候，用所有格形式
2、当前面的名词直接用来修饰后面的名词的时候，不用所有格，用原型。
举个例子，比如说，my teacher’s hair，这个是特指，“我的”老师的头发，就是说那个老师是特定的，所以要用所有格形式。但如果说，note book，就是笔记本，这个本子就是用来记笔记的，所以note就用原型。
对于你所说的man和woman的问题，这个属于初中英语的难点之一。
1、man和woman用来形容人的时候，是随着后面名词的单复数改变的。同时注意，只有形容“人”的时候是不用所有格的。
表示男...女...都是单数用man和woman，复数用men和women
举个例子，男老师，单数是man teachers，复数是men teachers；
女老师，单数是woman teachers，复数是women teachers。
2、对于你所说的用men还是men's的问题
其实是这样的，如果是men clothes，意思是这个衣服是男人，这显然是不对的
men's clothes，是把men当成一个人群，并且是个特定的群体，即用了一个名词所有格形式，就是说是男人的衣服。