第一次是孙悟空刚拜唐僧为师的时候，因为他杀了六个强盗，唐僧不满，责怪于他，悟空一气之下离开唐僧，前往东海龙宫。后来被东海龙王劝回去，结果被唐僧戴上了紧箍咒。
第二次是三打白骨精，孙悟空打死了白骨精，唐僧却受猪八戒的撺掇，认为悟空害的是好人，将悟空逐走。
第三次是“真假美猴王”那一回，孙悟空打死了几个强盗，被唐僧逐走，后来六耳猕猴假扮悟空攻击唐僧，最后被如来佛祖识破。
悟空离开总共只有这三次，其中第一次没有回花果山，后面两次回了花果山。所以他总共只回过两次花果山。
温馨提示：答案为网友推荐，仅供参考