虽说潘石屹在单位比较受到领导的赏识，并且重点培养。
但是，潘石屹对机关的生活并不满意。
工作第二年，单位新分来一个女大学生，潘石屹陪她去领办公桌椅。女大学生反反复复、挑来拣去，潘石屹忍不住催她快点，谁知对方却语重心长地教育他：“这桌子和椅子都要陪我一辈子的啊。”
这句话仿佛被当头棒喝。潘石屹回忆，他回到办公室里，看着一群五六十岁的老同事正襟危坐，他不禁自问：“难道我也要这么坐一辈子么？”
而同时来自经济上的压力，也让潘石屹思索自己充满了太多思索。
潘石屹大学毕业参加工作的时候，领46块钱的工资，加上8块的野外补助。在当时应该算是不错的工资，可就在那一年，潘石屹的两个妹妹相继考上大学了。潘石屹将当时的工资一分为三，把其中的两份寄给她们。”可是这怎么生活呢？
一切都在触动着潘石屹！
正在潘石屹思变的时候，他遇见远在刚刚开放的深圳创业的一位老师。老师告诉他在深圳有很多机会，也能赚到很多钱。潘石屹问：“要那么多钱干什么？”由于很难回答这个本来属于常识性的问题，老师给他举了一个例子：“就说你身上的衬衫，如果你有钱，你就可以买两件，这样一件穿脏了你就可以换另外一件。”
“活下去”的基本要求，和生活上的种种触动，让潘石屹做出了人生的一个重大决定，辞职到南方去闯一闯。
于是，潘石屹决定下海，并递交了停薪留职报告。局里不批，潘石屹索性拍屁股就走，遂被除名。
1987年，潘石屹变卖了自己所有的家当，揣着80元钱奔向了广东。
潘石屹的第一个落脚点是深圳，因为没有特区通行证，潘石屹花十几元找人带路，钻铁丝网进了深圳。当时他在一家咨询公司工作，深圳天气热得不得了，加之语言也不通，还经常加班加点，他感觉非常压抑，但他已无路可退。据潘石屹说，那是自己最不愉快的一段时间。两年后，怀着大干一番事业的梦想，潘石屹到了海南。
当时的海南，简直就是一个冒险家的聚集地， 从1988年海南建省起，中央给予了海南这个特区超乎想象的优惠政策，这给海南带去了机遇和疯狂，大量资金涌进这里，一时间出现了“十万大军下海南”的盛况。
每天早上，海南都犹如一个新的世界轰隆隆地就升了起来。满街都是热血青年，会集在龙华路和大同路上，热闹得有如集市。有人唱歌，有人作诗，有人卖大饼，还有人谈对象。……全都是内地来到海南凑热闹的，有寻找机会的大学生，有稚气未脱的高中生，有工作几年想逃跑的人，有想脱离土地的农民，有逃婚者……无数各怀心思的人涌向海南岛。
这个杂乱、失去了秩序和平衡的冒险家的乐园，让潘石屹觉得自己简直像重新获得了新生。
当时，潘石屹是跟着一位老板来到海南的，他被任命为砖厂厂长，负责300民工的生产生活问题。条件非常艰苦，但潘石屹充满激情。
潘石屹后来回忆说“那时的海南岛非常缺电，照明用的电都是自己的发电机发的。“小偷经常光顾，夜里提供照明的小发电机一个月内被偷过三次，”潘石屹像讲电影故事一样：“人刚刚躺下，电灯突然灭了，那肯定是发电机被偷了，于是便狂追，直到小偷抬不动了、弃机而逃。
但很快，从1989年末开始，海南建省的热潮过去了，经济停摆了，经济停摆了，凑热闹的那拨人基本都返回大陆了，加上1990年春节前后海南岛刮了一次特大的台风，经济一片萧条。潘石屹管理的砖厂，砖是一块也卖不出去。砖厂的民工走得不到100人了，其中大部分是四川人，也有一部分山东人，都没有饭吃。
”最麻烦的是民工情绪问题，有一天，身为厂长的潘潘石屹正在自己的卧室———一个废弃的水塔里休息，突然一块砖头破窗而入，水塔下面，聚集了上百位谈工资的民工。“想跑都跑不了，只能硬着头皮下去跟他们谈！”
砖是一块也卖不出去，大家的生活也都相当困顿，饥饿难忍的四川人就捉老鼠吃，山东人说，老鼠有毒不能吃。看到这种情景，对比半年前的热血激昂，如今眼前一切都变得死一样的平静，一切似乎都看不到任何的希望和生机。
1990年的春节，因为砖厂停产，没有路费回家。为了象征性的弥补母亲的遗憾，潘石屹在招待所的值班室看春节联欢晚会。但服务员推说要休息，抹杀了那个小小的心愿。潘总说那是他过的最孤独的一个除夕夜，也是最难忘的，因为看不到任何的希望和生机。
面对艰难的现状，潘石屹积极的寻找突破的路子。离开不景气的砖厂后，潘石屹先是摇身一变为海南咨询发展公司总经理，后来又开办了办电脑学习班，虽然潘石屹自己并不懂电脑。
正是在这段时间，潘遇见了在海南体改所工作的易小迪。易推荐潘做了自己组建的“海南省佛学研究会秘书长”，在艰难时期两人建立了深厚的感情，成为很好的朋友。
而通过易小迪，此后潘石屹又认识了海南省体改所的其他几位朋友，这也就是后来被称为万通六雄的其他几个人——冯仑、王功权、王启富、刘军。
潘石屹的人生将要掀开新的篇章！
