小葡藉由东亚贸易发了大财后，也面临着内外诸多困扰与挑战。小葡成为暴发户之后，消息很快地传遍整个欧洲，吸引到几个国家的高度关注。都想要与垄断对华贸易的小葡正面对决。
西班牙入场，窥视澳门
第一个登场就是大哥西班牙，有别与小葡是绕过非洲，从印度洋到亚洲。邻居西班牙则是在新大陆鬼打墙一阵子，最后就由麦哲伦完成全球航行后，才知道渡过太平洋也可以抵达亚洲。于是西班牙人开辟了一条替代好望角的亚洲航线。一五七一年，天主教大哥西班牙在菲律宾的马尼拉正式建立居留地，随即耶稣会的狗头军师出谋献策，想要以马尼拉为基地征服中国，被教训了一顿后，才知道大明哥不是美洲那些土著，不是好惹的，很快调整了对话策略。不久西班牙与小葡三秒合体，两国合并。但澳门马照跑，舞照跳。小葡国旗照挂，原有的贸易正常运行。不过菲律宾的西班牙人仍对澳门的富庶念念不忘，不断派遣使者到中国，希望也能与中国做做生意。只是大明哥与小葡有着深厚的“甜蜜爱情”，狠狠拒绝了西班牙。眼看小葡与中国都非常强硬，西班牙人碰着一鼻子灰，灰溜溜地转往吕宋，专心于墨西哥之间的大洋贸易。赶跑了西班牙人后，小葡继续独享东亚的贸易航线，在澳门数钱数到手抽筋。
海上马车夫，争夺澳门失败
不过好日子没多久，这时又出现了另一位竞争对手，就是欧洲小清新荷兰，最初荷兰得知小葡从东方带回香料后，也争先恐后地前往里斯本购买，毕竟小葡的香料直接从产地进口，价格比那些威尼斯奸商便宜多了。荷兰本来是大哥西班牙统治下的一个省而已，后来因为不爽大哥残暴统治，从一五六八年开始打独立战争。但在一五八零年，西班牙国王腓力二世二世兼任葡萄牙国王，西葡合体，大哥为了惩罚小老弟，封锁里斯本与荷兰之间的贸易，忽然之间荷兰的货源就这样断掉了。但在商业间谍的帮助下，荷兰取得了小葡的航海秘密，随即派出商船船和战舰前往东方。一六零一年，荷兰舰队出现在亚洲海域，宣告着荷葡大战即将来临。隔年荷兰东印度公司成立，荷兰就像打通任督二脉一样不断壮大。一开始荷兰醉心于摩鹿加群岛的香料贸易，但发现澳门非常会赚钱，于是逐渐看向中国与日本。攻占澳门、建立基地就成为了荷兰人的战略目标之一。
一六零五年荷兰军舰到达澳门，想把澳门占为己有，两国在澳门大打出手，但小葡防御坚固，荷兰人无功而返，此后荷兰人隔三差五的就到澳门骚扰。不过都没有成功。然而荷兰人却不想放弃。一六一一年，荷兰人取得与日本的贸易许可，但仍然无法直接获得中国的商品，因此夺取澳门成了唯一出路。一六二年四月十日，荷兰东印度公司总督科恩从巴达维亚出发，带领八艘军舰、一千多名士兵，准备进攻澳门，荷兰舰队边走边打。六月十一日抵达澳门时，战船增加到十三艘，但士兵却降低到九百人。但此时小葡的主力正好在中国内地，正在帮大明哥抗清，只留下约六十名葡萄牙人与九十名混血儿。六月十一日凌晨，双方展开激战，虽然葡萄牙人人数较少，但运气不错，火炮打中荷兰人舰队的弹药库，重创了荷兰官兵，葡萄牙人联合黑人越战越勇，把荷兰人赶下了大海。澳门的葡萄牙人以少胜多、击溃了荷兰的入侵。小葡认为这定是圣母显灵，决定把六月四日定位城市日。这传统一直保持到一九九九年澳门回归前。
由于澳门难以攻陷，也让荷兰人放弃独占中日贸易的美梦，这才转向澎湖与台湾发展，转向跟西班牙人竞争，也才有了日后与国姓爷郑成功的一战。如果荷兰人打下澳门，也就没有后来台湾的事情了。来硬得不行，荷兰人就开始来阴的，蓄意挑拨小葡和日本的关系，和日本说小葡要教徒都归顺教皇，本来对贸易纠纷就有点不爽的日本得知后在一六二四年驱逐了西班牙与葡萄牙人，澳门与日本的贸易大受影响，最终于一六三九年完全中断。
身为十足的商人，对传教完全没兴趣的荷兰人就此独占了对日贸易。而日本从荷兰的身上学到了西洋学术，对锁国中的日本影响很大，称为兰学。两年后，荷兰人攻陷了葡萄牙人的亚洲大本营，就是马来半岛上的马六甲，彻底控制了东方贸易的生命线，葡萄牙帝国开始分崩离析。与此同时，葡萄牙人决定摆脱西班牙的统治复国，宣誓效忠葡萄牙的新任国王，结果遭到菲律宾的西班牙人报复，切断了澳门与马尼拉的贸易往来，澳门就是没落。
清朝政府加强对澳门的管理，最后澳门沦陷
一六四四年，大清哥取代大明哥，但为了表示正统，于是也沿用大明哥的制度，让小葡继续在澳门做生意。不过为了防范郑成功等海外反清势力，采取严厉的海禁和迁海政策，不断加强对澳门的管理，还在澳门边界派重兵驻守，又在广州设立海关，就是要加强澳门的税收管理。还限制小葡在澳门增建城墙、房屋等活动。否定小葡对当地华人有管理职权。
很快的时间来到了鸦片战争，结果大清哥日益衰弱，澳门的邻居香港被割让给英国，香港各方面来说都比澳门来得好，因此澳门对外贸易窗口角色逐渐被香港取代。之后小葡趁机尝试向华人征税，停止缴交地租与驱逐大清官员，反正就是看大清哥是个废物。最终一八八七年，小葡与大清哥签订《中葡和好通商条约》，正式取得了澳门的永久居住权。澳门就此成为了葡萄牙的殖民地。同时葡萄牙人也把统治范围由澳门本岛南部扩大到整个半岛，并把氹仔和路环两个离岛纳入管辖。面对国际形势巨变、香港崛起，葡萄牙政府虽然想把澳门转型为自由港来挽回颓势，但澳门的贸易政策、港口及城市建设都不如香港。它的国力也远逊于英国。无利可图下，中国商人纷纷前往香港，让澳门变得相当贫困。但太平天国事件后给澳门带来了一线生机，葡奥政府也为经济下了一点猛药，就是黄赌毒。娼妓、赌博与鸦片产业链。澳门怎么成为了嫖客、赌徒，还有烟枪天堂呢？
英国人强势加入，澳门没落
鸦片战争之后，英国取得了香港，让澳门的经济雪上加霜。长久以来，澳门得以生存都是依靠我们清政府的恩惠，葡澳政府靠着卑躬屈膝，在转口贸易上大赚特赚，但依靠他人恩惠的经济模式，根本不是英国这种商业国家的对手。
1845年葡萄牙女王为了拯救澳门经济，宣布澳门为自由港，想要与香港抗衡。自由港就是以后各国船只来澳门做转口贸易，不收关税，也不用经过海关人员。想借以吸引外国商船，但此举却让澳门丧失了唯一的税收来源，经济也不见起色，随着各国商人离去。失业的中国劳工也都撤出了澳门，结果就是香港越来越繁荣，澳门却一蹶不振。但澳门最后却靠黄、赌、毒翻身了，这是为什么呢？
鸦片成为葡萄牙拯救澳门的希望
现在聊聊鸦片，就是毒。一七二九年，雍正七年，当时中国尚未禁烟，葡萄牙人从印度殖民地果阿进口鸦片到澳门，一开始数量不是很多，但却是当时唯一能向中国输入鸦片的洋商，之后，葡萄牙人靠着鸦片发了横财，也引来其他洋人的垂涎欲滴。
十六世纪末，日后葡萄牙人最强的对手终于出现，就是在大海时代胜出的英国人。一开始英国也得借道澳门来贩卖鸦片，但英国人的做法明显比葡萄牙人聪明多了，葡萄牙是官员们自己下来卖鸦片，英国则通过东印度公司来卖，英国政府直出干股，必要时再出动军舰、大炮而已。不过整个十七世纪。葡萄牙人都是被荷兰人压着打。英国人此时很低调，直到一八二零年，这时荷兰经过四次英荷大战，海外殖民地大部分被英国抢走，荷兰本土也被法国入侵，从此从海上马车夫变成了农夫，种了一百多年的农田。直到二战被德国并吞。而新崛起的英国终于找到一个取代澳门的地点，就是伶仃洋，之后输华的鸦片逐步转移到伶仃洋。后来东印度公司更直接从英属印度的孟卖出口鸦片，使得葡属印度的鸦片大受打击，澳门鸦片产业迅速衰落。因为澳门是浅水港，水浅、港载适合帆船停泊，加上地理位置好，所以在帆船时代以转口港来说非常热门。
但一七六零年代工业革命后，出现了机器轮船之类的船只，这类船只吃水较大。需要水深港阔的港口。所以鸦片战争后取得深水港香港的英国，配上更灵活的东印度公司，就顺势取代了澳门。但后来发现香港有一部分的鸦片还是得通过澳门出入中国内地，这让葡澳政府还能从中捞点油水。因为澳门地处西江水网地带，港口又多，小型船只往来非常方便，且澳门华商与与内地沿海有着密切的商贸关系。一八四五年，澳门又变成了自由港，等于给走私开了扇大门，于是澳门成为了仅次于香港的鸦片走私中心，大量的鸦片以走私的方式进入澳门，很多华商也在鸦片产业链上大赚特赚。从鸦片的运输、储存、熬制、到贩售，完全可以独立作业。而澳门政府的态度一方面是包庇。
澳门靠人口买卖开始恢复
另一方面还允许经营另外一项可以发大财的特殊贸易，就是贩卖人口。贩卖人口本来就是葡萄牙的老本行。大航海时代初期，葡萄牙人就以贩卖非洲黑奴闻名。鸦片战争后，中国沦为为半殖民地，西方列强对苦力劳工有强大的需求，这些华工俗称猪仔，而招募办公室就成为猪仔馆。猪仔会去美国修铁路，或者更惨地去秘鲁挖鸟粪，进行低级的劳动工作。卖猪仔是一门有损丰厚的交易，因此澳门开了大量的猪仔馆。现在的大三巴街就是猪仔馆的集中地。鸦片战争后的华工输出大多是从澳门出去的，因为葡澳政府从中抽了不少油水，不但支持买卖人口，还公布各项管理措施以确保秩序。对华商来说，虽然买卖人口在澳门合法，但于道德上却说不过去，怎么可以贩卖自己的同胞呢？但买卖猪仔成本低、利润高，还受到葡澳政府的保护，因此华商都把自己的商铺改为猪仔馆，且层层分工，有一个大猪仔头，上面有猪仔头、猪仔跋、猪仔索等，猪仔头负责与洋人签合约，而猪仔索就像业务员一样到处骗人。
一八五零年代后期，澳门的猪仔贸易空前繁荣，靠猪仔生意过活的人多达三到四万人。这批黑道商人、人口贩子、地痞、流氓、嗜赌成性，也是澳门赌博业兴起的关键。当时为了诱骗华工出国，其中一个手段就是设局诱骗华工到赌场赌博。倾家荡产后就会被迫签下卖身契约。然后就被猪仔头卖掉了，而猪仔头几乎没什么风险，但利润爆高。不少华商靠着买卖猪仔发家致富。
人口买卖被禁后，澳门开始以赌为主业振兴经济
一八七四年，葡澳政府受到中外的各方压力，被迫停止猪仔生意，澳门经济就此陷入绝境。但是还好赌博业兴起，这些靠猪仔发大财的华商，又顺势把钱转去了博彩业。从澳门开港以来，赌博这个特殊行业就已经在澳门流行了。十八世纪中叶，虽然澳门禁娼、禁赌，但澳门的赌博和娼妓在当时就已颇为常见。从澳门开港以来，广东来的码头工人、建筑工人也带来了各种赌博。鸦片战争之后，澳门经济一蹶不振，为了振兴经济，澳门总督把赌博合法化，但更大的关键点在于一八六七年前后，广东政府禁赌，使得赌徒不得不前往澳门与香港，这两个背离王法之地，但香港一八七二年也禁赌。大批赌性坚强的香港赌徒，结伴前往澳门赌博，澳门也就成为了赌博天堂。因此晚清时的澳门街头总是布满了华人开设的赌馆，葡澳政府也从赌税中发了大财。那时赌税占了全澳门税收的百分之六十五到七十五，所以澳门靠着黑色经济、鸦片、贩卖人口与赌博撑起了一片天。而黑色经济还有重要的一环就是性产业。澳门著名的红灯区福隆新街已有一百五十多年的历史，在一八六二年以前，这里还是一片荒芜。澳门总督为了开发这一带，鼓励商人到此开发，被允许嫖、赌和吸食鸦片，在这里公开营业，被划定北边为烟馆和赌馆，南边为妓院，打造完美的黄、赌、毒一条龙，在全盛时期，这里有六十多间妓院，妓女人数破千人，所以黄、赌、毒本是一家亲，澳门政府靠着黑色产业链赚了大钱。也是有其历史因素的。中国内地因为太平天国事件，来了一群难民与土豪，分别提供了便宜的劳力与发展用的资金，这两样完美的结合，因为刚好香港要崛起，澳门的衰落不得不让澳门往黄、赌、毒靠拢，开创了澳门经济的新时代，也可以说澳门取得了天时、地利与人和，把黄、赌、毒发扬光大。