如果非要追溯谁最早开辟海上丝绸之路，其实是没法回答的，没人能够把海丝的开通归结到一个人或者一个组织甚至一个国家上，如同陆上丝绸之路一样，海丝的形成也是随着地区之间的交流日益广泛而逐渐发展起来的，所以我们只能去追溯它的形成过程，但无法探究是谁开辟的。
不过，在追溯事物的起源时，我们往往会陷入一个误区，即过分追求“早”，往往把一些看似相关的本质有别的也视为源头，有时候甚至是八竿子打不着的都拉进来，似乎生怕起源晚了就输给谁了。体现在海丝上，这个现象也很严重，有些学者把早期的跨海航行统统视为海丝的源头。
实际上呢，海上丝绸之路，不仅仅是一条海陆航线，更重要的是其中所包含的商业意味。丝绸之路这个概念不是有的，最早由德国学者李希霍芬提出，特指东西方陆路贸易交通路线。那么当它被转移到“海上”时，自然也不能忽视贸易。尽管根据一些考古结果，6000年前我国沿海居民已经具备了航海技能， 5000年前广东一带的陶器也出现在印度洋沿岸，但是这些能否作为海丝的起源，其实是值得推敲的。我们并不能通过这些陶器遗物准确判断当时物质交换的途径究竟是贸易还是人群的迁移。
李希霍芬
从文献记载和考古发现来看，可靠的海丝起源，应当放在秦汉时期。据记载，两广地区的番禺、合浦、徐闻均为重要海港，中国人跟南海诸国有广泛的贸易往来，《汉书》记载：
自日南障塞、徐闻、合浦船行可五月，有都元国，又船行可四月，有邑卢没国；又船行可二十余日，有谌离国；步行可十余日，有夫甘都卢国。自夫甘都卢国船行可二月余，有黄支国，民俗略与珠厓相类。其州广大，户口多，多异物，自武帝以来皆献见。有译长，属黄门，与应募者俱入海市明珠、璧流离、奇石异物，赍黄金，杂缯而往。
海外的明珠、璧流离、宝石都是中国人所渴求的，而与之交换的则是中国的黄金和丝织品。考古发现也印证着这些记载，下图是来自于广州南越王墓的一件银盒，盒身、盒盖均呈多瓣状，根据考古学家的研究，这种形态是西亚波斯一带容器上常见的装饰风格，这件银盒是舶来品。
此外，两广地区汉墓中所发现的水晶、玛瑙质地的珠饰，也很可能是通过海上丝绸之路传入中国的。
△合浦汉墓出土水晶串珠
综上，真正的海上丝绸之路，开通于秦汉时期，其开通最初并非源于正式的国家政令，而是民间由来已久的航海交通与物质交流。