不能。不论是认定行政违法还是认定犯罪，要求的都是事实清楚，证据确凿。按摩女一个人的证言属于“孤证。”“孤证”是不能定罪的，孤证同样也不能认定违法。何为“孤证”？就是一份证据，比如题主所说的按摩女的证言就是一份证据。
刑诉法中，最典型的“孤证”是犯罪嫌疑人的供述，只有犯罪嫌疑人的供述，没有其他证据予以佐证的，不能认定行为人有罪。比如，你有一天突发奇想，到派出所供述你犯罪了，但警察找不到你犯罪的其他任何证据，仅凭你的口供是不能认定你有罪的。
“孤证”为什么不能定案？
原因很简单，孤证无法准确认定案件事实，不能排除其他可能性。我国目前认定犯罪的标准是：犯罪事实清楚、证据确实、充分，“孤证”根本达不到这个标准。即便是犯罪嫌疑人自证其罪。
回到题主的问题，按摩女的口头证言只是一份证据，属于“孤证”，不能仅凭按摩女的口头证言认定嫖娼。比如某按摩女证实你嫖娼，但警方到现场勘查后，找不到你涉嫌嫖娼的任何其它证据，那就不能认定你涉嫌嫖娼。以上都是理论上的，是用来指导实践的。
在实践当中，只要按摩女指认你涉嫌嫖娼了，只要警方排除了按摩女报假警的可能，警方会宁可信其有，为什么会这样呢？
你想啊，只要你是嫖娼，按摩女就涉嫌卖淫，你俩是一条绳上的蚂蚱，按摩女冒着自己违法的危险来指认你，可见，你说你嫖娼的可能性会有多大？所以，警方会首先选择听信按摩女的证言。
然后就是警方的取证了，比如现场有没有粘有液体的纸巾、避孕套、精液、毛发等物证，有没有你出入按摩店的监控视频等视听资料，有没有微信转账记录、支付宝转账记录等书证，有没有其他的证人证言等。
如果上述证据没有提取到，警方还有最后的杀手锏，就是把你传唤到派出所，对你进行轮番“轰炸”，只要你确实嫖娼了，就很难躲过警方的盘问，他们会用尽各种侦查手段让你说出来的，你千万不要低估了警方的实力。
只要你吐口了，那再也不是孤证啦，你和按摩女的证言相互印证，妥妥的卖淫嫖娼，两个一起进拘留所吧！
另外，卖淫嫖娼这种事，在现实当中基本都是抓现行，因为不是抓现行，卖淫女和嫖客基本都不会承认的，警方也很难在不抓现行的情况下，掌握其它确实的证据。