中國(guó)古話說(shuō)的好，“知己知彼，百戰(zhàn)百勝”，這用到國(guó)外的公司也是同樣的道理。小探今天就來(lái)跟你說(shuō)說(shuō)，大公司，尤其是電子商務(wù)領(lǐng)域的大公司們是如何搜集競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)的?

先來(lái)看看美國(guó)的在線零售商的幾大巨頭都有誰(shuí)。

根據(jù) Techcrunch 去年的一篇報(bào)道，亞馬遜無(wú)疑已經(jīng)是占據(jù)了美國(guó)電子商務(wù)的半壁江山，其它零售商像沃爾瑪、Home Depot、Best Buy 的份額都遠(yuǎn)遠(yuǎn)小于亞馬遜了。

 

 

但這并不意味著后來(lái)者主動(dòng)放棄競(jìng)爭(zhēng)向上的機(jī)會(huì)。

路透社在 2017 年就曾報(bào)道過(guò)，沃爾瑪依靠計(jì)算機(jī)程序掃描競(jìng)爭(zhēng)對(duì)手網(wǎng)站上的價(jià)格，以便相應(yīng)地調(diào)整其價(jià)格列表。因?yàn)閮r(jià)格差50美分就可能意味著你的消費(fèi)者就去別家買了。(嗯，沒(méi)錯(cuò)，精明，是哪個(gè)國(guó)家消費(fèi)者都有的事!)

當(dāng)然，大公司并不是你想搜集，就能搜集的。事實(shí)上，亞馬遜的發(fā)言人就表示，該公司已經(jīng)意識(shí)到有競(jìng)爭(zhēng)對(duì)手使用機(jī)器人檢查其價(jià)格列表，并“殘忍地”拒絕了任何機(jī)器人類的“活動(dòng)”。

 

 

(截自路透社新聞報(bào)道)

那到底有沒(méi)有辦法，繞開亞馬遜的檢查，順利爬取它的數(shù)據(jù)呢?當(dāng)然!幾個(gè)亞馬遜前員工，就希望反大公司而行之，幫助客戶，搜集大公司的數(shù)據(jù)。更準(zhǔn)確說(shuō)，“抓取你競(jìng)爭(zhēng)對(duì)手的網(wǎng)上數(shù)據(jù)，無(wú)論是你本身是大公司，還是小公司。”

這就是最近小探從伯克利孵化器 Skydeck 采訪到的一家初創(chuàng)公司 Bungee 在做的。Skydeck 孵化器此前小探已經(jīng)有介紹過(guò)，它是全美較早的公立研究型大學(xué)的校內(nèi)加速器計(jì)劃。它孵化的初創(chuàng)企業(yè)多數(shù)是已有工作經(jīng)驗(yàn)的人，在校生相對(duì)較少。

光明正大地搜集數(shù)據(jù)

就電子商務(wù)領(lǐng)域來(lái)說(shuō)，亞馬遜由機(jī)器人驅(qū)動(dòng)的定價(jià)已經(jīng)代表了零售業(yè)的巨大變化。電子商務(wù)跟實(shí)體店的一個(gè)巨大不同是：你的價(jià)格可以一天變化好幾次。而亞馬遜總是有較低價(jià)，就是因?yàn)樗�能時(shí)刻追蹤競(jìng)爭(zhēng)對(duì)手的價(jià)格變化。

這是怎么做到的呢?主要是零售商通過(guò)其庫(kù)存水平、銷售預(yù)測(cè)和競(jìng)爭(zhēng)對(duì)手的定價(jià)數(shù)據(jù)，用算法幫助進(jìn)行價(jià)格的更新。正因?yàn)槭撬惴��?qū)動(dòng)的，每天甚至可以更新多次。

 

 

(亞馬遜的產(chǎn)品價(jià)格變化)

如果沒(méi)有像亞馬遜或者沃爾瑪這樣用機(jī)器人來(lái)搜集數(shù)據(jù)的話，那就只能動(dòng)用其它武器了：比如虛擬專用網(wǎng)(VPN)、代理、P2P 網(wǎng)絡(luò)等，再加上龐大的開發(fā)運(yùn)營(yíng)，就為了手動(dòng)挖掘?qū)κ值臄?shù)據(jù)。

那如果用機(jī)器人來(lái)搜集數(shù)據(jù)的話，一般又是怎么做的呢?

據(jù) Bungee 產(chǎn)品經(jīng)理 Calrence Chang 介紹，抓取的行為多半是通過(guò)機(jī)器代碼進(jìn)行的。這也是為什么只要網(wǎng)上一搜“爬數(shù)據(jù)”(crawl data)，出來(lái)的都是如何用代碼進(jìn)行爬數(shù)據(jù)。用機(jī)器爬數(shù)據(jù)雖然快，但很容易被“反爬”，這也是為什么亞馬遜能夠識(shí)別“機(jī)器人”的行為，然后進(jìn)行阻止。

 

 

2017年秋季開始，Bungee 的兩位創(chuàng)始人Rajat Nigam 和 Charles Ding 就開始研究，到底有沒(méi)可能自動(dòng)輕松搜集數(shù)據(jù)，而且還不被對(duì)方的機(jī)器人發(fā)現(xiàn)呢?

按照 Bungee 產(chǎn)品經(jīng)理 Clarence Chang 的說(shuō)法，創(chuàng)始人“是希望能有一種工具，可以簡(jiǎn)化全球規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)收集，各種代理、VPN和其他傳統(tǒng)技術(shù)都不需要了。就光明正大地互相收集數(shù)據(jù)吧!”

讓機(jī)器人假裝成人，就不會(huì)被發(fā)現(xiàn)了

如今，Bungee 已經(jīng)成功開發(fā)出了一種 API，讓 API 可以比任何當(dāng)前服務(wù)更大規(guī)模地滿足爬取數(shù)據(jù)(crawl data)的請(qǐng)求，同時(shí)還保持接近完美的爬取成功率。

到底是怎么做到的呢?

很簡(jiǎn)單，機(jī)器人容易被對(duì)方機(jī)器人發(fā)現(xiàn)進(jìn)而阻止，但人就不會(huì)啊!那扮成“正常的消費(fèi)者”不就好了!

試想一下，如果你自己在網(wǎng)上瀏覽各種產(chǎn)品信息的話，一般是怎么做的?是不是先搜索一下這個(gè)產(chǎn)品，進(jìn)入電商頁(yè)面后，還會(huì)上下滑動(dòng)頁(yè)面，回到主頁(yè)再比較一下不同的價(jià)格，甚至?xí)�看看點(diǎn)評(píng)?

事實(shí)上，Bungee 就是這樣做的。Clarence告訴小探，如果是機(jī)器的話，一般是一個(gè)固定的IP地址，進(jìn)入網(wǎng)站后，就不斷地點(diǎn)擊產(chǎn)品鏈接，獲取價(jià)格數(shù)據(jù)。但是，Bungee 通過(guò)“模擬”人在挑選頁(yè)面的動(dòng)作，比如停留的秒數(shù)，滑動(dòng)的次數(shù)等，從而讓機(jī)器做到像“人類”一樣“購(gòu)物”。如今，Bungee 的成功率高達(dá) 90%，也就是說(shuō)，只有10%的可能性會(huì)被機(jī)器人發(fā)現(xiàn)了。

這樣“爬數(shù)據(jù)”，競(jìng)爭(zhēng)對(duì)手一旦知道了，會(huì)不會(huì)反應(yīng)很激烈呢?

Clarence 認(rèn)為，實(shí)際上，爬數(shù)據(jù)已經(jīng)是“公開的秘密”了。商業(yè)領(lǐng)域時(shí)刻都在進(jìn)行這樣的事情，因?yàn)槟憧偸切枰�了解�?jìng)爭(zhēng)對(duì)手的，大公司也不會(huì)告訴你“我們已經(jīng)在做這件事”了。

當(dāng)前，Bungee 服務(wù)的客戶主要面向的是電商、機(jī)票以及酒店領(lǐng)域，這些都是典型消費(fèi)者最關(guān)注價(jià)格的應(yīng)用場(chǎng)景。“這樣，消費(fèi)者就能獲得較好的價(jià)格了。”

Clarence 還透露，其實(shí)連我們平時(shí)不太留意的求職市場(chǎng)，也存在著眾多機(jī)會(huì)。像美國(guó)當(dāng)前求職市場(chǎng)里面，LinkedIn、Indeed、Glassdoor等 ，都難免存在相同的求職信息，這其實(shí)就是競(jìng)爭(zhēng)對(duì)手互相“復(fù)制”導(dǎo)致的。

無(wú)需防火墻，300個(gè)城市任你選

不知大家有沒(méi)有試過(guò)，如果買一張從美國(guó)出發(fā)到中國(guó)的機(jī)票，你在美國(guó)買和在中國(guó)買，價(jià)格是不一樣的，至少小探就試過(guò)。(所以每回買回國(guó)機(jī)票，小探難免還得回國(guó)內(nèi)各大機(jī)票官網(wǎng)瞄一眼!)

這也是銷售商最典型的銷售策略：越發(fā)達(dá)國(guó)家，可以承受同樣?xùn)|西的價(jià)格就越貴……(銷售商內(nèi)心OS：發(fā)達(dá)國(guó)家錢多，當(dāng)然要賺多點(diǎn)啊!)

Bungee 的另一大技術(shù)優(yōu)勢(shì)就出現(xiàn)了，即使你想要查找同一款產(chǎn)品在不同國(guó)家的價(jià)格數(shù)據(jù)，又或者是只在同一個(gè)國(guó)家、不同城市的價(jià)格數(shù)據(jù)，都可以!

“這有助于我們的客戶迅速了解全球的價(jià)格數(shù)據(jù)，而不再是僅僅某個(gè)國(guó)家的數(shù)據(jù)。” Clarence告訴小探，這主要是通過(guò) Bungee 服務(wù)器在全球有30多個(gè)國(guó)家，以及300多個(gè)城市的終端做到的，從而幫助客戶獲取基于地理位置數(shù)據(jù)的價(jià)格。

 

 

那么，現(xiàn)在 Bungee 的客戶都有哪些呢?據(jù) Clarence 透露，現(xiàn)在 Bungee 已有2個(gè)大客戶，其中一個(gè)是電子商務(wù)領(lǐng)域的客戶，另一個(gè)是財(cái)富 50 強(qiáng)客戶，是一家專做市場(chǎng)研究的印度企業(yè)。

Bungee 最終能提供給客戶的是什么呢?很簡(jiǎn)單，競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)。獲得數(shù)據(jù)有兩種方式，第一種方式，是給客戶提供API(應(yīng)用程序編程接口)，客戶可以通過(guò)自己的開發(fā)人員，從中獲取任何想要的數(shù)據(jù);第二種方式，提供數(shù)據(jù)包，比如客戶想要某個(gè)郵編區(qū)域銷售電子器材的電商的價(jià)格數(shù)據(jù)，無(wú)論是沃爾瑪，還是Sears百貨，Bungee提供的銷售文檔里面，就包括產(chǎn)品價(jià)格、運(yùn)輸情況、客戶的評(píng)價(jià)等。如今，每天，Bungee 能夠?qū)?500 萬(wàn)件產(chǎn)品進(jìn)行分析!

此外，Bungee 還提供基于 Chrome、Firefox 瀏覽器的插件版本，讓客戶搜集數(shù)據(jù)更加方便。登錄 Bungee 賬戶后，選擇你想要假裝在的地方，比如你現(xiàn)在在加州的伯克利，但你想要假裝在美國(guó)的佛羅里達(dá)州，又或者說(shuō)加拿大的多倫多，都是可以的。

下一步：從搜集數(shù)據(jù)到分析數(shù)據(jù)

研究機(jī)構(gòu) IDC 曾預(yù)測(cè)， 到2025年預(yù)計(jì)全世界每年將創(chuàng)造163個(gè)zettabytes( 1萬(wàn)億千兆字節(jié)) 的數(shù)據(jù) 。小探此前曾報(bào)道過(guò)，美國(guó)大約每年花費(fèi) 250 億美元在人工收集數(shù)據(jù)上。

無(wú)論是數(shù)據(jù)擁有者，還是數(shù)據(jù)分析者，都試圖在這樣龐大的數(shù)字市場(chǎng)當(dāng)中分一杯羹。“數(shù)據(jù)是到處都有的，但你如何收集收據(jù)，用好數(shù)據(jù)，這正是企業(yè)所期盼的。” Bungee 告訴小探，當(dāng)前第一步確實(shí)是從收集數(shù)據(jù)開始，但是，隨著數(shù)據(jù)的增加，Bungee 希望用自己的深度學(xué)習(xí)等算法技術(shù)，對(duì)數(shù)據(jù)進(jìn)行分析，提煉出更多洞察在其中，向用戶出售更多有價(jià)值的數(shù)據(jù)。

Bungee 希望服務(wù)的，不僅僅是大公司，也有眾多小型公司，從10人到500人的公司，都是可以提供 SaaS 服務(wù)的。

試想一下，如果某個(gè)國(guó)內(nèi)企業(yè)想要在亞馬遜上售賣自己的產(chǎn)品，比如鞋子，但是可能一開始是不知道如何定價(jià)的，如果通過(guò) Bungee 獲取了某雙鞋子的價(jià)格、其它公司如何做促銷的、假期如何影響銷量等關(guān)鍵信息后，或許就知道如何定價(jià)、如何促銷了。

分析競(jìng)爭(zhēng)對(duì)手的龐大帝國(guó)

小探發(fā)現(xiàn)，捕捉競(jìng)爭(zhēng)對(duì)手動(dòng)態(tài)的公司已有不少，甚至已經(jīng)形成一個(gè)完整的產(chǎn)業(yè)鏈。不同的初創(chuàng)公司正在試圖通過(guò)多種渠道解決，到底企業(yè)該如何分析你的競(jìng)爭(zhēng)對(duì)手，分析競(jìng)爭(zhēng)對(duì)手的哪些部分并加以利用。

綜合性競(jìng)爭(zhēng)對(duì)手分析

Kompeyte：小探此前就采訪過(guò)這個(gè)創(chuàng)業(yè)公司，它是被 500 Startups 孵化的企業(yè)。Kompeyte 提供的是實(shí)時(shí)訪問(wèn)競(jìng)爭(zhēng)對(duì)手的網(wǎng)站、社交媒體、廣告、新聞簡(jiǎn)報(bào)、熱議度、著陸頁(yè)等多個(gè)渠道，24小時(shí)就能見(jiàn)分曉。我不是教你詐，這家公司就是教你如何“吃透”競(jìng)爭(zhēng)對(duì)手

競(jìng)爭(zhēng)對(duì)手的受眾分析

Brandwatch：這家英國(guó)的創(chuàng)業(yè)公司著重于在社交平臺(tái)關(guān)注競(jìng)爭(zhēng)對(duì)手的受眾，主要監(jiān)控競(jìng)爭(zhēng)對(duì)手的社交媒體輸出。企業(yè)可以分析并查看對(duì)手的受眾特征、以及他們共享的內(nèi)容。甚至可以下載粉絲作為列表，通過(guò)像 Twitter 廣告之類來(lái)定位類似的受眾。這家公司融資6470萬(wàn)美元，利潤(rùn)8960萬(wàn)美元。

 

 

SEO和關(guān)鍵詞分析工具

SpyFu，亞利桑那州這家公司 可以顯示競(jìng)爭(zhēng)對(duì)手在谷歌 AdWords 中購(gòu)買的每個(gè)關(guān)鍵字，以及過(guò)去 10 年以來(lái)的廣告變化。 幫助客戶更深入地了解競(jìng)爭(zhēng)對(duì)手使用的關(guān)鍵字和PPC(pay-per-click) 廣告關(guān)鍵詞策略。比如，競(jìng)爭(zhēng)對(duì)手排名的關(guān)鍵字?jǐn)?shù)量，以及企業(yè)關(guān)鍵字與對(duì)手關(guān)鍵字設(shè)置的重疊程度等。這家企業(yè)的利潤(rùn)是380萬(wàn)美元。

SEMRush，這家位于波士頓的創(chuàng)業(yè)公司，提供在線可視化管理和內(nèi)容營(yíng)銷SaaS平臺(tái)。希望通過(guò)分析競(jìng)爭(zhēng)對(duì)手的一系列關(guān)鍵字、付費(fèi)搜索和排名等指標(biāo)，幫助企業(yè)進(jìn)行分析�？擅赓M(fèi)搜索10個(gè)網(wǎng)站，得出有限結(jié)果。 這家公司融資4000萬(wàn)美元，利潤(rùn)310萬(wàn)美元。

付費(fèi)廣告和PPC工具

iSpionage，這家硅谷初創(chuàng)公司成立于2008年，該公司提供可識(shí)別競(jìng)爭(zhēng)對(duì)手PPC的工具，還包括其每月預(yù)算和整個(gè)Adwords策略。甚至可以訪問(wèn)七年的PPC和SEO關(guān)鍵字?jǐn)?shù)據(jù)。這家公司利潤(rùn)1000萬(wàn)美元。

 

 

Whatrunswhere，這家成立于2011年的加拿大公司，提供查看競(jìng)爭(zhēng)對(duì)手的廣告位置，甚至廣告外觀、以及廣告效果的功能。甚至包括訪問(wèn)15萬(wàn)個(gè)效果較佳的展示廣告發(fā)布商的廣告系列數(shù)據(jù)，在2016年被一家數(shù)字廣告企業(yè)收購(gòu)。這家企業(yè)利潤(rùn)400萬(wàn)美元。

可以說(shuō)，無(wú)論是分析競(jìng)爭(zhēng)對(duì)手本身，還是分析競(jìng)爭(zhēng)對(duì)手的受眾，乃至競(jìng)爭(zhēng)對(duì)手如何做廣告都分析了。這些企業(yè)明顯面向企業(yè)的需求也導(dǎo)致了即使未有進(jìn)行過(guò)多融資，但利潤(rùn)并不低。果然是：都來(lái)互相搜集吧!

標(biāo)簽： idc isp seo ssd 代碼 電商 電子商務(wù) 防火墻 服務(wù)器 谷歌 媒體 排名 數(shù)據(jù)分析 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。