精品精品国产理论在线 - 全国亚洲最大的av网站久久久 - 国产不卡视频一区二区三区四区 - 亚洲一区二区观看播放

不會(huì)寫(xiě)代碼如何進(jìn)行大數(shù)據(jù)分析——主題抽取篇

2020-04-10
admin

上一期文章中,銳研團(tuán)隊(duì)介紹了如何利用云文析對(duì)文本內(nèi)容進(jìn)行LDA主題模型分析,最終將新聞報(bào)道主題分為五類(lèi)。LDA主題模型分析是一種無(wú)監(jiān)督的統(tǒng)計(jì)學(xué)習(xí),而今天我們將為大家介紹另一種主題分類(lèi)的方法,在云文析平臺(tái)中對(duì)應(yīng)的功能是【主題抽取】。

 

【主題分析】不同的是,【主題抽取】功能是用戶先自定義一套主題邏輯,設(shè)定主題邏輯詞典,即建立關(guān)鍵詞詞典,制定出每個(gè)主題下的關(guān)鍵詞,再由云文析平臺(tái)根據(jù)文本內(nèi)容進(jìn)行分類(lèi)。這樣分類(lèi)的優(yōu)點(diǎn)是在使用者已經(jīng)充分掌握文本情況或主觀層面有自己的需求,就可以根據(jù)既定的分類(lèi)標(biāo)準(zhǔn)對(duì)批量文本進(jìn)行分析。

 

還是以疫情期間收集到的1733條第一財(cái)經(jīng)官網(wǎng)新聞數(shù)據(jù)為例,我們希望了解疫情對(duì)不同行業(yè)的影響,根據(jù)云文析已有的行業(yè)主題邏輯詞典模板(主題邏輯詞典模版2),我們開(kāi)始著手分析:


一.選擇主題邏輯詞典

首先在銳研·云文析平臺(tái)找到【分析配置】-主題邏輯,點(diǎn)擊選擇你需要的詞典模版

行業(yè)主題邏輯詞典模板是參考《財(cái)富中國(guó)》對(duì)中國(guó)行業(yè)的分類(lèi)標(biāo)準(zhǔn),它是根據(jù)發(fā)達(dá)國(guó)家的行業(yè)界定與行業(yè)演變規(guī)則,對(duì)中國(guó)的行業(yè)進(jìn)行新分類(lèi)。


具體使用時(shí)如有不同需求,可以點(diǎn)擊左上角創(chuàng)建詞典,對(duì)主題邏輯進(jìn)行自定義,輸入關(guān)鍵詞規(guī)則即可。



行業(yè)主題邏輯詞典模板-部分


需要注意的是,自定義主題邏輯詞典時(shí)要遵循一定的主題邏輯規(guī)則:
1.多個(gè)關(guān)鍵字同時(shí)匹配需要用 & 來(lái)連接,表示且的邏輯
2.匹配任意一個(gè)關(guān)鍵字用 | 來(lái)連接
3.支持括號(hào)()
比如,要提取“雙創(chuàng)”這個(gè)主題,可以用 “雙創(chuàng) | (創(chuàng)新 & 創(chuàng)業(yè))”作為主題規(guī)則,表示 只要文本中出現(xiàn) “雙創(chuàng)”或者同時(shí)出現(xiàn) “創(chuàng)新”和"創(chuàng)業(yè)”,則該文本提及“雙創(chuàng)”主題。


二.建立主題抽取


三.查看抽取結(jié)果

移動(dòng)鼠標(biāo)至條狀圖形可查看主題名稱及具體數(shù)據(jù)。結(jié)果顯示,這批報(bào)道中,衛(wèi)生和社會(huì)工作相關(guān)主題的報(bào)道數(shù)量最多,達(dá)965篇;其次是金融業(yè),文本數(shù)量達(dá)242篇;交通運(yùn)輸、倉(cāng)儲(chǔ)和郵政位列第三,文本數(shù)量達(dá)157篇;之后依次是教育、文化體育和娛樂(lè)業(yè)、制造業(yè)。

除了以柱狀圖形式展示主題文本數(shù)量,云文析還支持對(duì)抽取結(jié)果的詳情展示,我們可以查看所有主題抽取類(lèi)別下的文章,標(biāo)記√的表示文章分屬該類(lèi)別,點(diǎn)擊【詳情】可查看文章具體情況,同時(shí)支持對(duì)分類(lèi)數(shù)據(jù)的導(dǎo)出。


以文本ID為35的文章為例,該文章分屬交通運(yùn)輸、倉(cāng)儲(chǔ)和郵政業(yè)主題,點(diǎn)擊【詳情】后我們可以看到文章的具體內(nèi)容,用以判斷分類(lèi)標(biāo)準(zhǔn)是否合理以便后續(xù)分析。



銳研·云文析作為文本大數(shù)據(jù)分析與挖掘云平臺(tái),可應(yīng)用自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、人工智能等技術(shù)對(duì)大規(guī)模文本數(shù)據(jù)進(jìn)行分析挖掘,并呈現(xiàn)可視化分析結(jié)果。今后,銳研團(tuán)隊(duì)會(huì)分享更多社會(huì)科學(xué)研究相關(guān)實(shí)用工具及案例,希望此文能為您提供一些幫助。


疫情期間,銳研云文析開(kāi)放個(gè)人用戶注冊(cè),有相關(guān)研究意向,歡迎掃描下方二維碼聯(lián)系我們的官方客服,為您開(kāi)通更多權(quán)限。

發(fā)表評(píng)論
評(píng)論通過(guò)審核后顯示。
  銳研中國(guó)
移動(dòng)訪問(wèn)