不會(huì)寫(xiě)代碼如何進(jìn)行大數(shù)據(jù)分析——主題抽取篇
- 2020-04-10
- admin
上一期文章中,銳研團(tuán)隊(duì)介紹了如何利用云文析對(duì)文本內(nèi)容進(jìn)行LDA主題模型分析,最終將新聞報(bào)道主題分為五類(lèi)。LDA主題模型分析是一種無(wú)監(jiān)督的統(tǒng)計(jì)學(xué)習(xí),而今天我們將為大家介紹另一種主題分類(lèi)的方法,在云文析平臺(tái)中對(duì)應(yīng)的功能是【主題抽取】。
和【主題分析】不同的是,【主題抽取】功能是用戶先自定義一套主題邏輯,設(shè)定主題邏輯詞典,即建立關(guān)鍵詞詞典,制定出每個(gè)主題下的關(guān)鍵詞,再由云文析平臺(tái)根據(jù)文本內(nèi)容進(jìn)行分類(lèi)。這樣分類(lèi)的優(yōu)點(diǎn)是在使用者已經(jīng)充分掌握文本情況或主觀層面有自己的需求,就可以根據(jù)既定的分類(lèi)標(biāo)準(zhǔn)對(duì)批量文本進(jìn)行分析。
還是以疫情期間收集到的1733條第一財(cái)經(jīng)官網(wǎng)新聞數(shù)據(jù)為例,我們希望了解疫情對(duì)不同行業(yè)的影響,根據(jù)云文析已有的行業(yè)主題邏輯詞典模板(主題邏輯詞典模版2),我們開(kāi)始著手分析:
一.選擇主題邏輯詞典
首先在銳研·云文析平臺(tái)找到【分析配置】-主題邏輯,點(diǎn)擊選擇你需要的詞典模版
行業(yè)主題邏輯詞典模板是參考《財(cái)富中國(guó)》對(duì)中國(guó)行業(yè)的分類(lèi)標(biāo)準(zhǔn),它是根據(jù)發(fā)達(dá)國(guó)家的行業(yè)界定與行業(yè)演變規(guī)則,對(duì)中國(guó)的行業(yè)進(jìn)行新分類(lèi)。
具體使用時(shí)如有不同需求,可以點(diǎn)擊左上角創(chuàng)建詞典,對(duì)主題邏輯進(jìn)行自定義,輸入關(guān)鍵詞規(guī)則即可。

行業(yè)主題邏輯詞典模板-部分
需要注意的是,自定義主題邏輯詞典時(shí)要遵循一定的主題邏輯規(guī)則:
1.多個(gè)關(guān)鍵字同時(shí)匹配需要用 & 來(lái)連接,表示且的邏輯
2.匹配任意一個(gè)關(guān)鍵字用 | 來(lái)連接
3.支持括號(hào)()
比如,要提取“雙創(chuàng)”這個(gè)主題,可以用 “雙創(chuàng) | (創(chuàng)新 & 創(chuàng)業(yè))”作為主題規(guī)則,表示 只要文本中出現(xiàn) “雙創(chuàng)”或者同時(shí)出現(xiàn) “創(chuàng)新”和"創(chuàng)業(yè)”,則該文本提及“雙創(chuàng)”主題。
二.建立主題抽取
三.查看抽取結(jié)果
移動(dòng)鼠標(biāo)至條狀圖形可查看主題名稱及具體數(shù)據(jù)。結(jié)果顯示,這批報(bào)道中,衛(wèi)生和社會(huì)工作相關(guān)主題的報(bào)道數(shù)量最多,達(dá)965篇;其次是金融業(yè),文本數(shù)量達(dá)242篇;交通運(yùn)輸、倉(cāng)儲(chǔ)和郵政位列第三,文本數(shù)量達(dá)157篇;之后依次是教育、文化體育和娛樂(lè)業(yè)、制造業(yè)。
除了以柱狀圖形式展示主題文本數(shù)量,云文析還支持對(duì)抽取結(jié)果的詳情展示,我們可以查看所有主題抽取類(lèi)別下的文章,標(biāo)記√的表示文章分屬該類(lèi)別,點(diǎn)擊【詳情】可查看文章具體情況,同時(shí)支持對(duì)分類(lèi)數(shù)據(jù)的導(dǎo)出。
以文本ID為35的文章為例,該文章分屬交通運(yùn)輸、倉(cāng)儲(chǔ)和郵政業(yè)主題,點(diǎn)擊【詳情】后我們可以看到文章的具體內(nèi)容,用以判斷分類(lèi)標(biāo)準(zhǔn)是否合理以便后續(xù)分析。

銳研·云文析作為文本大數(shù)據(jù)分析與挖掘云平臺(tái),可應(yīng)用自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、人工智能等技術(shù)對(duì)大規(guī)模文本數(shù)據(jù)進(jìn)行分析挖掘,并呈現(xiàn)可視化分析結(jié)果。今后,銳研團(tuán)隊(duì)會(huì)分享更多社會(huì)科學(xué)研究相關(guān)實(shí)用工具及案例,希望此文能為您提供一些幫助。
疫情期間,銳研云文析開(kāi)放個(gè)人用戶注冊(cè),有相關(guān)研究意向,歡迎掃描下方二維碼聯(lián)系我們的官方客服,為您開(kāi)通更多權(quán)限。
- 上海萌泰數(shù)據(jù)科技助力湘南學(xué)院教育創(chuàng)新,李軍博士主講《作為研究方法的人工智能》
- 上海市社會(huì)工作研究會(huì)2024年學(xué)術(shù)年會(huì)暨第二屆長(zhǎng)三角金融社會(huì)工作論壇在滬舉行
- 人工智能如何改變社會(huì)科學(xué)的面貌?——AI與社會(huì)科學(xué)的學(xué)術(shù)對(duì)話紀(jì)實(shí)(下)
- 人工智能如何改變社會(huì)科學(xué)的面貌?——AI與社會(huì)科學(xué)的學(xué)術(shù)對(duì)話紀(jì)實(shí)(上)
- 校企協(xié)同 | 浙江越秀外國(guó)語(yǔ)學(xué)院到訪上海萌泰數(shù)據(jù)
- 2024年(第十六屆)國(guó)際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會(huì)年會(huì)在哈爾濱商業(yè)大學(xué)成功舉辦
- 全面深化改革與中國(guó)社會(huì)學(xué)新征程:中國(guó)社會(huì)學(xué)會(huì)2024年學(xué)術(shù)年會(huì)在哈爾濱工程大學(xué)舉行
- 全球視野 | Information and Communication Technologies in Social Work
- 學(xué)術(shù)研究 | CAI調(diào)研方法概述
- 大趨勢(shì) | 下一代調(diào)研技術(shù)發(fā)展趨勢(shì)
- 市場(chǎng)前沿 | 移動(dòng)面訪在中國(guó)家庭發(fā)展追蹤調(diào)查中的應(yīng)用
- 市場(chǎng)前沿 | 云計(jì)算、大數(shù)據(jù)與統(tǒng)計(jì)局信息化建設(shè)
- 卷首語(yǔ) | 數(shù)據(jù)的靈性
- 市場(chǎng)前沿 | 云調(diào)研平臺(tái)助推高校科研教學(xué)工作