數(shù)據(jù)庫研究 | CND中文新聞數(shù)據(jù)庫
- 2019-05-08
- 萌泰科技 張煦曄
隨著21世紀(jì)的到來，人類社會(huì)已經(jīng)逐漸進(jìn)入大數(shù)據(jù)時(shí)代，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！比蛎刻焐傻臄?shù)據(jù)量達(dá)到2.5EB，相當(dāng)于10億張容量為25GB的藍(lán)光光盤，而且其增長勢頭在不斷加快。令人吃驚的是，人類迄今為止生成的數(shù)據(jù)中，有90％是在近兩年內(nèi)產(chǎn)生的。
這些數(shù)據(jù)中，其中有一類數(shù)據(jù)記錄了我們?nèi)祟惿鐣?huì)的所有發(fā)展過程，是社會(huì)發(fā)展和變遷的見證者，它就是“新聞”。目前我國每天產(chǎn)生的文本新聞（含各類資訊）的數(shù)量可能超過數(shù)十萬篇，如此數(shù)量規(guī)模的新聞文本中蘊(yùn)含了大量的信息和知識(shí)。如何將這些有價(jià)值的新聞文本存儲(chǔ)起來，并從中提取出有價(jià)值的信息和知識(shí)是一個(gè)巨大挑戰(zhàn)。CND（Chinese News Database）項(xiàng)目正是在這一背景下誕生。CND項(xiàng)目由上海萌泰數(shù)據(jù)科技股份有限公司聯(lián)合南京大學(xué)新聞傳播學(xué)院共同發(fā)起。CND通過分布式爬蟲技術(shù)實(shí)時(shí)監(jiān)測來自中國和世界各地的公布在互聯(lián)網(wǎng)上的中文新聞媒體數(shù)據(jù)，包括門戶網(wǎng)站、報(bào)紙、公眾號(hào)、App社交媒體等，最終建立一個(gè)能夠覆蓋全媒體、全領(lǐng)域、全時(shí)域的中文新聞開放數(shù)據(jù)服務(wù)平臺(tái)，為相關(guān)領(lǐng)域的學(xué)者、媒體機(jī)構(gòu)、政府機(jī)構(gòu)、企業(yè)等用戶提供新聞數(shù)據(jù)可視化分析和研究服務(wù)，幫助用戶更好地洞察和了解社會(huì)現(xiàn)象，市場需求以及政治、經(jīng)濟(jì)、社會(huì)變遷的趨勢。
CND中文新聞數(shù)據(jù)庫主要提供以下服務(wù)：
（1）中文新聞數(shù)據(jù)檢索
CND項(xiàng)目一期采集了國家網(wǎng)信辦公布的可供新聞轉(zhuǎn)載的380家新聞出版單位的所有互聯(lián)網(wǎng)公開的數(shù)據(jù)，目前數(shù)量總量超過5000萬條，涉及媒體來源600余家。二期將計(jì)劃采集國內(nèi)主流1500家網(wǎng)站數(shù)據(jù)以及主要報(bào)紙，公眾號(hào)和APP的新聞數(shù)據(jù)。CND項(xiàng)目采用Hadoop平臺(tái)作為文本存儲(chǔ)的基礎(chǔ)架構(gòu)，并基于分布式搜索引擎對(duì)文本提供索引。（2）可視化分析
CND項(xiàng)目集成了一款文本分析與挖掘工具——銳研·云質(zhì)析系統(tǒng)。用戶可以將搜索的文本內(nèi)容添加到自定義的文本庫，通過中文自然語言處理引擎，結(jié)合系統(tǒng)和用戶自定義的詞匯字典庫進(jìn)行各類詞頻分析，文本分類、文本聚類、情感分析、主題分析等。（3）新聞指數(shù)
CND項(xiàng)目還提供了一個(gè)指數(shù)查詢工具——銳研新聞指數(shù)(RNI, Ring News Index)。新聞指數(shù)可以提供用戶檢索某一個(gè)關(guān)鍵詞或關(guān)鍵詞組合在一定時(shí)間范圍內(nèi)的出現(xiàn)詞頻、新聞數(shù)量、新聞文本情感均值、新聞傳播影響力均值等。這些指標(biāo)可以按天、月、年時(shí)間進(jìn)行可視化展現(xiàn)，指數(shù)結(jié)果也可以進(jìn)行導(dǎo)出，以供進(jìn)一步分析研究。CND中文新聞數(shù)據(jù)庫是萌泰銳研社會(huì)科學(xué)專題數(shù)據(jù)庫平臺(tái)（RingData.NET）中重要的專題數(shù)據(jù)庫之一，具有獨(dú)特的社會(huì)應(yīng)用價(jià)值。CND的未來發(fā)展將從以下幾個(gè)方面著手：
（1）知識(shí)挖掘
新聞文本中蘊(yùn)含了大量有待挖掘的信息，CND將致力于對(duì)文本內(nèi)容進(jìn)行深度挖掘，提取更多有意義的變量，如事件分類、人物角色、觀點(diǎn)觀念、行為方式、態(tài)度傾向等等。通過構(gòu)建知識(shí)網(wǎng)絡(luò)，還可以分析各類信息主體之間的關(guān)聯(lián)關(guān)系。CND項(xiàng)目將可能構(gòu)建一個(gè)潛在的人類社會(huì)知識(shí)網(wǎng)絡(luò)體系。（2）內(nèi)容生產(chǎn)
新聞行業(yè)從根本上說是內(nèi)容產(chǎn)業(yè)，而數(shù)據(jù)庫本身是內(nèi)容整合的有效工具，是數(shù)字內(nèi)容產(chǎn)業(yè)的價(jià)值體現(xiàn)。整合是結(jié)構(gòu)的優(yōu)化，流程的再造，是力量的倍增器。以數(shù)據(jù)庫為核心的媒體資源整合，是提高新聞媒體競爭力的重要手段。其中“數(shù)據(jù)新聞”、“算法新聞”或“人工智能新聞”是一個(gè)方向。這類新聞通常是基于數(shù)據(jù)的抓取、挖掘、統(tǒng)計(jì)、分析和可視化呈現(xiàn)的新型新聞報(bào)道方式，是隨著大數(shù)據(jù)和人工智能時(shí)代的到來出現(xiàn)的一種新型報(bào)道形態(tài)。這在一定程度上可能改變傳統(tǒng)新聞生產(chǎn)流程?！按髷?shù)據(jù)”使新聞報(bào)道更具客觀性和說服力，通過數(shù)據(jù)，可以深入發(fā)掘事物之間的深層聯(lián)系并預(yù)測事物發(fā)展的趨勢。“用數(shù)據(jù)說話”、“用數(shù)據(jù)講新聞”是大數(shù)據(jù)時(shí)代新聞報(bào)道形式出現(xiàn)的一大新的亮點(diǎn)。（3）科研和社會(huì)服務(wù)
一方面，數(shù)據(jù)庫本身就是媒體。在統(tǒng)一的數(shù)據(jù)庫平臺(tái)上，新聞資源得以有效的整合。新聞數(shù)據(jù)庫對(duì)外開放，通過信息檢索和分析工具，可以實(shí)現(xiàn)信息的增值。另一方面，數(shù)據(jù)庫是朝陽產(chǎn)業(yè)，具有廣闊的發(fā)展前景。在新聞媒體數(shù)據(jù)庫的建設(shè)過程中，要注意分析受眾的需求，根據(jù)不同用戶、不同行業(yè)的特點(diǎn)，開發(fā)特色的數(shù)據(jù)庫產(chǎn)品，最大限度地滿足社會(huì)的需求。
發(fā)表評(píng)論
新聞動(dòng)態(tài)
- 上海萌泰數(shù)據(jù)科技助力湘南學(xué)院教育創(chuàng)新，李軍博士主講《作為研究方法的人工智能》
- 上海市社會(huì)工作研究會(huì)2024年學(xué)術(shù)年會(huì)暨第二屆長三角金融社會(huì)工作論壇在滬舉行
- 人工智能如何改變社會(huì)科學(xué)的面貌？——AI與社會(huì)科學(xué)的學(xué)術(shù)對(duì)話紀(jì)實(shí)（下）
- 人工智能如何改變社會(huì)科學(xué)的面貌？——AI與社會(huì)科學(xué)的學(xué)術(shù)對(duì)話紀(jì)實(shí)（上）
- 校企協(xié)同 | 浙江越秀外國語學(xué)院到訪上海萌泰數(shù)據(jù)
- 2024年（第十六屆）國際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會(huì)年會(huì)在哈爾濱商業(yè)大學(xué)成功舉辦
- 全面深化改革與中國社會(huì)學(xué)新征程：中國社會(huì)學(xué)會(huì)2024年學(xué)術(shù)年會(huì)在哈爾濱工程大學(xué)舉行
期刊推薦
