手把手教你建立私人數(shù)據(jù)檢索庫(kù)(二)

創(chuàng)：青空醬合天智匯

原創(chuàng)投稿活動(dòng)：

http://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/Nw2VDyvCpPt_GG5YKTQuUQ

---你可曾聽(tīng)過(guò)社工庫(kù)的傳說(shuō)?

聲明：本文介紹的安全工具僅用于滲透測(cè)試及安全教學(xué)使用，禁止任何非法用途

0x00 序言:

咳咳，這里是青空醬。本次為大家?guī)?lái)《手把手教你建立私人數(shù)據(jù)檢索庫(kù)》系列第二講之?dāng)?shù)據(jù)的清洗導(dǎo)入與配置。對(duì)之前教程還不熟悉的讀者可以查看上期文章以流暢的食用本文。

往期文章回顧

:http://mp.weixin.qq.com/s?__biz=MjM5MTYxNjQxOA==&mid=2652851659&idx=1&sn=7e2f574ab9dbbd3c2ae58b9c81e986d4&chksm=bd5931068a2eb810113d07da86e8e391caa60ad4e7171f2d522a9501d2698dbc6b7f71d9c0af&scene=21#wechat_redirect

言歸正傳，本講分為幾個(gè)以下部分:

sphinx相關(guān)配置文件的介紹講解
數(shù)據(jù)的導(dǎo)入，清洗與維護(hù)
索引生成實(shí)操及測(cè)試索引

請(qǐng)各位系好安全帶，青空醬要發(fā)車(chē)?yán)玻?/p>

最后還請(qǐng)大家持續(xù)關(guān)注本教程(畢竟我也不是什么鴿子)

0x01 Sphinx配置講解:

上回我們講到了sphinx的安裝配置，接下來(lái)將在這里講解下相關(guān)配置文件。

首先，使用sphinx查詢數(shù)據(jù)的流程如下:

Sphinx事先生成數(shù)據(jù)庫(kù)的全文索引(將索引與數(shù)據(jù)的id一一對(duì)應(yīng))
后端向Sphinx監(jiān)聽(tīng)服務(wù)發(fā)送查詢關(guān)鍵字獲取相關(guān)索引記錄，即對(duì)應(yīng)的數(shù)據(jù)庫(kù)數(shù)據(jù)id
后端取得數(shù)據(jù)id后再向數(shù)據(jù)庫(kù)發(fā)送查詢請(qǐng)求獲取信息
后端將信息返回前端渲染

大致流程介紹完了相比大家對(duì)于整個(gè)查詢過(guò)程有了更深一層的理解，也方便進(jìn)行進(jìn)一步的講解。

先放個(gè)官方的查詢模板方便講解，隨后放本次搭建所用的模板。

索引模板:

source sphinx

{

type=mysql

sql_host=192.168.1.1

sql_user=test 數(shù)據(jù)源連接信息

sql_pass=test

sql_db=sphinx //數(shù)據(jù)庫(kù)名字

sql_port=3306 //數(shù)據(jù)庫(kù)庫(kù)端口號(hào)

sql_query_pre=SET NAMES utf8 //設(shè)置連接字符集

sql_query=SELECT id, title, post_id, user_id,UNIX_TIMESTAMP(dated) as dateline \

FROM test //最重要的部分嗷

sql_attr_uint=post_id

sql_attr_uint=user_id

sql_attr_timestamp=dateline 屬性字段

}

index sphinx_idx //索引名

{

source=sphinx //這里與上面的source對(duì)應(yīng)

path=/usr/local/coreseek-3.2.14/ var/data/sphinx //索引要存放的位置

docinfo=extern

charset_type=zh_cn.utf-8

charset_dictpath=/usr/local/coreseek-3.2.14/dict/ //字符集文件存放位置

html_strip=0

}

indexer

{

mem_limit=512M //用來(lái)構(gòu)建索引的索引器運(yùn)行所占用的內(nèi)存

}

searchd

{

port=9351 //不要被占用哦 netstat -anop|grep 9351 查詢服務(wù)監(jiān)聽(tīng)的端口

log=/usr/local/coreseek-3.2.14/ var/log/search_sphinx.log

query_log=/usr/local/coreseek-3.2.14/ var/log/query_sphinx.log //相關(guān)日志的存放位置

read_timeout=5

max_children=30

pid_file=/usr/local/coreseek-3.2.14/ var/searchd_sphinx.pid

max_matches=10000 //返回的最大數(shù)據(jù)量

seamless_rotate=1

preopen_indexes=0

unlink_old=1

}

......

有點(diǎn)懵？先介紹這幾個(gè)概念：

source：數(shù)據(jù)源，數(shù)據(jù)是從什么地方來(lái)的。如Postgresql或Mysql
index：索引，當(dāng)有數(shù)據(jù)源之后，從數(shù)據(jù)源處構(gòu)建索引。索引實(shí)際上就是相當(dāng)于一個(gè) 緩存字典。有了整本字典內(nèi)容以后，才會(huì)有字典檢索。
searchd：提供搜索查詢服務(wù)進(jìn)程。它一般是以deamon的形式運(yùn)行在后臺(tái)的。
indexer：構(gòu)建索引的服務(wù)。當(dāng)要重新構(gòu)建索引的時(shí)候，就是調(diào)用indexer這個(gè)服務(wù)。
attr：屬性，屬性是存在索引中的，它不進(jìn)行全文索引，但是可以用于過(guò)濾和排序。

Sphinx集輕量化與高拓展性與一體，相關(guān)配置可研究的東西很多，這里貼一下配置文件全解析，有興趣的讀者下去自行研究。

https://www.cnblogs.com/yjf512/p/3598332.html

貼下我自己的配置:

source data1

{

type=mysql

sql_host=localhost

sql_user=user

sql_pass=password

sql_db=sgk

sql_port=3306

sql_query_pre=SET NAMES utf8

sql_query=SELECT `id`,`username`, `email` FROM data1 #sql_query第一列id需為整數(shù)，username、password、email等作為字符串/文本字段，被全文索引

sql_attr_uint=id #從SQL讀取到的值必須為整數(shù)

#sql_field_string=username

#sql_field_string=password

#sql_field_string=email

#sql_attr_timestamp=date_added #從SQL讀取到的值必須為整數(shù)，作為時(shí)間屬性

sql_query_info=SELECT `id`, `username`, `password`, `email`, `salt` FROM data1 WHERE id=$id #命令行查詢時(shí)，從數(shù)據(jù)庫(kù)讀取原始數(shù)據(jù)信息

}

#index定義

index data1

{

source=data1 #對(duì)應(yīng)的source名稱

path=/usr/local/sphinx/var/data/data1 #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/sphinx/var/...

docinfo=extern

mlock=0

morphology=none

min_word_len=1

ondisk_dict=1 #索引不載入內(nèi)存而是保存在硬盤(pán)上

#這個(gè)選項(xiàng)很重要一定要把索引保存在硬盤(pán)，否則索引出的海量數(shù)據(jù)會(huì)充滿整個(gè)內(nèi)存

html_strip=1

}

#全局index定義

indexer

{

mem_limit=754M

}

#searchd服務(wù)定義

searchd

{

listen=9312

read_timeout=5

max_children=30

max_matches=1000

seamless_rotate=0

preopen_indexes=0

unlink_old=1

pid_file=/usr/local/sphinx/var/log/searchd_mysql.pid #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/sphinx/var/...

log=/usr/local/sphinx/var/log/searchd_mysql.log #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/sphinx/var/...

query_log=/usr/local/sphinx/var/log/query_mysql.log #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/sphinx/var/...

binlog_path=#關(guān)閉binlog日志

}

0x02 數(shù)據(jù)導(dǎo)入，清洗與維護(hù):

本教程以Mysql數(shù)據(jù)源為例。

首先創(chuàng)建數(shù)據(jù)庫(kù):

Create database sgk;

接著創(chuàng)建表：

數(shù)據(jù)庫(kù)的表結(jié)構(gòu)如下:

其實(shí)還可以加上一個(gè)’from’字段，用于記錄數(shù)據(jù)的泄露來(lái)源，這里我沒(méi)有設(shè)置。

表的字段主要為id,email,username,password,salt等，id即為數(shù)據(jù)對(duì)應(yīng)編號(hào)，email為郵箱，username用戶名，password為對(duì)應(yīng)密碼，salt一般為空，存在salt時(shí)可以寫(xiě)入。

注意:id的類型一定要寫(xiě)到unsigned或大整數(shù)等，因?yàn)閿?shù)據(jù)量上去了可能會(huì)有數(shù)億條。這里還有個(gè)坑之后會(huì)講。而其他字段的類型最好設(shè)置為VARCHAR,畢竟數(shù)據(jù)中可能會(huì)有一些奇奇怪怪的字符。

先創(chuàng)建一個(gè)表data1,后續(xù)可能會(huì)有data2,data3...依數(shù)據(jù)量定。

創(chuàng)建命令

CREATE TABLE IF NOT EXISTS `data1`(

`id` INT UNSIGNED AUTO_INCREMENT,

`email` VARCHAR(255) NOT NULL,

`username` VARCHAR(100) NOT NULL,

`password` VARCHAR(40) NOT NULL,

`salt` VARCHAR(40) NOT NULL,

`from` VARCHAR(40) NOT NULL,

PRIMARY KEY ( `id` )

)ENGINE=MyISAM DEFAULT CHARSET=utf8;

數(shù)據(jù)庫(kù)結(jié)構(gòu)這邊準(zhǔn)備好后，我們來(lái)講講數(shù)據(jù)的導(dǎo)入與清洗。

推薦兩款工具：

Navicat for Mysql 強(qiáng)大而操作簡(jiǎn)易的圖形化工具，不多解釋.
Mysqlimport Mysql工具集自帶的工具，命令行配置，靈活度高，在導(dǎo)入數(shù)據(jù)速度方面具有顯著優(yōu)勢(shì)。

Navicat可自行去官網(wǎng)下載。

通常，泄露的數(shù)據(jù)格式會(huì)像這樣：

(注: 本文所展現(xiàn)的所有數(shù)據(jù)均為機(jī)器隨機(jī)生成，僅供教學(xué))

這是最簡(jiǎn)單且最好處理的一類數(shù)據(jù)，遇到就偷著樂(lè)吧hhhhhhh

使用Navicat導(dǎo)入:

使用mysqlimport導(dǎo)入:

mysqlimport -u root -p --local --fields-terminated-by="" --lines-terminated-by="\r\n" sgk C:\Users\Administrator\Desktop\data1 --columns=username,password,email

參數(shù)詳解：

--columns后字段名依次與數(shù)據(jù)表中的字段對(duì)應(yīng)

最終效果：

下面介紹幾種較難處理的數(shù)據(jù)格式及清洗方法:

在清洗大文本數(shù)據(jù)時(shí)因?yàn)檎加眠^(guò)高而無(wú)法直接打開(kāi)查看，那么我們可以先取出一定樣本進(jìn)行分析。

比如head/tail命令便可從文本中取出前/后N行文本。

那么其實(shí)自己可以寫(xiě)一個(gè)腳本，將數(shù)據(jù)取樣和mysqlimport操作執(zhí)行自動(dòng)化

類似這樣的數(shù)據(jù):

brucebook1----b63a795----brucebook@qq.com

lxaixy13----b894a74----lxaixy13@qq.com

brucebook----26890de----lanse123@qq.com

gwjgwjgwj----c34a8b2----gds871214@vip.qq.com

leelight----ab00021----leeguangzhu@qq.com

可以這么寫(xiě)：

mysqlimport -u root -p --local --fields-terminated-by="----" --lines-terminated-by="\r\n" sgk C:\Users\Administrator\Desktop\data1 --columns=username,password,email

數(shù)據(jù)清洗及導(dǎo)入就介紹到這里，關(guān)于數(shù)據(jù)維護(hù)由于篇幅限制我們放在下節(jié)講。

0x03 測(cè)試索引查詢效果:

1.建立索引:

/usr/local/coreseek/bin/indexer -c {最好配置文件絕對(duì)路徑} {索引名字}

檢查索引數(shù)據(jù)是否ok

2.啟動(dòng)索引服務(wù)

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/sphinx.conf -i sgk

3.查看命令用法

/usr/local/coreseek/bin/search

4.直接搜索：

/usr/local/coreseek/bin/search -c {最好配置文件絕對(duì)路徑} {索引名字}{搜索詞}

demo:搜索一個(gè)詞測(cè)試

5.索引重建

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/project/sphinx.conf sgk --rotate 1

6.增量索引使用

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/project/sphinx.conf sgk_merge --rotate

7.合并索引跟增量索引

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/project/sphinx.conf --merge sgk_idx sgk_merge --rotate

0x04 結(jié)語(yǔ):

本節(jié)教程就介紹到這里，介紹了索引引擎的配置文件與索引的建立，數(shù)據(jù)導(dǎo)入清洗相關(guān)的知識(shí)，希望大家有所收獲。到目前為止，我們的私人數(shù)據(jù)查詢系統(tǒng)就大概成形了，已經(jīng)可以進(jìn)行關(guān)鍵詞的查詢?nèi)蝿?wù)，下一步便是構(gòu)建查詢應(yīng)用前后端，將數(shù)據(jù)完整且優(yōu)雅的展現(xiàn)于眼前。之后如何，敬請(qǐng)期待下節(jié)課程。

滲透測(cè)試工程師崗位技能學(xué)習(xí)

崗位介紹：

滲透測(cè)試是通過(guò)模擬惡意黑客的攻擊方法，來(lái)評(píng)估計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)安全的一種評(píng)估方法，滲透測(cè)試工程師利用各種手段對(duì)某個(gè)特定網(wǎng)絡(luò)進(jìn)行測(cè)試，以期發(fā)現(xiàn)和挖掘系統(tǒng)中存在的漏洞，然后輸出滲透測(cè)試報(bào)告，并提交給網(wǎng)絡(luò)所有者。網(wǎng)絡(luò)所有者根據(jù)滲透人員提供的滲透測(cè)試報(bào)告，可以清晰知曉系統(tǒng)中存在的安全隱患和問(wèn)題。

課程學(xué)習(xí)：

本崗位課程學(xué)習(xí)包括6章23小節(jié)134個(gè)實(shí)驗(yàn)，點(diǎn)擊“http://www.hetianlab.com/pages/newPostSystem.jsp?channelID=zhihu”開(kāi)始學(xué)習(xí)！

聲明：筆者初衷用于分享與普及網(wǎng)絡(luò)知識(shí)，若讀者因此作出任何危害網(wǎng)絡(luò)安全行為后果自負(fù)，與合天智匯及原作者無(wú)關(guān)，本文為合天原創(chuàng)，如需轉(zhuǎn)載，請(qǐng)注明出處！

nfoQ 熱門(mén)話題

1.繼美光之后，SK海力士宣布明年資本支出減半，全球存儲(chǔ)芯片市場(chǎng)暴跌幅度驚人
https://www.infoq.cn/article/4IfbhjAHEF3RI4kpS9Xt

2.Webpack 創(chuàng)始人推出比Webpack“快700倍”的Turbopack，基于Rust編寫(xiě)
https://www.infoq.cn/article/iKecr1k4eQMMpCaaXEDr

3.云原生圖數(shù)據(jù)庫(kù)在西門(mén)子成都工廠的數(shù)智化運(yùn)營(yíng)實(shí)踐
https://www.infoq.cn/article/f59Vdt8BZvUs1W4gYyQN

4.企業(yè)應(yīng)用開(kāi)發(fā)需求激增，低代碼的價(jià)值和風(fēng)險(xiǎn)都不可忽視
https://www.infoq.cn/article/UdGTsgRmdWEUxMxV3Aii

5.人群圈選效率提升 30 倍，云積互動(dòng)基于 Apache Doris 構(gòu)建統(tǒng)一數(shù)倉(cāng)的實(shí)踐
https://www.infoq.cn/article/PiUelj8v3KdWhylRMZx6

6.微軟：GitHub年收入達(dá)10億美元，擁有9千萬(wàn)活躍用戶
https://www.infoq.cn/article/1s4tJwDHpM5zTbeScaRI

7.估值從3600億縮水到1200億，英特爾自動(dòng)駕駛掌上明珠Mobileye的“災(zāi)難性”上市
https://www.infoq.cn/article/juifybjFERQvkbNCV8GL

8.從零開(kāi)始構(gòu)建業(yè)務(wù)異常檢測(cè)系統(tǒng)，F(xiàn)reeWheel面臨過(guò)的問(wèn)題和解決方案
https://www.infoq.cn/article/VNuFLZeLmv0iDEJB06OD

9.谷歌、微軟發(fā)布最新財(cái)報(bào)：營(yíng)收持續(xù)增長(zhǎng)，但利潤(rùn)萎縮
https://www.infoq.cn/article/ev51N1uqoPPp8iPdaieu

10.Error Prone 通過(guò)檢測(cè)常見(jiàn)錯(cuò)誤幫助改善Java代碼
https://www.infoq.cn/article/lpOyO0ClfYLGmmakS3is

博客園新聞

1.靠AI六小時(shí)開(kāi)發(fā)游戲Demo，劇本繪畫(huà)配音全包，網(wǎng)友：新概念3A大作
https://news.cnblogs.com/n/730540/

2.「多語(yǔ)言圖像描述」最強(qiáng)評(píng)估基準(zhǔn)XM3600來(lái)了！涵蓋36種語(yǔ)言
https://news.cnblogs.com/n/730541/

3.ECCV 2022商湯斬獲70篇論文
https://news.cnblogs.com/n/730539/

4.ECCV 2022開(kāi)獎(jiǎng)！清華、浙大校友斬獲最佳論文獎(jiǎng)
https://news.cnblogs.com/n/730538/

5.讓人啼笑皆非的機(jī)器人翻車(chē)現(xiàn)場(chǎng)，揭示了多少行業(yè)真相？
https://news.cnblogs.com/n/730537/

6.美團(tuán)外賣(mài)在香港，還能“送啥都快”嗎？
https://news.cnblogs.com/n/730536/

7.小鵬飛行汽車(chē)，怎么成了“縫合怪”
https://news.cnblogs.com/n/730535/

8.自動(dòng)駕駛企業(yè)Mobileye上市：市值167億美元路演PPT曝光
https://news.cnblogs.com/n/730534/

9.iMessage聊天不舒服、橙色暗示買(mǎi)買(mǎi)買(mǎi)，這是蘋(píng)果、淘寶的顏色“小心機(jī)”
https://news.cnblogs.com/n/730533/

10.小米360們，靠什么撐起體面
https://news.cnblogs.com/n/730532/

11.字節(jié)低估了元宇宙社交
https://news.cnblogs.com/n/730531/

12.淘寶一定要搶羅永浩和俞敏洪
https://news.cnblogs.com/n/730530/

13.騰訊光子工作室舉辦內(nèi)部AI繪畫(huà)大賽，游戲巨頭的正規(guī)軍要進(jìn)場(chǎng)？
https://news.cnblogs.com/n/730529/

14.中國(guó)公有云服務(wù)市場(chǎng)報(bào)告出爐，騰訊云繼續(xù)穩(wěn)居第二
https://news.cnblogs.com/n/730528/

15.米哈游地推太猛：PC云原神發(fā)力，韓快閃店吸引2萬(wàn)玩家，日本辦電競(jìng)比賽
https://news.cnblogs.com/n/730527/

16.火星表面下可能有古代細(xì)菌
https://news.cnblogs.com/n/730526/

17.蔚來(lái)國(guó)際業(yè)務(wù)總部項(xiàng)目落戶上海嘉定
https://news.cnblogs.com/n/730524/

18.氣候變化如何影響人類
https://news.cnblogs.com/n/730523/

19.電子煙“成煙”
https://news.cnblogs.com/n/730525/

20.貓咪能區(qū)分對(duì)它們和其他人類的呼叫
https://news.cnblogs.com/n/730522/

36氪新聞

1.最前線 | 藥明康德三季報(bào)：?jiǎn)渭径葼I(yíng)收首次超過(guò)100億元
https://www.36kr.com/p/1974595372818820

2.老產(chǎn)品全線上云，微軟云的增長(zhǎng)戲法
https://www.36kr.com/p/1974515949052292

3.美團(tuán)到家事業(yè)群招募香港工作人員，或?qū)⒒I備外賣(mài)業(yè)務(wù)試點(diǎn)
https://www.36kr.com/p/1974556486509192

4.羅森在上海開(kāi)了一家無(wú)人便利店，消費(fèi)者能習(xí)慣“拿了就走”嗎？
https://www.36kr.com/p/1974553316155778

5.個(gè)人電腦需求疲軟拖累微軟，云計(jì)算增速放緩致凈利大幅下滑
https://www.36kr.com/p/1974551726842240

6.唐唯實(shí)與中國(guó)市場(chǎng)的“斷舍離”
https://www.36kr.com/p/1974541294903936

7.6個(gè)月拉鋸戰(zhàn)即將落幕？傳聞馬斯克承諾本周五前完成440億美元收購(gòu)?fù)铺?br>https://www.36kr.com/p/1974296468021891

8.資本減持零售業(yè)
https://www.36kr.com/p/1974538005225863

9.李佳琦之外，今年雙11達(dá)人直播還有哪些值得說(shuō)？
https://www.36kr.com/p/1974527715664518

10.中餐江湖刮起上市旋風(fēng)
https://www.36kr.com/p/1974535560045192

11.復(fù)活的眾泰正準(zhǔn)備去海外市場(chǎng)割韭菜，它的前輩卻要破產(chǎn)了
https://www.36kr.com/p/1974533304935049

12.有關(guān)汽水音樂(lè)的未來(lái)，這幾點(diǎn)建議值得聽(tīng)一聽(tīng)
https://www.36kr.com/p/1974493862650245

13.PC上的這個(gè)“貴族接口”，究竟還有未來(lái)嗎
https://www.36kr.com/p/1974473078186625

14.結(jié)婚人數(shù)屢創(chuàng)新低，酒店的婚慶生意更加難做了？
https://www.36kr.com/p/1974530453610880

15.豐田全新電動(dòng)車(chē)，核心來(lái)自比亞迪
https://www.36kr.com/p/1974527846506888

16.東方財(cái)富暴跌50%之后
https://www.36kr.com/p/1974519726252423

17.茅臺(tái)砍掉200個(gè)子品牌，丁雄軍的跨界“陽(yáng)謀”
https://www.36kr.com/p/1974509243695876

18.破發(fā)的萬(wàn)物云，為何估值邏輯失效？
https://www.36kr.com/p/1974484290920839

19.“羅永浩們”入淘：出名靠流量，成交靠淘寶
https://www.36kr.com/p/1974454111773319

20.被三大品牌掃地出門(mén)，侃爺涼涼
https://www.36kr.com/p/1974483417588358

21.定制家居再洗牌，尚品、索菲亞誰(shuí)的麻煩更大？
https://www.36kr.com/p/1974500496712324

22.手機(jī)廠商不再負(fù)責(zé)更新，谷歌要親自維護(hù)安卓Go
https://www.36kr.com/p/1974472853299586

23.CFO楊若離職只是表象，戰(zhàn)略飄忽不定才是耽誤小紅書(shū)的根源
https://www.36kr.com/p/1974498738839943

24.蘋(píng)果要給App Store加廣告位，為何避開(kāi)國(guó)內(nèi)市場(chǎng)
https://www.36kr.com/p/1974472360157830

25.逃離風(fēng)向的“僵尸青年”
https://www.36kr.com/p/1974479594267267

26.阿迪達(dá)斯丟了“椰子”
https://www.36kr.com/p/1974476090729094

27.雙11最后一塊流量洼地，品牌應(yīng)該怎么用好視頻號(hào)？
https://www.36kr.com/p/1974453266047366

28.1024，一年一度吐槽小鵬大賽
https://www.36kr.com/p/1974438131368713

29.小鵬飛行汽車(chē)，怎么成了“縫合怪”
https://www.36kr.com/p/1974444740829827

30.折疊屏手機(jī)火了，又好像沒(méi)火
https://www.36kr.com/p/1974438406095624

31.讓人啼笑皆非的機(jī)器人翻車(chē)現(xiàn)場(chǎng)，揭示了多少行業(yè)真相？
https://www.36kr.com/p/1974461031801224

32.2022寵物食品市場(chǎng)報(bào)告：貓經(jīng)濟(jì)當(dāng)?shù)?，功效零食猛增長(zhǎng)
https://www.36kr.com/p/1974425027757057

33.歐美天然氣價(jià)格一度跌入負(fù)值，怎么回事？
https://www.36kr.com/p/1974421096596489

34.被“偷家”的抖音，再戰(zhàn)雙11
https://www.36kr.com/p/1974414456430981

35.“開(kāi)一家水果店，嘗盡人間疾苦”
https://www.36kr.com/p/1974430216528259

36.如何成為一名優(yōu)秀的產(chǎn)品經(jīng)理？只需要這幾種能力
https://www.36kr.com/p/1974389638578944

37.日均3500萬(wàn)票的中國(guó)郵政，追上順豐通達(dá)系快遞還差多遠(yuǎn)？
https://www.36kr.com/p/1974383660573315

38.基金三季報(bào)速覽：張坤抄底騰訊，蕭楠卻減了倉(cāng)
https://www.36kr.com/p/1974415688540544

39.合肥高科IPO成功過(guò)會(huì)：專注家用電器專用配件，背靠海爾年收入逾8億
https://www.36kr.com/p/1974425872286464

40.圓心科技第三次沖刺港股上市，有騰訊加持為啥還是這么不容易？
https://www.36kr.com/p/1974409791652613

41.老板想要在非洲賣(mài)巧克力，營(yíng)銷人必須知道的3種營(yíng)銷策略
https://www.36kr.com/p/1974388108026502

42.從質(zhì)疑極氪009宣傳圖造假，到最終刪除微博，李想與吉利副總的“高能”互動(dòng)都在這了
https://www.36kr.com/p/1974357088772489

43.上一財(cái)年支出是收入的5倍，Edtech獨(dú)角獸以4000萬(wàn)美元收購(gòu)線下培訓(xùn)機(jī)構(gòu)，尋求增加收入
https://www.36kr.com/p/1974410358235522

44.年入12億，“臟”上熱搜的楊國(guó)福，不靠賣(mài)麻辣燙賺錢(qián)
https://www.36kr.com/p/1974386304475522

45.為什么和伴侶同居后，男生們的居家能力大幅提升？| 2022年輕人居家報(bào)告
https://www.36kr.com/p/1974398781694601

46.國(guó)際航班數(shù)量增一倍，票價(jià)降兩成
https://www.36kr.com/p/1974410467582594

47.從“避風(fēng)港”變成“眾矢之的”，谷歌做錯(cuò)了什么？
https://www.36kr.com/p/1974407300981380

48.早期項(xiàng)目丨擁有萬(wàn)億級(jí)市場(chǎng)應(yīng)用前景，「中科微智」通過(guò)微生物組干預(yù)促進(jìn)兒童生長(zhǎng)發(fā)育
https://www.36kr.com/p/1964356398688518

49.阿迪和侃爺割席：仇恨言論和一個(gè)時(shí)代的公關(guān)災(zāi)難
https://www.36kr.com/p/1974402318770562

50.等等，你口中的“動(dòng)漫”，究竟是什么意思？
https://www.36kr.com/p/1974390586433922

開(kāi)源中國(guó)資訊

1.PHP 8.3 的第一個(gè)決議：內(nèi)置 JSON 驗(yàn)證函數(shù)
https://www.oschina.net/news/215074

2.FydeOS v15.1 更新上線，有諸多小彩蛋等著你
https://www.oschina.net/news/215070

3.開(kāi)源 API 管理工具 v1.8.0 發(fā)布，數(shù)據(jù)上云，API 團(tuán)隊(duì)協(xié)作
https://www.oschina.net/news/215065/eoapi-1-8-0-released

4.實(shí)現(xiàn)自托管后，Zig 的下一步是什么？
https://www.oschina.net/news/214994/zig-self-hosted-now-what

5.Linus 認(rèn)為是時(shí)候從內(nèi)核移除對(duì) i486 CPU 的支持
https://www.oschina.net/news/214989/intel-i486-linux-possible-drop

6.谷歌 Chrome 將于 2023 年 2 月停止支持 Windows 7/8.1
https://www.oschina.net/news/214988/google-chrome-sunsetting-support-windows-7-8-1

7.Keka：macOS 平臺(tái)的解壓縮工具
https://my.oschina.net/u/3859945/blog/5560595

8.Chrome 107 正式發(fā)布
https://www.oschina.net/news/214986/chrome-107-released

9.如何解讀“后 Hadoop 時(shí)代”？
https://www.oschina.net/event/2327198

10.OSCHINA 2022 中國(guó)開(kāi)源開(kāi)發(fā)者問(wèn)卷
https://wj.qq.com/s2/11022804/f3c0/

11.拒絕 “ghs”，約會(huì)軟件開(kāi)源 “色圖” 識(shí)別 AI
https://www.oschina.net/news/214983/bumble-open-source-private-detector

12.Next.js 13 帶來(lái)比 Webpack 快 700 倍的打包器：Turbopack
https://www.oschina.net/news/214982/nextjs-13-released

13.Ubuntu 22.10 正式支持 Sipeed 的 LicheeRV RISC-V 開(kāi)發(fā)板
https://www.oschina.net/news/214981/ubuntu-on-sipeeds-licheerv-risc-v-board

14.Play with Docker —— 在線 Docker 練習(xí)平臺(tái)
https://www.oschina.net/p/play-with-docker

15.Gitee 推薦 | 輕量級(jí) Windows 平臺(tái)客戶端開(kāi)發(fā)框架 SOUI 4
https://gitee.com/setoutsoft/soui4

16.每日一博 | 分布式 ID 生成服務(wù)的技術(shù)原理和項(xiàng)目實(shí)戰(zhàn)
https://my.oschina.net/u/4939618/blog/5585451

17.IHP 1.0 正式發(fā)布，開(kāi)箱即用的 Haskell Web 框架
https://www.oschina.net/news/214973/ihp-1-0-released

Elastic日?qǐng)?bào) 第1519期 (2022-10-26）

1.不同的查詢?cè)~項(xiàng)對(duì) ES 的影響（需要梯子）
https://medium.com/@raaj.akshar/performing-search-for-different-word-variants-in-elasticsearch-bd5c37ce4778

2.Html 內(nèi)容清洗的一個(gè) ingest（需要梯子）
https://medium.com/@andre.luiz1987/ingest-pipelines-html-strip-processor-elasticsearch-dd125f9ea640

3.type 類型的使用（需要梯子）
https://medium.com/@andre.luiz1987/tips-version-field-type-elasticsearch-1a8bf5527169

HP默認(rèn)的函數(shù)有移除指定html標(biāo)簽，名稱為strip_tags，在某些場(chǎng)合非常有用。

strip_tags

(PHP 3 >=3.0.8, PHP 4, PHP 5)

strip_tags — Strip HTML and PHP tags from a string

string strip_tags ( string str [, string allowable_tags] )

弊端：

這個(gè)函數(shù)只能保留想要的html標(biāo)簽，就是參數(shù)string allowable_tags。

這個(gè)函數(shù)的參數(shù)allowable_tags的其他的用法。

strip_tags($source, ”); 去掉所以的html標(biāo)簽。

strip_tags($source, ‘<div><img><em>’); 保留字符串中的div、img、em標(biāo)簽。

如果想去掉的html的指定標(biāo)簽。那么這個(gè)函數(shù)就不能滿足需求了。于是乎我用到了這個(gè)函數(shù)。

/**

* Removes specific tags.

function strip_only_tags($str, $tags, $stripContent=FALSE) {

$content='';

if (!is_array($tags)) {

$tags=(strpos($str, '>') !==false ? explode('>', str_replace('<', '', $tags)) : array($tags));

if (end($tags)=='') {

array_pop($tags);

}

foreach($tags as $tag) {

if ($stripContent) {

$content='(.+|\s[^>]*>)|)';

}

$str=preg_replace('#|\s[^>]*>)'.$content.'#is', '', $str);

}

return $str;

}

參數(shù)說(shuō)明

$str — 是指需要過(guò)濾的一段字符串，比如div、p、em、img等html標(biāo)簽。

$tags — 是指想要移除指定的html標(biāo)簽，比如a、img、p等。

$stripContent=FALSE — 移除標(biāo)簽內(nèi)的內(nèi)容，比如將整個(gè)鏈接刪除等，默認(rèn)為False，即不刪除標(biāo)簽內(nèi)的內(nèi)容。

使用說(shuō)明

$target=strip_only_tags($source, array(‘a(chǎn)’,'em’,'b’));

移除$source字符串內(nèi)的a、em、b標(biāo)簽。

$source='<div><a href="http://www.tsingyaun.cn" target="_blank"><img src="http://www.tsingyuan.cn/logo.png" border="0" alt="Welcome to linzl." />This a example from<em>lixiphp</em></a><strong>!</strong></div>

$target=strip_only_tags($source, array('a','em'));

//target results

//<div><img src="http://blog.lixiphp.com/logo.png" border="0" alt="Welcome to lixiphp." />This a example from<strong>!</strong></div>

:left;"

在線咨詢

上一篇：郵儲(chǔ)銀行申請(qǐng)前端查詢頁(yè)面的生成方法、查詢方法及電子設(shè)
下一篇：實(shí)現(xiàn)HTML5網(wǎng)站中常見(jiàn)的拖拽上傳文件

您的項(xiàng)目需求

*請(qǐng)認(rèn)真填寫(xiě)需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。