整合營銷服務商
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
Oracle 用戶：
#new add
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/12.2.0/db_1
export ORACLE_SID=racdb1
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH
umask 022
stty erase ^h
軟件包：
linuxx64_12201_database.zip
注意：
1.圖形界面的展示是使用了Xmanager軟件
2.安裝中涉及到的DATA和FRA磁盤組，是在grid軟件安裝完成后，使用asmca來創建的
3.本文是先安裝軟件，然后dbca建庫
將軟件包上傳到其中一臺服務器上，然后使用oracle用戶解壓，進入到解壓目錄，執行runInstaller腳本：
1.email和oracle MOS支持，自己個人使用，不需要填寫
2.只安裝軟件，后面單獨使用dbca建庫
3.選擇安裝RAC
4.勾選上節點2，然后驗證oracle用戶的ssh等效性連接
5.選擇安裝企業版
6.ORACLE_BASE和ORACLE_HOME確認和檢查(讀取前面配置好的環境變量)
7.相關組的分配
8.安裝前的預檢查
如果是swap ,scan ip 和resolv.comfi相關的錯誤可以忽略！！
如果使用ntp的話，需要修改文件：---建議不使用ntp，直接使用oracle自帶的時間同步CTSS
9.軟件安裝的Summary
10.開始安裝軟件,并根據彈出框執行腳本
11.數據庫軟件安裝完成
在oracle用戶下直接輸入命令dbca，會彈出下面的窗口：
1.選擇創建數據庫
2.選擇高級配置
3.選擇數據庫類型和用途
4.勾選節點2
5.輸入數據庫名稱，如果需要創建容器數據庫，需要勾選下面的Container database選項
6.選擇數據庫文件存放位置和是否使用OMF管理
7.定義快速恢復區和是否開啟歸檔
8.安全現骨干配置，可以不用配置
9.內存分配，process分配，字符集選擇，連接模式選擇
AMM在dbca中不能分配超過4G的內存，只能選擇ASMM或者手動分配！！！
10.是否做一個CVU檢查 和 是否安裝單機版的EM
11.密碼設置
12.創建數據庫的
13.預檢查
SWAP和SCAN IP相關錯誤可以忽略！
14.數據庫安裝Summary
15.開始安裝
16.安裝完成
至此，Oracle 12C RAC整體就安裝完成！
安裝完成后，可以使用命令來查看是否正常：
ps -ef|grep smon --查看進程
select open_mode from v$databases; ---查看數據庫狀態
crsctl status resource -t --- 查看資源情況
crsctl check cluster ---檢查集群情況
crsctl check crs ---檢查CRS狀態
crsctl check ctss ---時間同步狀態
ocrcheck ---檢查ocr
crsctl query css votedisk ---檢查votedisk信息
要： Xshell是一款強大、著名的終端模擬軟件，被廣泛的用于服務器運維和管理,Xshell支持SSH，SFTP，TELNET，RLOGIN和SERIAL功能。它提供業界領先的性能和強大功能，在免費終端模擬軟件中有著不可替代的地位。
Xshell是一款強大、著名的終端模擬軟件，被廣泛的用于服務器運維和管理,Xshell支持SSH，SFTP，TELNET，RLOGIN和SERIAL功能。它提供業界領先的性能和強大功能，在免費終端模擬軟件中有著不可替代的地位。企業版中擁有更專業的功能其中包括:標簽式的環境、動態端口轉發、自定義鍵映射、用戶定義按鈕、VB腳本和用于顯示2 byte字符和支持國際語言的UNICODE終端。
Xshell提供許多用戶友好的，在其他終端終端模擬軟件沒有的功能。這些功能包括:通過拖放文件進行Zmodem文件上傳，簡單模式，全屏模式，透明度選項和自定義布局模式下載Zmodem文件。使用Xshell執行終端任務節省時間和精力。
近日，安全公司發現官方發布的軟件版本中，nssock2.dll模塊源碼被植入后門。由于使用該軟件的技術人員較多，存在一定的安全風險。
目前官方已經發布了xshell最高版本為 Xshell 5 Build 1326 ，該版本更新于2017年8月5日，建議盡快全盤查殺病毒并升級到最新版本。
具體詳情如下：
事件名稱:
NetSarang的Xmanager和Xshell多種產品被植入后門
官方評級:
高危
事件描述:
nssock2.dll模塊源碼被植入后門，上傳重要敏感信息。
利用條件和方式:
本地利用
漏洞影響范圍:
Xmanager Enterprise 5.0 Build 1232
Xmanager 5.0 Build 1045
Xshell 5.0 Build 1322
Xftp 5.0 Build 1218
Xlpd 5.0 Build 1220
漏洞檢測:
檢查是否在受影響版本范圍內
使用防病毒軟件查殺
修復建議(或緩解措施):
安裝防病毒軟件，更新病毒庫對全盤進行查殺，并更換操作系統賬號密碼；
及時升級到官方的最新版本 ；
檢查堡壘機內的Xshell套件是否存在此類問題；
提升安全意識，不要到非官方網站下載并安裝軟件。
情報來源：
官方公告:https://www.netsarang.com/news/security_exploit_in_july_18_2017_build.html
綠盟:http://toutiao.secjia.com/netsarang-xmanager-xshell-backdoor#
360:http://bobao.360.cn/news/detail/4263.html
景：最近的工作需要對文本先進行標注，然后才可以做接下來的文本分類工作。其中主要內容是對一段文本打標簽，標記該文本描述了一個我們預定義的種類標簽。
原來文本數量少的時候可以手工標注，隨著文本數量的增多，需要借助標注工具，調研了目前常用的幾種：
https://github.com/nlplab/brat
首先是業內常用的BRAT，官網地址：http://brat.nlplab.org/ ，這是很早以前出現的一個工具，基于web的文本標注工具，主要用于對文本的結構化標注，用BRAT生成的標注結果能夠把無結構化的原始文本結構化，供計算機處理。利用該工具可以方便的獲得各項NLP任務需要的標注語料。面向unix-like系統
最大的特點是在標注實體的同時可以進行關系的標注。而且是一個server服務端，搭建好后可以多人訪問，也適合多人協同標注。據說可以通過tomcat搭建，博主沒自己試驗過。
經過調研比較，我們最終選定還是用brat進行標注，接下來介紹如何使用brat，其他的標注工具調研在后面有介紹。
通過虛擬機virtualBox，Ubuntu18.04， https://blog.csdn.net/zcooa/article/details/80615743
或者通過在win上安裝cgwin來實現 cgwin https://blog.csdn.net/heshushun/article/details/78664384
博主是放在一個服務器server上安裝，然后通過訪問ip的方式來完成標注工作。
先下載，http://brat.nlplab.org/installation.html，brat-v1.3_Crunchy_Frog.tar.gz這個文件
然后解壓，運行即可
tar -xf brat-v1.3_Crunchy_Frog.tar
cd brat-v1.3_Crunchy_Frog
./install.sh –u
這里會提示你輸入username，可以自己設置，將來標注的時候，支持多人標注。
python standalone.py #（不可用python3）
以上操作在Xshell中完成，此時brat服務已經啟動，如果你的服務器有圖形界面，或者ubuntu中，那么你可以直接用自帶的瀏覽器訪問 127.0.0.1:8001
我這里沒有圖形界面，所以命令行訪問firefox
然后會打開一個窗口，這個功能需要xmanager軟件，會提示你安裝的，
，繼續訪問127.0.0.1:8001就可以了
brat本身是不支持中文的，如果在配置文件里定義中文會報錯，解決辦法是./server/src/projectconfig.py文件的第163行，加上中文支持即可：
n=re.sub(u'[^a-zA-Z\u4e00-\u9fa5<>,0-9_-]', '_', n)
官方文檔：If you want to add additional users, you can edit the config.py file, which contains further instructions.
找到config.py 對應的行，增加：
USER_PASSWORD={ 'admn': 'admin', 'test': 'test', # (add USERNAME:PASSWORD pairs below this line.) }
重新啟動后，使用test就可以登錄了
注意：當前用戶只能針對自己的標注進行修改，并不能修改其他人進行的標注
導入文件的時候，必須要文件符合：文件名.xxx和文件名.ann 一一對應的格式即可
直接將包含txt數據集的文件夾放置到安裝文件下一個data的目錄下，然后使用命令：
其意思是對每個txt文件都創建一個空的標引文件.ann，因為BRAT是要求的collection中，每個txt文件是必須有一個對應的.ann文件的，方便放置標引內容，這個ann文件的格式也挺規范
將要標注的文件導入項目中data/路徑下即可，可以查看其中examples文件下以及tutorials文件下幫助文檔。
brat通過配置文件來決定對語料的標注可以滿足何種任務，包括四個文件
annotation.conf: annotation type configuration
visual.conf: annotation display configuration
tools.conf: annotation tool configuration
kb_shortcuts.conf: keyboard shortcut tool configuration
一般只需要修改annotation.conf即可，該文件用于對標注的數據結構進行配置，典型的配置如下：
每個文件需要包含四類模塊：entities、relations、events、attributes。各個模塊都可以定義為空，其中
entities用來定義標注的實體名稱，其格式為每行一個實體類型，比如：人名、地名、英雄名、技能名等，可以采用tab來增加二級標注，如下面的實體標注中技能下的二級標注戰斗技能等。
relations用來定義實體間的關系，格式為每行定義一種關系，第一列為關系類型，隨后是用逗號分隔的ArgN:實體名，用來表示關系的各個相關者。比如例子中，同盟關系是存在于英雄之間
events用來定義事件，每行定義一類事件，第一列為事件名，隨后是用逗號分隔的Participant:實體名，用來表示事件的各個參與者。比如例子中，1v1事件需要多個英雄參加
attributes用來定義屬性，每行一個屬性，第一列為屬性名，隨后是用逗號分隔的Arg:<模塊類型>, Value:屬性值，注意屬性值可以有多個，比如例子中，定義了實體類型可以有攻擊力，值從1-3
[entities]
英雄
北歐英雄
希臘英雄
技能
戰斗技能
生活技能
采礦
種地
種白菜
種大米
[relations]
同盟Arg1:英雄, Arg2:英雄
擁有Arg1:英雄, Arg2:技能
[events]
1v1Participant1:英雄, Participant2:英雄
[attributes]
攻擊力Arg:<ENTITY>, Value:1|2|3|4|5
選中要標注的文本，會彈出窗口，選中標注label，然后完成標注
標注完成后，鼠標移動到上面，點擊data
點擊OK將標注信息作為ann導出，如下：
1 T2 OTH 3 15 一噸碳挑戰的目的是什么？
2 T1 NUM,MNY 37 75 加國政府由自由黨主政的2003年至2006年間，通過多少經費來挹注為此計劃？
3 T3 OTH 92 114 廖秋成跟劉業經教授和劉棠瑞教授學了什么學科？
踩坑記錄：
1，如果導入文本編碼格式不是utf-8，就無法正常導入。導入文本名稱為英文.txt
2，如果要標注中文標簽，直接在annotation.conf中寫入中文標簽，會出現報錯信息
最終解決方案是在annotation.conf中用label1，label2來表示，然后在視覺配置visual.conf中對應修改
如上面：
[labels]
label1 | 攻擊行為
label2 | 違紀行為
https://github.com/deepwel/Chinese-Annotator
該工具靈感來自于Prodigy，每一次的標注只需要用戶解決一個case的問題。以文本分類為例，對于算法給出的分類結果，只需要點擊“正確”提供正樣本，“錯誤”提供負樣本，“略過”將不相關的信息濾除，“Redo”讓用戶撤回操作，四個功能鍵以最簡模式讓用戶進行標注操作。真正應用中，應該還要加入一個用戶自己加入標注的交互方式，比如用戶可以高亮一個詞然后選擇是“公司”，或者鏈接兩個實體選擇他們的關系等等。 主要可以用來做命名實體。
優點是界面友好，面向OSX的，沒試過win10可不可用
我們的任務更多的是對一段文本的信息進行標注，判斷是否這段文本表示了我們預先定義的一個label，所以這個工具不太適合，也沒有具體安裝使用。
3，YEDDA
YEDDA是由新加坡科技大學yangjie等人開發的，前身也就是SUTDAnnotator，https://github.com/jiesutd/YEDDA
開發用于在文本(幾乎所有語言，包括英語、中文)、符號甚至表情符號上注釋塊/實體/事件。它支持快捷注釋，手工注釋文本非常有效。用戶只需選中文本并按快捷鍵如A，就會自動標注。它還支持命令注釋模型，該模型可以批量注釋多個實體，并支持將帶注釋的文本導出為序列文本。此外，更新版本還包括智能推薦和管理員分析。與所有主流操作系統兼容，在win10可以直接用，但是是基于python2開發的，所以安裝需要用python2。
需要標注的文檔用txt文件導入，編碼方式為utf-8，如果編碼方式不對，會顯示亂碼。
標注結果參考brat，用.ann文件來保存。
目前仍在更新，獲得2018ACL best demo nomination
優點是安裝方便，標注方便，如果要實現給同一個實體加多個標簽，也可以實現，還有其他功能做的很贊
但是為了標注方便，可以通過按鍵實現，使得快捷鍵設置不宜過多，我們的工作中要求標注標簽在50個以上，所以這個工具不適合，無法添加這么多工具，最后沒有采用，如果你的標注標簽要求較少，這個工具很適合。
4，IEPY
IEPY主要特色在關系抽取，基于java開發的，是一種開源的信息抽取工具
在github可以下載Python開發 https://github.com/machinalis/iepy。可以閱讀https://iepy.readthedocs.io/en/latest/。
我們將數據加載到數據庫的方式是從csv文件導入數據。使用應用程序文件夾中提供的腳本csv_to_iepy來執行此操作。特別擅長對大型數據集進行關系抽取。
感覺不是很好用，而且我們主要是加標簽的工作，不適合。
5，DeepDive (Mindtagger)
2017年后已經不再更新，DeepDive是一個從黑暗數據中提取價值的系統。與暗物質一樣，暗數據是隱藏在文本、表格、圖形和圖像中的大量數據，缺乏結構，因此現有軟件基本上無法處理這些數據。通過從非結構化信息(文本文檔)創建結構化數據(SQL表)，并將這些數據與現有的結構化數據庫集成，DeepDive可以幫助將黑暗數據暴露出來。DeepDive用于提取實體之間復雜的關系，并對涉及這些實體的事實進行推斷。深潛幫助人們處理各種各樣的問題
Labeling DeepDive data with Mindtagger
http://deepdive.stanford.edu/labeling
A tool for labeling data
不好用，但是可以統計最后的標注標簽以及導出標注信息可以保存為不同格式。
6，snorkel
https://github.com/HazyResearch/snorkel
用于快速創建、建模和管理培訓數據的系統。當今最先進的機器學習模型需要大量標記的訓練集，而這些訓練集通常不存在于實際應用中。相反，Snorkel是基于新的數據編程范式的，在這種范式中，開發人員將重點放在編寫一組標記函數上，這些函數只是通過編程方式標記數據的腳本。生成的標簽是有噪聲的，但是Snorkel會自動為這個過程建模——從本質上說，是學習，哪個標簽函數比其他函數更準確——然后使用它來訓練一個目標
調研后發現不適合我們的工作。但是這個項目有興趣的可以跟一下。
7，Prodigy
https://prodi.gy/docs/
一個由主動學習驅動的注釋工具。具體的可以看文檔。
8，其他標注方式
https://www.jianshu.com/p/6d80d9ff43b4
9，圖像標注軟件將來再介紹
https://www.cnblogs.com/alexanderkun/p/6936732.html
NLP相關問題可以關注我的公眾號 京西凌煙
一起學習討論
*請認真填寫需求信息，我們會在24小時內與您取得聯系。
