burgesspennn8

北內的貝爾文翻譯[軟體程式種別]: R [程式問題]: 資料處理 [軟體熟悉度]: 中(3個月到1年) [問題論述]: 比來常在處置字串 發現本身會的 function 很不敷用 想多學點 function 鉦昱翻譯公司列出一些我常用的 希望能拋磚引玉 請列位高手能教我一些高著兒 [程式範例]: 媒介 : R 的字串處理 翻譯社 要小心注重 character 翻譯社 factor , numeric 這三種物件的誤轉換和混用 factor 是一種很討厭的物件 , 因為它在轉成數字和字串的時辰 , 經常會變成跟本來紛歧樣的東西 , 建議資料處置的進程 翻譯社 預設用 matrix 和 character 兩種而避免使用 data.frame ------------------------------------------------------------------ 1.字串黏合 paste ("A","B",sep="") ---->>> "AB" 2.字串切割 strsplit("A.B",split="."翻譯社fixed=T) ---->>> "A" "B" 3.切確穩合 x <- c("AB"翻譯社"AA") x %in% "AB" ---->>> TRUE FALSE 4.部分吻合 + (回傳 which) x <- c("AB","AA") grep("B",x) ---->>> 1 grep("A"翻譯社x) ---->>> 1 2 grep("B",x,value=T) ---->>> "AB" grep("B"翻譯社x,value=T,invert=T) ---->>> "AA" grep("C",x) ---->>> integer(0) #若目標是要找 index , 建議改用 grepl 4-2.部份吻合 + (回傳判定式) x <- c("AB","AA") grepl("B",x) ---->>> TRUE FALSE 4-3.部份吻合 + (回傳位置) + (回傳??) x <- c("BBB"翻譯社"AAA","CCB") regexpr("B",x) ---->>> 1 -1 3 (第一次 "hit" 的位置) 1 -1 1 (有無 "hit") 5.子字串 substr("human123456"翻譯社start=1,stop=5) ---->>> "human" !!注重!! 4-3 的 regexpr 與這個 substr 連系起來 翻譯社 在寫 網頁Parser 的時候很好用 regexpr 能界說出 statr=幾何 所謂的網頁Parser 就是翻譯公司去下載某些 html 檔案 檢視原始碼 然後找出你需要的資料 再找出一些能 cut 的劃定規矩 用 strsplit 搭配 TR 翻譯社 TD 之類的字串去切出你要的資料 6.特定字元取代 (1st hit) x <- "AABB" sub("A",replacement="C",x) ---->>> "CABB" 6-2.掃數特定字元庖代 (global hit) x <- "AABB" gsub("A"翻譯社replacement="C",x) ---->>> "CCBB" 7.計較字串長度 ### 盡可能別用這個 fuction x <- c("A","AAA","AAAAA") nchar(x) ---->>> 1 3 5 nchar(as.factor(x)) ---->>> 1 1 1 8.多重字元(串)貼合 (矩陣內) x <- matrix(letters[1:6],2,3) apply(x,1,paste翻譯社collapse="") ---->>> "ace","bdf" apply(x翻譯社2,paste,collapse="") ---->>> "abc"翻譯社"def" 9. 字元反轉 x <- c("A B"翻譯社"*.") sapply(lapply(strsplit(as.character(x), NULL)翻譯社 rev), paste, collapse="") [1] "B A" ".*" 10.字元檢查 x <- c("A B","*.") unique(unlist(strsplit(as.character(x),split="",fixed=T))) [1] "A" " " "B" "*" "." ----------------------------------------------------------- Regular expression : 字串模糊比對 , 或特定字母佈列模式的抓取 在R內 根基上分成3種 Basic regular expression (BRE) --> extended = FALSE Extended regularexpression (ERE) --> extended = TRUE (預設) perl-like (perl) --> perl = TRUE 雙冒號代表我測試過且成功 單冒號代表網路上抓下來或是測試失敗 -------------------------------------------------------------- 通用部份 {,} * :: {0, } 至少呈現0次翻譯社 最多無窮屢次 + :: {1翻譯社 } 1 無窮多次 ? :: {0,1} 0 1 [Aa] :: A 或 a [^1-9] :: not 1:9 [1-9] :: 1:9 [a-z] :: a b c ... z [A-Z] :: A B C ... Z [a-zA-Z] :: 所有英文字母 [W-z] :: WXYZabc....z [w-Z] :: 不行利用! (AB) :: 括號一次搜集多個字元 ### 一種延伸字串的寫法 舉例 : x <- c("company"翻譯社"companies",) 可以用以下兩種寫法 1. grep("[company|companies]",x) 2. grep("compan(y|ies)",x) 第二種在大資料的時辰會對照快 $ :: 字尾限定 ^ :: 字首限制 | :: "ABC|EFG" --> grep("ABC"or"DEF"翻譯社x) . :: 隨意率性字元 ----------------------------------------------------- ERE , extended = TRUE digit (數字) \\d :: [0-9] \\D :: [^0-9] [[:digit:]] :: 同上 [^[:digit:]] :: 同上 blank (空白) \\s :: 能切開 " " 或 "\t" \\S :: 切開非空白及 tab 的字元 [[:blank:]] :: 同上 [^[:blank:]] :: 同上 AlphaBet + Digit (正常字元) \\w :: [0-9a-zA-Z] \\W :: [^0-9a-zA-Z] [[:alnum:]] :: 同上 [^[:alnum:]] :: 同上 AlphaBet (英文字元) [[:alpha:]] :: 同上 [^[:alpha:]] :: 同上 特別符號 [[:punct:]] :: ! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ` { | } ~ [^[:punct:]] :: 英文字 , 數字 (注重! , \t 和 都邑被切掉) 注重 ! 正斜線這個符號很輕易與其他 regular expr 混淆 必須細心檢查 "\" 存在的字串 可印符號 [[:print]] :: 所有字元 (數字,字母,特殊符號,空白) , \t 翻譯社 \001 除外 16進位字元 [[:xdigit:]] :: 16進位有關英文或數字 [0-9a-fA-F] 巨細寫英文字元 [[:upper:]] :: 大寫英文字元 [A-Z] [^[:upper:]] :: 非大寫 [^A-Z] [[:lower:]] :: 小寫 [a-z] [^[:lower:]] :: ^[a-z] 注意 "\t" 仍是會被留下來 空白和換行等 [[:space:]] :: " " 翻譯社 \t , 翻譯社 \f , \r (\f : 換行但不回到行頭) (\r : 回到行頭並消弭此行內所有的文字) P.S. 這兩種不常用翻譯社當豆常識便可 [[:graph:]] :: [A-Za-z0-9]再加[["punct"]] ---------------------------------------------------------- perl = TRUE \\w : [A-Za-z0-9_] \\W : [^A-Za-z0-9_] \\s : [\t \r\f] \\S : [^\t \r\f] \\d : [0-9] \\D : [^0-9] ---------------------------------------------------------- regular expression 工事中 (未完) 感覺這篇被鉦昱翻譯公司當筆記來用了 reference: 1. http://www.rtfiber.com.tw/~changyj/ 2. http://www.stat.psu.edu/~dhunter/R/html/base/html/regex.html ---------------------------------------------------------- 巨細寫切換 TRUTH <- c("Abc","ABC") a <- gsub("(\\w)","\\L\\1",TRUTH,perl=TRUE) ---> "abc","abc" b <- gsub("^(\\w)"翻譯社"\\U\\1",a翻譯社perl=TRUE) ---> "Abc","Abc" 同上 , 異常神秘的 Bug !? T123 <- c("Tgfbr1"翻譯社"Cd320","Ndrg3","Aldoa"翻譯社"Bckdk","Tmed3"翻譯社"Hfe2") > gsub( "(\\w)", "\\L\\1" , T123 , perl=T) [1] "LTLgLfLbLrL1" "LCLdL3L2L0" "LNLdLrLgL3" [4] "LALlLdLoLa" "LBLcLkLdLk" "LTLmLeLdL3" [7] "LHLfLeL2" > gsub( "(\\w)", "\\L\\1" 翻譯社 T123 , perl=TRUE) [1] "tgfbr1" "cd320" "ndrg3" "aldoa" "bckdk" "tmed3" [7] "hfe2" --------------------------------------- 消除多餘空白 > x <- "Hey! Apple " > gsub(" {2,}","",x) [1] "Hey! Apple" ### 容忍一個空白 翻譯社 但兩個以上至無窮大則消弭 --------------------------------------- 在處理混合字串與數字的資料矩陣的時辰 常常需要在 data.frame 和 matrix 之間切換 有時候會字串會被一些預設的空白字元夾住 ex: "1" 翻譯社 "15" , "333" 顛末轉換今後 " 1" 翻譯社 " 15" , "333" (fit 最長字串的長度) > DATA <- gsub("^ *| *$",as.matrix(DATA)) --------------------------------------- ### 一些參考的 pattern 1. "^\\d+$" ### 純數字的欄位 ### 2. "^ *| *$" ### 字首字尾的空白(搭配 gsub) ### 3. "^[0][\\.]{0,1}[0]*$" ### "0" "0.0" "0.00" "0.000" "0.0000" , bug 是 "0." "00" #################################################################### 放一些 linux 下的好用指令 光用 R 來做字串處理不敷用 緣由在於若處置懲罰的檔案太大 光是讀進 R 就累死人 這邊主要是利用在檔案減肥 文字檔案 rs123\t0|1:0000\tAAAA rs456\t1|0:0000\tBBBB ################### 橫向 grep [-w : word] [-f : 給 pattern file] [-F : 正確比對] ### 若要搜索固定字串 , -F必下 (快超多) 1. cat 文字檔案|grep -w 'rs' ### 沒工具 2. cat 文字檔案|grep -w -F 'rs123' ### 出第一行 3. car 文字檔案|grep -w '^rs.*$' ### 二行皆出 ################### 縱向 cut [-d : 用tab切開會是3個column的矩陣] 1. cut -d'\t' -f1翻譯社2 原檔 > 新檔 ### 留下 1 and 2 columns ################### 橫向 sed 1. sed -n '6翻譯社$p' 原檔 > 新檔 ### 從第六行開始 , print 至尾行 ### 或可理解成, 把 1~5行切掉 2. sed 's/:\S*/HAHA/g' 原檔 > 新檔 ### s=取代 , g=global ### 把紅色的正規 pattern 代替成綠色 ################### 當檔案有 10000000 rows , 讀不進 R 怎辦? 就算讀進 R , 資料太大一向 SWAP 電腦動不了怎麼辦? 經過一番苦戰 我建議以下的思考體例 0. 先透過上述體式格局 直接在終端機把檔案減肥 1. 檔案列數 <- system("wc -l 檔案"翻譯社intern=TRUE) LOOP <- ceiling(檔案列數 / 5000) for(g in 1:LOOP) ### 用while可省前兩行 { tmp <- read.table(檔案,skip=5000*(g-1)翻譯社nrow=5000) ### 但我只熟 for expr(中心的各類處理) write.table(tmp,g) Sys.sleep(5) ### 給一點時候讓電腦回氣 } 2. system("cat 小檔案1 小檔案2 小檔案3 .... > 總檔案") ### 檔案 rbind() 固然不是最快的方式 但 Over night 是一定可以把檔案處置完的 以上

本文引用自: https://www.ptt.cc/bbs/Statistics/M.1277714037.A.2CC.html有關各國語文翻譯公證的問題歡迎諮詢鉦昱翻譯公司02-23690937