电波教师,铁蹄下的村庄,战至巅峰1

CSV文件的生產(chǎn)與分析

　　CSV文件是指Excel可以識(shí)別的后綴名為CSV的文件，網(wǎng)站系統(tǒng)后臺(tái)用來(lái)存儲(chǔ)分析數(shù)據(jù)的時(shí)候有可能會(huì)用到它。其實(shí)CSV文件的讀取和做成比較簡(jiǎn)單，主要的技術(shù)點(diǎn)是文件的讀寫(xiě)。不過(guò)CSV文件的分析和生成有一定的代表性，可以通過(guò)對(duì)CSV文件的生成和分析的實(shí)現(xiàn)，來(lái)了解后臺(tái)處理批量數(shù)據(jù)的簡(jiǎn)單思路。下面，小編為大家搜索整理了CSV文件的生產(chǎn)與分析，希望能給大家?guī)?lái)幫助!更多精彩內(nèi)容請(qǐng)及時(shí)關(guān)注我們應(yīng)屆畢業(yè)生考試網(wǎng)!

　　打開(kāi)Excel，新建一個(gè)文件，在里面隨便輸入一些數(shù)據(jù)，然后另存為一個(gè)CSV文件，再次用Excel打開(kāi)的時(shí)候，發(fā)現(xiàn)只有一個(gè)sheet。用一個(gè)記事本打開(kāi)這個(gè)文件，可以看到類似如下的數(shù)據(jù)。

　　aaa,bbb,ccc,ddd

　　aaa2,bbb2,,ddd2

　　aaa3,bbb3,ccc3,

　　aaa4,bbb4,ccc4,ddd4

　　仔細(xì)觀察數(shù)據(jù)，可以確定以下幾點(diǎn)：

　　CSV文件是文本型文件(非二進(jìn)制)

　　文件中的一行在Excel中顯示的一行

　　同一行中的數(shù)據(jù)用半角逗號(hào)分隔

　　發(fā)現(xiàn)以上的規(guī)律，我們可以自己也生成一個(gè)CSV文件。也可以簡(jiǎn)單的分析CSV文件。

　　現(xiàn)在給CSV文件的生成和分析寫(xiě)個(gè)簡(jiǎn)單的例子。(如果對(duì)文件處理類不熟悉，可以看一下java的文件處理，或者看一下JDK中關(guān)于java.io.File類的幫助信息)

　　生成CSV文件。(HelloCsvCreater.java)

　　package com.vogoal.test;

　　import java.io.FileWriter;

　　import java.io.IOException;

　　/**

　　* @author SinNeR

　　* create a CSV file

　　public class HelloCsvCreater {

　　public static void main(String[] args) {

　　try {

　　FileWriter fw = new FileWriter("C:\\helloCsv.csv");

　　fw.write("aaa,bbb,ccc,ddd,eee,fff,ggg,hhh\r\n");

　　fw.write("aa1,bb1,cc1,dd1,ee1,ff1,gg1,hh1\r\n");

　　fw.write("aaa\r\n");

　　fw.write("aa2,bb2,cc2,dd2,ee2,ff2,gg2,hh2\r\n");

　　fw.close();

　　} catch (IOException e) {

　　e.printStackTrace();

　　}

　　這個(gè)類編譯后運(yùn)行，可以看到在C盤(pán)根目錄下生成了一個(gè)名字為helloCsv.csv的CSV文件，雙擊打開(kāi)，如下的樣子。

　　分析CSV文件

　　package com.vogoal.test;

　　import java.io.BufferedReader;

　　import java.io.FileInputStream;

　　import java.io.IOException;

　　import java.io.InputStreamReader;

　　/**

　　* @author SinNeR

　　* analysis a CSV file

　　public class HelloCSVAnalysis {

　　public static void main(String[] args) {

　　InputStreamReader fr = null;

　　BufferedReader br = null;

　　try {

　　fr = new InputStreamReader(new FileInputStream(

　　"C:\\helloCsv.csv"));

　　br = new BufferedReader(fr);

　　String rec = null;

　　String[] argsArr = null;

　　while ((rec = br.readLine()) != null) {

　　System.out.println(rec);

　　argsArr = rec.split(",");

　　for (int i = 0; i < argsArr.length; i++) {

　　System.out.println("num " + (i + 1) + ":" + argsArr[i]);

　　}

　　} catch (IOException e) {

　　e.printStackTrace();

　　}finally{

　　try{

　　if ( fr != null )

　　fr.close();

　　if ( br != null )

　　br.close();

　　}catch(IOException ex){

　　ex.printStackTrace();

　　}

　　這里將剛才生成的csv文件讀取并分析。編譯后運(yùn)行，正常情況下，可以看到剛才生成的CSV文件的內(nèi)容。

　　至此，CSV文件的生成與分析其實(shí)已經(jīng)完成。如果要寫(xiě)適合自己需要的CSV文件分析類，完全可以根據(jù)自己的業(yè)務(wù)邏輯和需要來(lái)自己實(shí)現(xiàn)。因?yàn)镃SV文件的分析確實(shí)很簡(jiǎn)單。

　　不過(guò)上面的程序還是存在一些問(wèn)題的。這些問(wèn)題在開(kāi)發(fā)的過(guò)程中應(yīng)當(dāng)注意，不然可能出現(xiàn)致命的錯(cuò)誤。

　　比較2個(gè)類中對(duì)資源的釋放問(wèn)題。CSV生成類中FileWriter對(duì)象的關(guān)閉(close()方法)是在try中執(zhí)行的。而CSV分析類中InputStreamReader，BufferedReader對(duì)象的關(guān)閉(close()方法)是在finally中執(zhí)行的。CSV生成類是錯(cuò)誤的。因?yàn)樵谖募土鞯纳蛇^(guò)程中，是有可能產(chǎn)生IO異常的，如果在對(duì)象close前發(fā)生IO異常，那么close方法永遠(yuǎn)不會(huì)被調(diào)用，這樣資源不會(huì)及時(shí)釋放，會(huì)產(chǎn)生致命錯(cuò)誤的。而在finally中的程序，是一定會(huì)被執(zhí)行的語(yǔ)句，所以即使操作中途發(fā)生問(wèn)題，也會(huì)在最后執(zhí)行close方法。(try-catch-finally是java語(yǔ)法中基本而重要的部分，不熟悉的可查閱相關(guān)資料。)

　　在CSV文件的操作過(guò)程中，我們是按照半角逗號(hào)來(lái)分隔數(shù)據(jù)的，如果某個(gè)數(shù)據(jù)中正好有半角逗號(hào)，那么數(shù)據(jù)不是出錯(cuò)了?

　　如果分析的數(shù)據(jù)有全角字符，是否能夠正確分析。(亂碼問(wèn)題)

　　以上的第二個(gè)問(wèn)題時(shí)必須考慮的。在寫(xiě)一個(gè)類的時(shí)候，不要相信這個(gè)類要操作的數(shù)據(jù)或者得到的數(shù)據(jù)是好數(shù)據(jù)(完全符合要求的正確的數(shù)據(jù))，寫(xiě)好的一個(gè)類用完全正確的數(shù)據(jù)測(cè)試完，很有可能一個(gè)小小的數(shù)據(jù)錯(cuò)誤的問(wèn)題，就有可能導(dǎo)致程序處理崩潰。所以，細(xì)節(jié)問(wèn)題要充分考慮并對(duì)應(yīng)到，使自己編寫(xiě)的類具有一定的健壯性。

　　對(duì)于2的問(wèn)題的討論：

　　如果我們用Excel文件生成CSV文件，其中數(shù)據(jù)有半角逗號(hào)，Excel會(huì)怎么處理呢?試一下，可以看到類似如下的數(shù)據(jù)。

　　aaa,bbb,ccc,ddd

　　aaa2,bbb2,,ddd2

　　aaa3,bbb3,ccc3,

　　aaa4,"bb,b4",ccc4,ddd4

　　bb,b4被用雙引號(hào)包圍了，這樣，我們自己在生成CSV文件的時(shí)候，可以模仿EXCEL的操作，把所有的數(shù)據(jù)都用雙引號(hào)包圍。這時(shí)候又出現(xiàn)一個(gè)問(wèn)題，如果數(shù)據(jù)中有雙引號(hào)，會(huì)怎么樣?再次嘗試一下。這次輸入的數(shù)據(jù)是bb,b"4"，結(jié)果是：

　　aaa,bbb,ccc,ddd

　　aaa2,bbb2,,ddd2

　　aaa3,bbb3,ccc3,

　　aaa4,"bb,b""4""",ccc4,ddd4

　　雙引號(hào)被用2個(gè)雙引號(hào)替換了。Excel是這么處理的，我們?cè)谏蒃xcel文件的時(shí)候可以模仿處理。這樣分析數(shù)據(jù)的時(shí)候，就要有一個(gè)嚴(yán)格的算法來(lái)進(jìn)行分析。

　　由于做的這個(gè)類是給web開(kāi)發(fā)用的，我們可以考慮用web常用的轉(zhuǎn)意，將"這個(gè)字符轉(zhuǎn)換成"來(lái)避免這樣的沖突，這樣處理的好處是分析字符串的時(shí)候，處理簡(jiǎn)單化了。但是這又引發(fā)了別的問(wèn)題，就是如果數(shù)據(jù)中原來(lái)就有"這樣的字符，在將"反轉(zhuǎn)義為"的時(shí)候，容易把這些原有的字符也轉(zhuǎn)化了。所以&符號(hào)也需要轉(zhuǎn)義。

　　現(xiàn)在將2個(gè)方法折衷，即CSV數(shù)據(jù)以半角逗號(hào)分隔，以"包圍。數(shù)據(jù)中的&，"符號(hào)進(jìn)行轉(zhuǎn)義。

　　這樣的處理，將分析數(shù)據(jù)的算法難度降低，同時(shí)也解決了數(shù)據(jù)中含有半角逗號(hào)，引號(hào)的問(wèn)題。

　　經(jīng)過(guò)以上的分析，我們可以寫(xiě)CSV生成分析文件的類了。

　　首先，寫(xiě)出簡(jiǎn)單的轉(zhuǎn)意靜態(tài)方法。

　　public static String CSVEncode(String in){

　　if ( in == null )

　　return "";

　　in.replaceAll("&","&");

　　in.replaceAll("\"",""");

　　return in;

　　}

　　public static String CSVDecode(String in){

　　if ( in == null )

　　return "";

　　in.replaceAll(""","\"");

　　in.replaceAll("&","&");

　　return in;

　　}

　　CSV文件生成類：

　　package com.vogoal.util.csv;

　　import java.io.FileOutputStream;

　　import java.io.IOException;

　　import com.vogoal.util.UtilCla;

　　/**

　　* @author SinNeR

　　* http://bbs.blueidea.com

　　* CSVCreater

　　public class CSVCreater {

　　private FileOutputStream fos = null;

　　private StringBuffer sb = null;

　　private boolean convertFlag = false;

　　public static final String DEL_CHAR = ",";

　　public static final String AV_CHAR = "\"";

　　public CSVCreater(String arg) throws IOException {

　　fos = new FileOutputStream(arg, false);

　　sb = new StringBuffer();

　　}

　　public void setData(String data) {

　　if (convertFlag)

　　data = UtilCla.CSVEncode(data);

　　sb.append(AV_CHAR);

　　sb.append(data);

　　sb.append(AV_CHAR);

　　sb.append(DEL_CHAR);

　　}

　　public void setConvertFlag(boolean b) {

　　convertFlag = b;

　　}

　　public void writeLine() {

　　if (sb.charAt(sb.length() - 1) == ',')

　　sb.delete(sb.length() - 1, sb.length());

　　sb.append("\r\n");

　　}

　　public void writeDataByLine(String[] args) {

　　for (int i = 0; i < args.length; i++)

　　setData(args[i]);

　　writeLine();

　　}

　　public void close() throws IOException {

　　try {

　　fos.write(sb.toString().getBytes());

　　} catch (IOException e) {

　　throw e;

　　} finally {

　　fos.close();

　　}

　　public static void main(String[] args) {

　　try {

　　CSVCreater csvCre = new CSVCreater("C:\\test.csv");

　　csvCre.setConvertFlag(true);

　　csvCre.setData("aaa");

　　csvCre.setData("aa,a");

　　csvCre.writeLine();

　　csvCre.setData("aa\"a");

　　csvCre.setData("aa,a");

　　csvCre.writeLine();

　　csvCre.setData("aa\"a");

　　csvCre.setData("aa,\"a");

　　csvCre.writeLine();

　　csvCre.close();

　　} catch (IOException e) {

　　e.printStackTrace();

　　}

　　CSV文件分析類：

　　package com.vogoal.util.csv;

　　import java.io.BufferedReader;

　　import java.io.FileInputStream;

　　import java.io.IOException;

　　import java.io.InputStreamReader;

　　import java.util.ArrayList;

　　import com.vogoal.util.UtilCla;

　　/**

　　* @author SinNeR

　　* http://bbs.blueidea.com

　　* CSVAnalysis

　　public class CSVAnalysis {

　　private InputStreamReader fr = null;

　　private boolean convertFlag = false;

　　private ArrayList dataContainer = new ArrayList();

　　public static final String DEL_CHAR = ",";

　　public static final String AV_CHAR = "\"";

　　public CSVAnalysis(String f) throws IOException {

　　fr = new InputStreamReader(new FileInputStream(f));

　　}

　　public void setConvertFlag(boolean b) {

　　convertFlag = b;

　　}

　　public ArrayList analysis() throws IOException {

　　BufferedReader br = new BufferedReader(fr);

　　String rec = null;

　　try {

　　while ((rec = br.readLine()) != null) {

　　ArrayList alLine = analysisLine(rec);

　　dataContainer.add(alLine);

　　}

　　} catch (IOException e) {

　　throw e;

　　} finally {

　　br.close();

　　}

　　return dataContainer;

　　}

　　private ArrayList analysisLine(String strLine) {

　　System.out.println(strLine);

　　ArrayList al = new ArrayList();

　　String[] dataArr = strLine.split(AV_CHAR);

　　for (int i = 1; i < dataArr.length; i = i + 2) {

　　if (convertFlag)

　　al.add(UtilCla.CSVDecode(dataArr[i]));

　　else

　　al.add(dataArr[i]);

　　}

　　return al;

　　}

　　public void close() throws IOException {

　　fr.close();

　　}

　　public static void main(String[] args) {

　　try {

　　CSVAnalysis csvAna = new CSVAnalysis("C:\\test.csv");

　　csvAna.setConvertFlag(true);

　　ArrayList al = csvAna.analysis();

　　for (int i = 0; i < al.size(); i++) {

　　ArrayList al1 = (ArrayList) al.get(i);

　　for (int j = 0; j < al1.size(); j++) {

　　System.out.println(al1.get(j));

　　}

　　csvAna.close();

　　} catch (IOException e) {

　　e.printStackTrace();

　　}

　　寫(xiě)好這些類之后，就可以開(kāi)始著手測(cè)試了。

　　寫(xiě)一個(gè)測(cè)試CSV文件生成的jsp文件。如：

　　create a csv file

　　寫(xiě)一個(gè)測(cè)試CSV文件分析的jsp文件。如：

　　analysis a csv file

　　將編譯后的class拷貝到TOMCAT自己的應(yīng)用的WEB-INF下。將jsp文件放到自己的應(yīng)用下。

　　然后啟動(dòng)TOMCAT，訪問(wèn)jsp文件，當(dāng)訪問(wèn)creCSV.jsp的時(shí)候，正常情況下可以看到C盤(pán)根目錄下生成了一個(gè)test.csv文件。然后訪問(wèn)anaCSV.jsp文件，可以看到分析后的數(shù)據(jù)被打印出來(lái)。

　　至此，csv生成，分析類做成。

　　使用幫助：

　　CSVCreater.java類，用來(lái)生成CSV文件的類。

　　構(gòu)造函數(shù)public CSVCreater(String arg) throws IOException

　　參數(shù)：arg 要生成的csv文件的絕對(duì)路徑

　　使用例CSVCreater csvCre = new CSVCreater("C:\\test.csv");

　　public void setConvertFlag(boolean b)

　　是否轉(zhuǎn)義設(shè)定函數(shù)(將半角雙引號(hào)進(jìn)行轉(zhuǎn)義處理)

　　參數(shù)：true 需要轉(zhuǎn)義(推薦) false 不轉(zhuǎn)義

　　public void setData(String data)

　　添加單個(gè)數(shù)據(jù)的函數(shù)

　　public void writeLine()