Java中文問題詳細(xì)說明(高手必讀)
發(fā)表時間:2023-08-18 來源:明輝站整理相關(guān)軟件相關(guān)文章人氣:
[摘要]我來說一下tomcat如何實現(xiàn)JSP的你就明白了。預(yù)備知識: 1.字節(jié)和unicode Java內(nèi)核是unicode的,就連class文件也是,但是很多媒體,包括文件/流的保存方式 是使用字節(jié)流...
我來說一下tomcat如何實現(xiàn)JSP的你就明白了。
預(yù)備知識:
1.字節(jié)和unicode
Java內(nèi)核是unicode的,就連class文件也是,但是很多媒體,包括文件/流的保存方式
是使用字節(jié)流的。 因此Java要對這些字節(jié)流經(jīng)行轉(zhuǎn)化。char是unicode的,而byte是字節(jié).
Java中byte/char互轉(zhuǎn)的函數(shù)在sun.io的包中間有。其中ByteToCharConverter類是中調(diào)度,
可以用來告訴你,你用的Convertor。其中兩個很常用的靜態(tài)函數(shù)是
public static ByteToCharConverter getDefault() ;
public static ByteToCharConverter getConverter(String encoding);
如果你不指定converter,則系統(tǒng)會自動使用當(dāng)前的Encoding,GB平臺上用GBK,EN平臺上用
8859_1
我們來就一個簡單的例子:
"你"的gb碼是:0xC4E3 ,unicode是0x4F60
你用:
--encoding="gb2312";
--byte b[]={(byte)'\u00c4',(byte)'\u00E3'};
--convertor=ByteToCharConverter.getConverter(encoding);
--char [] c=converter.convertAll(b);
--for(int i=0;i<c.length;c++)
--{
-- System.out.println(Integer.toHexString(c[i]));
--}
--打印出來是0x4F60
--但是如果使用8859_1的編碼,打印出來是
--0x00C4,0x00E3
----例1
反過來:
--encoding="gb2312";
char c[]={'\u4F60'};
convertor=ByteToCharConverter.getConverter(encoding);
--byte [] b=converter.convertAll(c);
--for(int i=0;i<b.length;c++)
--{
-- System.out.println(Integer.toHexString(b[i]));
--}
--打印出來是:0xC4,0xE3
----例2
--如果用8859_1就是0x3F,?號,表示無法轉(zhuǎn)化 --
很多中文問題就是從這兩個最簡單的類派生出來的。而卻有很多類
不直接支持把Encoding輸入,這給我們帶來諸多不便。很多程序難得用encoding
了,直接用default的encoding,這就給我們移植帶來了很多困難
--
2.UTF-8
--UTF-8是和Unicode一一對應(yīng)的,其實現(xiàn)很簡單
--
-- 7位的Unicode: 0 _ _ _ _ _ _ _
--11位的Unicode: 1 1 0 _ _ _ _ _ 1 0 _ _ _ _ _ _
--16位的Unicode: 1 1 1 0 _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
--21位的Unicode: 1 1 1 1 0 _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
--大多數(shù)情況是只使用到16位以下的Unicode:
--"你"的gb碼是:0xC4E3 ,unicode是0x4F60
--我們還是用上面的例子
-- --例1:0xC4E3的二進制:
-- -- 1 1 0 0 0 1 0 0 1 1 1 0 0 0 1 1
-- -- 由于只有兩位我們按照兩位的編碼來排,但是我們發(fā)現(xiàn)這行不通,
-- -- 因為第7位不是0因此,返回"?"
-- --
-- --例2:0x4F60的二進制:
-- -- 0 1 0 0 1 1 1 1 0 1 1 0 0 0 0 0
-- -- 我們用UTF-8補齊,變成:
-- -- 11100100 10111101 10100000
-- -- E4--BD-- A0
-- -- 于是返回0xE4,0xBD,0xA0
-- --
3.String和byte[]
--String其實核心是char[],然而要把byte轉(zhuǎn)化成String,必須經(jīng)過編碼。
--String.length()其實就是char數(shù)組的長度,如果使用不同的編碼,很可
--能會錯分,造成散字和亂碼。
--例:
----byte [] b={(byte)'\u00c4',(byte)'\u00e3'};
----String str=new String(b,encoding); ----
----如果encoding=8859_1,會有兩個字,但是encoding=gb2312只有一個字 ----
--這個問題在處理分頁是經(jīng)常發(fā)生
4.Reader,Writer/InputStream,OutputStream
--Reader和Writer核心是char,InputStream和OutputStream核心是byte。
--但是Reader和Writer的主要目的是要把Char讀/寫InputStream/OutputStream
--一個reader的例子:
--文件test.txt只有一個"你"字,0xC4,0xE3--
--String encoding=;
--InputStreamReader reader=new InputStreamReader(
----new FileInputStream("text.txt"),encoding);
--char []c=new char[10];
--int length=reader.read(c);
--for(int i=0;i<c.length;i++)
----System.out.println(c[i]);
--如果encoding是gb2312,則只有一個字符,如果encoding=8859_1,則有兩個字符
--------
--
--
----
2.我們要對Java的編譯器有所了解:
--javac -encoding
我們常常沒有用到ENCODING這個參數(shù)。其實Encoding這個參數(shù)對于跨平臺的操作是很重要的。
如果沒有指定Encoding,則按照系統(tǒng)的默認(rèn)Encoding,gb平臺上是gb2312,英文平臺上是ISO8859_1。
--Java的編譯器實際上是調(diào)用sun.tools.javac.Main的類,對文件進行編譯,這個類 --
有compile函數(shù)中間有一個encoding的變量,-encoding的參數(shù)其實直接傳給encoding變量。
編譯器就是根據(jù)這個變量來讀取java文件的,然后把用UTF-8形式編譯成class文件。
一個例子:
--public void test()
--{
----String str="你";
----FileWriter write=new FileWriter("test.txt");
----write.write(str);
----write.close();
--}
----例3
--如果用gb2312編譯,你會找到E4 BD A0的字段
--
--如果用8859_1編譯,
--00C4 00E3的二進制:
--00000000 11000100 00000000 11100011--
--因為每個字符都大于7位,因此用11位編碼:
--11000001 10000100 11000011 10100011
--C1-- 84-- C3-- A3
--你會找到C1 84 C3 A3 --
但是我們往往忽略掉這個參數(shù),因此這樣往往會有跨平臺的問題:
-- 例3在中文平臺上編譯,生成ZhClass
-- 例3在英文平臺上編譯,輸出EnClass
--1. ZhClass在中文平臺上執(zhí)行OK,但是在英文平臺上不行
--2. EnClass在英文平臺上執(zhí)行OK,但是在中文平臺上不行
原因:
--1.在中文平臺上編譯后,其實str在運行態(tài)的char[]是0x4F60, ----
--在中文平臺上運行,F(xiàn)ileWriter的缺省編碼是gb2312,因此
--CharToByteConverter會自動用調(diào)用gb2312的converter,把str轉(zhuǎn)化
--成byte輸入到FileOutputStream中,于是0xC4,0xE3放進了文件。
--但是如果是在英文平臺下,CharToByteConverter的缺省值是8859_1,
--FileWriter會自動調(diào)用8859_1去轉(zhuǎn)化str,但是他無法解釋,因此他會
--輸出"?" ----
--2. 在英文平臺上編譯后,其實str在運行態(tài)的char[]是0x00C4 0x00E3, ----
--在中文平臺上運行,中文無法識別,因此會出現(xiàn)??
-- 在英文平臺上,0x00C4-->0xC4,0x00E3->0xE3,因此0xC4,0xE3被放進了
--文件
----
1.對于JSP正文的解釋:
--Tomcat首先看一下你的葉面中有沒有"<%@page include的符號。有,則在相同
--地方設(shè)定response.setContentType(..);按照encoding的來讀,沒有他按照8859_1
--讀取文件,然后用UTF-8寫成.java文件,然后用sun.tools.Main去讀取這個文件,
--(當(dāng)然它使用UTF-8去讀),然后編譯成class文件
--setContentType改變的是out的屬性,out變量缺省的encoding是8859_1
2.對Parameter的解釋
--很不幸Parameter只有ISO8859_1的解釋,這個質(zhì)料可以在servlet的實現(xiàn)代碼中找到。
3.對include的解釋
格式的,但是很不幸,由于那個寫"org.apache.jasper.compiler.Parser"的人
在數(shù)組JspUtil.ValidAttribute[]忘記加了一個參數(shù):encoding,因此導(dǎo)致不支
持這種方式。你完全可以編譯源代碼,加上對encoding的支持
總結(jié):
如果你在NT底下,最簡單的方法就是欺騙java,不加任何Encoding變量:
<html>
你好<%=request.getParameter("value")%>
</html>
http://localhost/test/test.jsp?value=你
結(jié)果:你好你
但這種方法局限性較大,比如對上傳的文章分段,這樣的做法是死定的,最好的
解決方案是用這種方案:
<%@ page contentType="text/html;charset=gb2312" %>
<html>
你好<%=new String(request.getParameter("value").getBytes("8859_1"),"gb2312")%>
</html>