diff --git a/src/jsx_utils.erl b/src/jsx_utils.erl index f9970ee..462e31d 100644 --- a/src/jsx_utils.erl +++ b/src/jsx_utils.erl @@ -90,22 +90,66 @@ extract_parser_opts([K|Rest], Acc) -> json_escape(String, Opts) when is_binary(String) -> json_escape(String, Opts, 0, size(String)). + +-define(control_character(X), + <> -> + json_escape( + <>, + Opts, + L + 6, + Len + 5 + ) +). + json_escape(Str, Opts, L, Len) when L < Len -> case Str of - <> -> %" - json_escape(<>, Opts, L + 2, Len + 1); - <> -> - json_escape(<>, Opts, L + 2, Len + 1); - <> -> - json_escape(<>, Opts, L + 2, Len + 1); - <> -> - json_escape(<>, Opts, L + 2, Len + 1); - <> -> - json_escape(<>, Opts, L + 2, Len + 1); - <> -> - json_escape(<>, Opts, L + 2, Len + 1); - <> -> - json_escape(<>, Opts, L + 2, Len + 1); + ?control_character(0); + ?control_character(1); + ?control_character(2); + ?control_character(3); + ?control_character(4); + ?control_character(5); + ?control_character(6); + ?control_character(7); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + ?control_character(11); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + ?control_character(14); + ?control_character(15); + ?control_character(16); + ?control_character(17); + ?control_character(18); + ?control_character(19); + ?control_character(20); + ?control_character(21); + ?control_character(22); + ?control_character(23); + ?control_character(24); + ?control_character(25); + ?control_character(26); + ?control_character(27); + ?control_character(28); + ?control_character(29); + ?control_character(30); + ?control_character(31); + <<_:L/binary, 32, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 33, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + <<_:L/binary, 35, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 36, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 37, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 38, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 39, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 40, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 41, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 42, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 43, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 44, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 45, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 46, _/binary>> -> json_escape(Str, Opts, L + 1, Len); <> -> case Opts#opts.escape_forward_slash of true -> @@ -113,6 +157,86 @@ json_escape(Str, Opts, L, Len) when L < Len -> false -> json_escape(<>, Opts, L + 1, Len) end; + <<_:L/binary, 48, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 49, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 50, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 51, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 52, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 53, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 54, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 55, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 56, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 57, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 58, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 59, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 60, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 61, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 62, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 63, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 64, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 65, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 66, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 67, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 68, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 69, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 70, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 71, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 72, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 73, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 74, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 75, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 76, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 77, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 78, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 79, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 80, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 81, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 82, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 83, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 84, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 85, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 86, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 87, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 88, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 89, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 90, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 91, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <> -> json_escape(<>, Opts, L + 2, Len + 1); + <<_:L/binary, 93, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 94, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 95, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 96, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 97, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 98, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 99, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 100, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 101, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 102, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 103, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 104, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 105, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 106, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 107, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 108, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 109, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 110, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 111, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 112, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 113, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 114, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 115, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 116, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 117, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 118, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 119, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 120, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 121, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 122, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 123, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 124, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 125, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 126, _/binary>> -> json_escape(Str, Opts, L + 1, Len); + <<_:L/binary, 127, _/binary>> -> json_escape(Str, Opts, L + 1, Len); <> -> case Opts#opts.no_jsonp_escapes of true -> @@ -129,9 +253,6 @@ json_escape(Str, Opts, L, Len) when L < Len -> B = unicode:characters_to_binary(json_escape_sequence(16#2029)), json_escape(<>, Opts, L + size(B), Len + size(B) - size(<<16#2029/utf8>>)) end; - <> when X < 32 -> - B = unicode:characters_to_binary(json_escape_sequence(X)), - json_escape(<>, Opts, L + size(B), Len + size(B) - size(<>)); <<_:L/binary, X/utf8, _/binary>> when X < 16#0080 -> json_escape(Str, Opts, L + 1, Len); <<_:L/binary, X/utf8, _/binary>> when X < 16#0800 -> @@ -140,8 +261,16 @@ json_escape(Str, Opts, L, Len) when L < Len -> json_escape(Str, Opts, L + 3, Len); <<_:L/binary, _/utf8, _/binary>> -> json_escape(Str, Opts, L + 4, Len); - <> -> - erlang:error(badarg, [[<>, Opts]]) + <> when X >= 160 -> + case Opts#opts.loose_unicode of + true -> json_escape(<>, Opts, L + 3, Len); + false -> erlang:error(badarg, [Str, Opts]) + end; + <> -> + case Opts#opts.loose_unicode of + true -> json_escape(<>, Opts, L + 3, Len + 2); + false -> erlang:error(badarg, [Str, Opts]) + end end; json_escape(Str, _, L, Len) when L =:= Len -> Str. @@ -201,7 +330,20 @@ binary_escape_test_() -> ) }, {"bad utf8", - ?_assertError(badarg, json_escape(<<32, 64, 128, 256>>, #opts{})) + ?_assertError(badarg, json_escape(<<32, 64, 128, 255>>, #opts{})) + }, + {"bad utf8 ok", + ?_assertEqual( + json_escape(<<32, 64, 128, 255>>, #opts{loose_unicode=true}), + <<32, 64, 16#fffd/utf8, 16#fffd/utf8>> + ) + }, + {"bad surrogate", ?_assertError(badarg, json_escape(<<237, 160, 127>>, #opts{}))}, + {"bad surrogate ok", + ?_assertEqual( + json_escape(<<237, 160, 127>>, #opts{loose_unicode=true}), + <<16#fffd/utf8>> + ) }, {"all sizes of codepoints", ?_assertEqual(