2006年7月 6日

[ruby-list:42540] Re: float の値がずれる

原です。

>小林です。
>
>----- Original Message ----- From: "Shigeo Kobayashi" <shigeo@xxxxx>
>Subject: [ruby-list:42535] Re: float の値がずれる
>
>

>>ところで、rational.so でも
>> 100000000000000.1.to_r !="100000000000000.1".to_r
>>ですよね?
>すいません、なかなかメールを読み切れなくて。
>この質問はキャンセルして下さい。

いえいえ、ありがたい指摘です。

0.1.to_r は、3602879701896397/36028797018963968 ですけど、
"0.1".to_r は、1/10 になるようにしました。こちらは BigDecimal
と同じ発想です。

そのせいで、"0.1".to_f.to_r と "0.1".to_r が違うものになってし
まうのが気になるのですが、まあそれでもいいかと。


投稿者 xml-rpc : 2006年7月 6日 14:05
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/42470
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。