2006年7月 4日

[ruby-list:42506] Re: floatの値がずれる

続けてですみません.hirocyです.

今回やりたかったことは,ある規則で単調増加するfloatの配列を
生成することでして,その単純なケースを試してみたら丸め誤差が
貯まって困ったな,という質問でした.

On Tue, 4 Jul 2006 19:20:18 +0900,
Sato Hiroshi wrote:

> 100.times { x << (x[-1] * 10**3).floor * 10**(-3) + 0.001 }

これだとあまりにも泥臭いので,ほとんど同じではあるのですが,
最初から十分な桁の整数で配列を作成して,最後にそれを
collect!でfloatに変える,という方法で解決できました.
最善の方法ではないかもですが,ひとまずこれでいけそうです.

初歩的な質問で失礼いたしました.

--
// hirocy

投稿者 xml-rpc : 2006年7月 4日 19:55
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/42433
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。