試せば済むことを聞くなよ

5MBのCSV（レコード30000件）の取込バッチを作っています。

バッチはクアッドコアのサーバで動いています。
バッチはそのうちの1つのコアを使用しているようで、
使用率が90%を越えている状態です。

このバッチを高速化するとなったら、
バッチを別プロセスで起動するくらいしか
方法はないでしょうか。
コアが４つあるから、バッチを4つ並列で起動させると
早くなるんだろうなとは思ってるんですが、
バッチを分割する手間がかかるので、
分割の手間をかけずにパフォーマンスの向上を期待できる
方法があれば教えて頂けないでしょうか。


よろしくお願い致します。

>>153
PHPをやめる

>>154
やめない方向でいきたいです。。。
よろしくお願いします。

>>153
SQLに放り込んでから処理する

>>153

使用率が90％なのと高速化は別の視点で語りましょう。

高速化する必要性があるかないか？
なぜ高速化が必要なのか？

そうした背景を質問の文章からは読み取れませんでした。


またコアCPUの使用率90％が問題になる理由も読み取れませんでした。


いずれにせよPHPに限った話では無いような気がしています。

ファイルでもやろうと思えばポインタから並列処理はできる
ただポインタなりデータの共有が面倒だからSQLに放り込んだほうが手っ取り早い

SQLって問い合わせ言語のことだよ？

問い合わせ言語ってAjaxのことだよ？

common1.php
<?php
function sample1() {}
?>
common2.php
<?php
function sample2() {}
sample2();
?>

hoge.php
<?php
include_once("common1.php"); //読み込んでも実行されない
sample1(); //ここではじめてsample1が実行される

include_once("common2.php"); //当然の事ながら読み込んだだけで実行される

>>152
うん、一応試したんだけど見つけられなかったから質問させてもらった
もしかしたら特殊な方法で出来たりするのなら教えてほしいっす

でも、PHPのばあい結構べた書きするから、そういうのこそ単体テストが必要な気がするなあ

成程。
ありがとうございました。

>>163
しないわ

>>165
そお？元々オブジェクト指向でもないただのテンプレート言語だから、そっちのが需要あると思んだけど・・

お前がどう思おうが世間の需要に関係ない

了解

世間がどう思おうが俺の需要に関係ない

あ、すみません。伝え漏れがありました。
取り込むCSVは複数個あります。
それぞれが5MBほどあります。

>>156
ありがとうございます。
なるほどです。
DBに放り込む前に桁数とか値の検証とか行っているのですが、
そのあたりもSQLでやっちゃう感じなんですかね。

>>157
ありがとうございます。
CSVで取込んだデータを帳票で出力していきます。
帳票も出力する頻度が多いので、
できるだけCSVの取込からすぐに帳票に出力したいと考えています。

コアの使用率が90%になることは特に問題視はしていなくて
4つのうち1つのコアの使用率が90を超えてるときに
他のコアはほとんど何もしていないので
PHPの機能やら、プログラムの組み方で、なんとか他のコアにも処理を振り分けられたらなと
思った次第です。
PHPに割り当てられるメモリの設定とか見直せればなとか
考えていたので、PHPのスレに投稿させていただきました。

>>158
ありがとうございます。
ですよねぇ。
ファイルのポインタとかを使うとめんどくさい事になりそうですよね。

いくらマルチコア積んでたって
自分がマルチプロセスでプログラム書かないと効果ないっしょ。
分割して記述はしたくないんでしょ？
だったら普通に書いたプログラムを勝手に言語やエンジンが複数コア使って処理なんてしてくれるわけない。

>>171
CSVをDBで処理するなんてありえない。Ajaxを使うのが世界的な潮流。

>>172
ありがとうございます。
仰る通りだと思います。
そういう認識ではいたんですが、もしかしたら
自分の知らないテクニックがあるかもしれないと思ってたんですが、
楽しようとせずに地道にやっていこうと思います。

>>173
Ajaxですか・・・。
どこか参考になるサイトがあれば教えて頂けますか？

バイナリに変換しておいて読み込む

時間さえかければ済む、頻繁に読み込む必要はない(一度だけの処理)なら
もっともコーディングが少ないやり方でいいよ。

>>174
AjaxはNGに入れといていい
ていうかいい加減にしろよ
嘘教えるようなら本当に荒らしで通報するぞ

ループ中にusleepで10ms取るだけでだいぶCPU使用率減ると思うがな

スマン

Ajax厨が出てきてから、解決していない質問がどれかがわからなくなってきた。

また、質問した方が解決したか否かを書かないために、未だに質問を継続しているかがわからない。

申し訳ないが、今生きている質問（継続中）を教えて欲しい。

それとAjax厨は、こうした迷惑が発生していることも含めてレスを考え直して欲しい。

>>151>>163
何を試してどう出来ないと言うの？
普通にその関数を持ったファイル（functions.phpみたいな）を読み込んで
$this->assertEquals(5, MyAdd(2, 3))するだけでしょ。
もし関数定義外の部分に実行文が入ってるなら諦める。

>>153>>171
PHPはスレッドが使えないから並列化はマルチプロセスにするしかない。

（DBじゃなくて）PHPがネックになってることが確認できてるなら
複数個あるCSVに対してそれぞれPHPを起動するのが楽じゃないかな。

普通はDBへの転送に一番時間かかるんだけどね。

>>179
なにしきってんの？おまえがうざいわ

>>179
お前が元祖Ajax厨だろ
口調が同じだからまるわかりだっちゅうの
しれーっとでてきてんじゃねえよ

何か荒れてるけど、この前はクリスマスなのに全くの初心者の基本中の基本の質問に答えてくださってありがとうございます
ネットの良心と可能性というのを初めて見た気がします
独学で学んでるのでここでしか聞けないのですが、本当にありがとうございます。
言葉じゃ言い表せないぐらいの感謝の気持ちでいっぱいです

寝てる間にやっとけば済むなら、プログラム手間かけるより安全な方法で放置すればいい。

>>183
なんでここでしか聞けないんだよ

きめえ

>今年も他人の呪って
日本語がおかしくて笑えましたｗ

他人の[レスを]を省略してるとすれば一概に間違ってはいないけど
とはいえレス自体がおかしいけど

Ajax厨というのがどのレスのことを指しているのかわかりませんが、
AjaxでできることはAjaxでするべきだと言っているのです。
必ずしも全てをPHPで行う必要はありません。

どうせ「アジャックス」って読んでるだろｗ

AjaxとPHPは比較できるものでない。
PHPはローカルで動くプログラム言語。C++の簡易型みたいなもの。
Ajaxはブラウザとサーバーのリアルタイム通信する技術でしょ。

だからなんで手元(サーバ、ローカル)にあるファイルを読み込むのにAjaxなんだよ。

サーバにあるファイルを読み込まないでどこにあるファイルを読み込むんだ？

>>153はサーバーにあるファイルをサーバーで処理するって話じゃないの?
ローカルのみでの作業。

>>193　Ajax知らないだろキミ

>>193
もう少しAjaxを勉強したほうがいいと思います。

にちゃんで荒らしに勤しむ年の瀬。
そんな悲惨な人生もあるのです。

まだこのネタひっぱってたのか
低レベルなAjax厨はおとなしくゴメンなさいして
JavaScriptスレいって教えてもらえ
ここは完全にスレ違い

このグダグダさは、AjaxつうよりAjapaやん。