私的良スレ書庫
不明な単語は2ch用語を / 要望・削除依頼は掲示板へ。不適切な画像報告もこちらへどうぞ。 / 管理情報はtwitterでログインするとレス評価できます。 登録ユーザには一部の画像が表示されますので、問題のある画像や記述を含むレスに「禁」ボタンを押してください。
元スレ【PHP】下らねぇ質問はID出して書き込みやがれ 126
php スレッド一覧へ / php とは? / 携帯版 / dat(gz)で取得 / トップメニューみんなの評価 :
レスフィルター : (試験中)
質問です。
curlで大量データ処理を行っているのですが、画面が読み込み状態から
戻ってきません。
下記のような構成で処理を行っています。
①複数件のデータをサーバー1,2,3で1件ずつ分散処理
②サーバー1,2,3の内部では1件のデータに紐づく数万件のデータを
サーバー4,5,6,7,8,9,10で分散処理
サーバー1,2,3,4,5,6,7,8,9,10は全てcurlで分散処理
させています。
4~10のサーバーは外部サイト300~10000件にアクセスしてデータを収取する
役割を担っています。
一気に1万件を1度に処理するとまずいので、300件ずつ外部サイトにアクセス
させています。
・タイムアウトは設けていない。
・リダイレクトは1まで
メモリは十分確保しているはずです。
この情報からリクエストが返ってこない、理由としてどのような理由があるのか
教えていただけませんでしょうか。
curlで大量データ処理を行っているのですが、画面が読み込み状態から
戻ってきません。
下記のような構成で処理を行っています。
①複数件のデータをサーバー1,2,3で1件ずつ分散処理
②サーバー1,2,3の内部では1件のデータに紐づく数万件のデータを
サーバー4,5,6,7,8,9,10で分散処理
サーバー1,2,3,4,5,6,7,8,9,10は全てcurlで分散処理
させています。
4~10のサーバーは外部サイト300~10000件にアクセスしてデータを収取する
役割を担っています。
一気に1万件を1度に処理するとまずいので、300件ずつ外部サイトにアクセス
させています。
・タイムアウトは設けていない。
・リダイレクトは1まで
メモリは十分確保しているはずです。
この情報からリクエストが返ってこない、理由としてどのような理由があるのか
教えていただけませんでしょうか。
>>904
うぜえ
うぜえ
>>907
わからん! 今の時代はもっと多いはずだ!
わからん! 今の時代はもっと多いはずだ!
なんでポート番号は16bitしかないんだろうな
1サーバで6万以上のサービス立ち上げらんない
これじゃスケールしづらくなるんじゃないの?
1サーバで6万以上のサービス立ち上げらんない
これじゃスケールしづらくなるんじゃないの?
だなあ、NATの環境だととくにね。
使いきると帯域は使ってなくても空き待ちで渋滞が始まる
使いきると帯域は使ってなくても空き待ちで渋滞が始まる
>>910
処理を委譲しているサーバーの中で順次300ずつデータを処理しているので
300が終わる→解放→次 という流れで行くと1サーバー300くらいなら
余裕で処理できそうなものですが、大本のサーバーは常時3つしか
サーバーでの並行処理をしてないですし、大本のサーバーに返らない原因とは考えにくいのですが
処理を委譲しているサーバーの中で順次300ずつデータを処理しているので
300が終わる→解放→次 という流れで行くと1サーバー300くらいなら
余裕で処理できそうなものですが、大本のサーバーは常時3つしか
サーバーでの並行処理をしてないですし、大本のサーバーに返らない原因とは考えにくいのですが
開発言語のCの制限で、ハンドルは128以下とか決まってる。OSにも依存する。
ファイルディスクリプタ数の上限変更とlimits.confの罠 (ゆめ技:ゆめみスタッフブログ)
http://yumewaza.yumemi.co.jp/2010/07/limitsconf.html
fopenできる上限の変更 | C・C++のQ&A【OKWave】
http://okwave.jp/qa/q5126169.html
Visual C++ 1. 0 のファイルのライブラリを増加する利用可能な
事前設定の制限
/ML を使用して、静的、ランタイム ライブラリ (LIBC.LIB) を使用するシングルスレッドのアプリケーションを作成する場合は失敗プロセスで同時に 64 を超えるファイル ハンドル (または 20 ファイル ストリーム) を開こうとコンパイラ オプション (既定値)。
http://support.microsoft.com/kb/124519/ja
http://yumewaza.yumemi.co.jp/2010/07/limitsconf.html
fopenできる上限の変更 | C・C++のQ&A【OKWave】
http://okwave.jp/qa/q5126169.html
Visual C++ 1. 0 のファイルのライブラリを増加する利用可能な
事前設定の制限
/ML を使用して、静的、ランタイム ライブラリ (LIBC.LIB) を使用するシングルスレッドのアプリケーションを作成する場合は失敗プロセスで同時に 64 を超えるファイル ハンドル (または 20 ファイル ストリーム) を開こうとコンパイラ オプション (既定値)。
http://support.microsoft.com/kb/124519/ja
>>914
ソケットは即座に開放されてますかね
ソケットは即座に開放されてますかね
>>920
なんでコードをわざわざ書き換えたの?
なんでコードをわざわざ書き換えたの?
PHPのプログラム、どんな順序で関数が呼ばれているか
ログに記録できますか?
デバッグトレースのように指定した場所の情報ではなくて、
たとえば関数a()がb()を呼んで、そのなかでc()とd()を実行なら、
a()
b()
c()
d()
という具合に、実行順序を知りたいんですが。
ログに記録できますか?
デバッグトレースのように指定した場所の情報ではなくて、
たとえば関数a()がb()を呼んで、そのなかでc()とd()を実行なら、
a()
b()
c()
d()
という具合に、実行順序を知りたいんですが。
PHPってデバッガあるんですか?
それすら分からないという
もちろん、少し調べましたけどもIDEはみつかりますが、デバッガはわからなかった。
php.iniでなにか設定すると、ログがでるかなと調べましたが、エラーログだけですし。
それすら分からないという
もちろん、少し調べましたけどもIDEはみつかりますが、デバッガはわからなかった。
php.iniでなにか設定すると、ログがでるかなと調べましたが、エラーログだけですし。
>>894
知らない。
知らない。
php評判悪いけど、大手企業のサイトとか、WordPressで採用されたり、求人も多いね。
クソ言語と叩かれてなんでこんなに利用されまくってるの?
クソ言語と叩かれてなんでこんなに利用されまくってるの?
>>933
書きなぐるにはこれほど適した言語も無いから。
書きなぐるにはこれほど適した言語も無いから。
>>935
読んでないだろw
読んでないだろw
書きなぐる以上の用途はないから、書きなぐるだけに使うなら
便利な言語。
ただプログラマとしての質は、当然低く見積もられる。
便利な言語。
ただプログラマとしての質は、当然低く見積もられる。
それはまた別の話だな。
書きなぐる場面なのに俺の最速コードを見せてやるぜなんてアセンブラ書き出したら目も当てられないでしょ
書きなぐる場面なのに俺の最速コードを見せてやるぜなんてアセンブラ書き出したら目も当てられないでしょ
PHPでJsonを出力しているのですが、データが膨大なのか
処理が終わってもレスポンスが返りません。
どのような事が考えられますか
処理が終わってもレスポンスが返りません。
どのような事が考えられますか
>>945
PHPは書きなぐる分には理想的な言語だけど、
理想通りに書きなぐった結果、保守性の低いプログラムが出来上がって
後々大変になるってこと。
どの言語にもそれは言えることだけど、品質よりもスピーディに作れることを
前提としているから、そういう問題が起きやすい。
PHPは書きなぐる分には理想的な言語だけど、
理想通りに書きなぐった結果、保守性の低いプログラムが出来上がって
後々大変になるってこと。
どの言語にもそれは言えることだけど、品質よりもスピーディに作れることを
前提としているから、そういう問題が起きやすい。
前へ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 次へ / 要望・削除依頼は掲示板へ / 管理情報はtwitterで / php スレッド一覧へ
みんなの評価 : 類似してるかもしれないスレッド
- 【PHP】下らねぇ質問はID出して書き込みやがれ 106 (1001) - [98%] - 2011/6/3 5:17
- 【PHP】下らねぇ質問はID出して書き込みやがれ 124 (1001) - [98%] - 2013/1/10 6:30
- 【PHP】下らねぇ質問はID出して書き込みやがれ 116 (1001) - [98%] - 2012/3/21 18:01
- 【PHP】下らねぇ質問はID出して書き込みやがれ 125 (1001) - [98%] - 2013/2/4 13:30
- 【PHP】下らねぇ質問はID出して書き込みやがれ 127 (1001) - [98%] - 2013/5/26 14:01
- 【PHP】下らねぇ質問はID出して書き込みやがれ 128 (1001) - [98%] - 2013/8/4 14:01
- 【PHP】下らねぇ質問はID出して書き込みやがれ 120 (1001) - [98%] - 2012/7/25 6:45
- 【PHP】下らねぇ質問はID出して書き込みやがれ 136 (936) - [98%] - 2014/9/18 12:45
- 【PHP】下らねぇ質問はID出して書き込みやがれ 121 (1001) - [98%] - 2012/8/14 7:45
- 【PHP】下らねぇ質問はID出して書き込みやがれ 123 (1001) - [98%] - 2012/11/20 5:30
- 【PHP】下らねぇ質問はID出して書き込みやがれ 129 (1001) - [98%] - 2013/9/18 1:45
- 【PHP】下らねぇ質問はID出して書き込みやがれ 110 (1001) - [96%] - 2011/9/29 22:31
- 【PHP】下らねぇ質問はID出して書き込みやがれ 100 (1001) - [96%] - 2010/11/14 21:46
- 【PHP】下らねぇ質問はID出して書き込みやがれ 133 (1001) - [96%] - 2014/7/8 16:30
- 【PHP】下らねぇ質問はID出して書き込みやがれ 107 (1001) - [96%] - 2011/7/2 2:15
- 【PHP】下らねぇ質問はID出して書き込みやがれ 119 (1001) - [96%] - 2012/6/21 11:46
- 【PHP】下らねぇ質問はID出して書き込みやがれ 132 (1000) - [96%] - 2014/6/18 20:58
トップメニューへ / →のくす牧場書庫について