Squid Web Proxy Cache 3
COSSがSquid3.2で使えるようになるのはいつのことかねえ。 マルチコアCPUむけ最適化もいつになることやら。 http_port 0.0.0.0:8080と書いてやらないとipv4でlistenしてくれないのはなんでかな? http_port 8080だとipv6しかlistenしない。 両方listenするようにしたいんだが・・・ centos6.2 squid-3.1.10-1.el6_2.2.x86_64 せめてsquid2並みの速度で動作するようになってほしい いまは3割強の遅さ、違いすぎる 1つのPCに普通にプロバイダー経由のアクセス経路とOpenVPNの経路があって、Proxyを経由するとOpenVPNの経路でアクセスし、 デフォルトゲートを経由する時はプロバイダー経由する環境を作りたい。 そこで、デフォルトゲートをプロバイダーに向けて、squid.confにtcp_outgoing_address 192.168.1.1(OpenVPNのゲート)を 指定してみたんだけどダメだった。なんかアドバイスお願いします。ちなみにtcp_outgoing_address指定を削除するとデフォルトゲート経由ですが普通に機能します。 youtubeをキャッシュする方法を教えてください >>7 デフォルトGWとVPNの経路選択は 特定のサイト,IP,ドメインのみvpn経由で出たいってこと? それとも何で切り替え? PCですでにroutingしてある経路を使うってこと? >>7 それは Squid だけではなくて、その下のレイヤーでもいじってやらないとだめなのでは? ソースルーティングやNATが必要でしょう。 あるいはOpenIndianaのCrossbowやFreeBSDのVIMAGEのように プロセスごとにネットワーク回りの定義を変えられる機能使うとか。 10,11レスありがとう御座います。書き込んだ後色々試したんですが結局1台のPCで解決する事が出来ず、新しい仮想PCをこさえて そのマシンにsuqidとopenvpnを入れて、このマシンにproxy経由でアクセスするとvpn経由でアクセス出来る環境を構築する事が出来ました。 一応ご報告まで。 2TのHDDに過去1年分ぐらいのキャッシュを消さないで溜め込んでおく事はできないのでしょうか >>13 cache_dirとrefresh_patternを使えばできそうだけど 意味があるかどうかよく考えて試してみれば? 十分なメモリも必要になるけど。 規模や設定にもよるけど4Gぐらいあれば十分な気がする。 yumで入れたSquid 3.1のIPv6の無効にする方法が分からない 削除してから/configure --disable-ipv6でmakeしかやり方ないのかな。。。 国際会議のホームページの中身がそのまま入ったDVD(PDFがいっぱいある)があります これをプロキシとして使いたいのですが、何か方法ないのでしょうか 自作検索エンジンのテストに使いたいのです >>16 DVDの中身を鯖のHDDにmvして PDFが読める全文検索エンジンに読み込ませて apacheなりのWebサーバで検索&表示できれば良いんじゃ無いの で、squidはどこに関係するんだ? squidGurdとか使ってリダイレクトするとか。 直接キャッシュデータにする方法は 簡単にはないと思う 「IEとかFireFox、chromeのPROXY設定はaaa.bbb.ccc.ddd:xxxにすること」 とだけ言われてるユーザ側で、そのPROXYがsquidなのか判別する方法はありますか? HTTPリクエストヘッダとかHTTPレスポンスヘッダにsquidが情報を付加しない設定だとして。 squid設置して、sargでログ解析してるけど toro.2ch.netでなくて toro.2ch.net/test/read.cgi/unix/1329846086/22みたいに詳細に表示させることは出来ますか? squidでキャッシュサーバ構築したのですが、キャッシュがちゃんとヒットしているか 確認するため、wgetなどでどこかのjpgなどをダウンロードして、ログをみると 2回めからちゃんとヒットしています。 でもchromeやIEで同じことをすると、何度ダウンロードしても毎回ソースから ダウンロードしています(REFRESH_HIT)。 これはどうしようもないのでしょうかね。 >>23 REFRESH_HITの意味を確認して ソースから ダウンロードしているわけじゃない >>6 本当に速度違うな ネット接続もキャッシュ周りも2の方が速い Apache Traffic Server を試してみたが単純な forward proxy としても普通に動くかんじだ。 動作速度も遅くない。 いままで Squid でつくりためてきたあれやこれやの設定がうまく移植できるかまでは検討してない。 特定ドメインあての parent proxy 記述とかね。 IPv6 関係は対応しているとはドキュメントにあるもののなんかうまく動かなかった。 v6でlistenしないし外に接続しにいかない。 何年か前にPolipo(だっけ?)流行ったような気がするんだが、開発終わってしまったんかな。 logformat で改行文字って入れられないんですか \n%'>h 的なことがしたいんですけど cache_mem を 3GB にして動かしてるんですが、メモリキャッシュが2.8GBくらいの 大きさになったところで必ず、「FATAL: xmalloc: 〜」だったり「FATAL: xcalloc: 〜」 だったりで勝手にsquidが異常終了→再起動されちゃいます。 RAMは4GBあるし、落ちる直前のsquidプロセス全体でのメモリ使用量も3GB強程度だし、 他にはほとんど何も動かしてないからメモリ不足とかも考えにくいんですけど 原因わかる方いますか? >>29 大前提としてOSは64bitだよな? cache_mem はプロセスの最大サイズを規定する設定ではない、ってのがポイントか。 実際にはプロセスのサイズはその設定値を越えるから、 OSの種類によってはメモリ実装量4GBではきつかろう。ほかのプロセスも走ってるだろうし。 まあ2.8GB位で落っこちることが経験値としてわかっているなら cache_mem は2.5GBくらいにしておけばいいんじゃないの。 メモリ1GBの環境だとcache_mem 350MBくらいでちょうど使い切る感じ cache_memの2.5〜3倍がプロセスサイズだと思っている 画像を再圧縮して送信することってできないでしょうか? 素の squidじゃ出来ないけど、実装例はあるんじゃない? 例えば、3Gキャリアが Webブラウズ用に用意してる「アクセラレータ」とか 呼んでるヤツとか、再圧縮というかスマホ用に解像度落としたりの機能が あるけど、何つかってるんだろ? 画像の圧縮って、あんまり効果ないからなぁ Delegateとか親にすればできそうな気がする 元画像と同じクオリティを保つ必要がなければ、かなり圧縮できるよ。 特に、デジカメの高画質JPEGで撮った画像ファイルなど、無意味にサイズがでかいから。 昔、画像圧縮系のproxyがどこかの製品にあったな。 また、モデムorISDNな時代に細い回線向け圧縮機能だった気がする 最近は回線まわりが高速化したからあまりそういう話を聞かないね >>40 STABLEであっても速度的には、2.xより遅いんじゃね? COSS無しでいいから、オンメモリだけでの環境でサクサク動いて欲しい。 速度は、同じ位になったよ 前ほど違いはない。 だれか詳しく試して教えて。 GUIで設定しようとするとYastかWebminくらいしか選択肢ないの? YouTubeとかの動画サイト用プリセットとかあるとすげぇ楽なんだけど。 >>45 それぐらいの設定ならば、ググれば幾らでもあるでしょうに・・・ なんでGUI設定に拘るのか理解出来ない 10月1日から音楽や動画をキャッシュしたら違法です キャッシュ機能を無効にしましょう 学校のネットワークにsquidが入ってて2cnとかfacebook,twitterが見られない けどpinkbbsは見られるそうな どうしたら弾くのやめさせられるんだろう コミュ力で勝負 → ネットワーク管理者に、制限解除を交渉する。 技術力で勝負 → 自宅に squid建てて VPNとかで学校から接続する。 財力で勝負 → Wimaxとか、LTEテザリングとかで自力接続する。 スマホのバカ高い月額料金きらって、ガラケー + iPodTouch + 学内WiFi網 で、運用してる賢い学生うちには、そこそこ居るよ。 iPodTouch代わりに、中古白ROMアイフォン、アンドロも含め 学生にとって5千円は小銭じゃなかろ? 毎月5千円超をキャリアに払うか、趣味・遊びに使うかのトレードオフだわな。 学内ネットは学生の遊びのために用意されてんじゃねえぞボケ FacebookもTwitterも馬鹿曝しツールになりかねんから一律遮断も判るつーか 遮断されるだけの馬鹿やった先例があるんじゃねw 俺が管理している大学はそこまで厳しくないな FWでp2p系のソフトは遮断しているけど、SquidでURLフィルタとかはやってない 自己責任でお好きにどうぞって感じ わざわざsquidでフィルタリングするのは面倒なんじゃないか システム管理者に余計な仕事増やすくらいなら市販のコンテンツフィルタ使うなり UTMのフィルタリング機能使うだろうな 最近ならフィルタリングにクラウドサービスも使えるし >>56 いや、UTMは年間利用料(保守料名目)が掛かるから貧乏学校では導入しずらい。 仕方なく squidでやってる組織は少なからずある。 200台以上の鯖でsquidが稼働している・・・ そんな環境を俺は知っている その前に負荷分散装置があるけど、ある意味壮観だよ どっかの大学の鯖管だけど、squidのホスト名を「proxy.組織名.ac.jp」としておくと 掲示板側から勝手に書き込み拒否してくれるみたいで便利。 どこそこで「今日こうなご喰います」みたいな書き込みされると大迷惑だからなww 3のCOSSは一体いつまで待てば良いのか? 2.6から移行したいよ。 >>62 http://www.squid-cache.org/Doc/config/cache_dir/ >The rock store type: > >cache_dir rock Directory-Name Mbytes <max-size=bytes> [options] >The Rock Store type is a database-style storage. 以下略 >>63 ML見ているとバグがあるみたいだけど、大丈夫なんかな? COSSとのベンチも見たいところ firefoxでURLのところに文字を入れて検索したいたのですが squidを通すとエラー画面がでます。 検索できるようにできるのでしょうか? >>66 素早いお返事ありがとうございます。 proxy.pacでproxyを通さないようにすればいいんですね どうもありがとうございました。 >>64 大丈夫どころか人柱募集中だな。 http://wiki.squid-cache.org/Features/RockStore 大規模サイト向けにCOSSとdiskdのノウハウ使って高性能ハードウェアを活用する、ってあるな。 そのうち比較レポートとか上がってきそうではあるけど、実用レベルになるのはいつになるんかなぁ。 refresh_patternって変更してますか? Squidの更新パターンでインターネットアクセスを高速化する http://sourceforge.jp/magazine/08/11/26/019236/3 おすすめの設定があれば教えてください。 refresh_pattern -i \.(gif|jpe?g|ico|png)$ 10080 90% 40320 ignore-no-cache refresh_pattern -i \.(iso|avi|wav|mp3|mp4|mpe?g|swf|flv|x-flv)$ 10080 90% 40320 ignore-no-cache refresh_pattern . 0 90% 40320 ignore-no-cache こんな感じ。 画像関係と動画とかは最低7日はキャッシュさせてる >>70 ありがとうございます。 参考にさせていただきます。 >>71 とにかく帯域抑えてキャッシュだってんなら refresh_pattern -i /(index|top)\.html?$ 0 99% 43200 ignore-no-cache refresh_pattern . 1800 100% 43200 ignore-no-cache とかやってみたらいいかもよ。 あと2.7使ってんならcossつかって32KB以下をcossストレージにすると少し幸せかも。 うちはキャッシュはそんなにでかくしてないけど cache_dir coss e:/squid/var/cache/coss/1 512 block-size=512 max-size=32768 cache_dir coss e:/squid/var/cache/coss/2 512 block-size=512 max-size=32768 cache_dir aufs e:/squid/var/cache/aufs/1 1024 16 256 min-size=32768 cache_dir aufs e:/squid/var/cache/aufs/2 1024 16 256 min-size=32768 こんあ感じで計3GBにしてる。 キャッシュヒットは40%前後、帯域節約は35%くらい 以前は、帯域節約目的で運用してたけど、最近は帯域の節約より、 人気のコンテンツがサクッと出てくるところが、squidの醍醐味だね。 IEだと、cache=0に出来ないのでいまいちだけど、 FireFoxだと、cache=0 + squidの方が快適 COSSは性能が出てイイんだけど、squid再起動時に初期化に凄い時間かかるね。 あれは、改善する気はないんだろか? 型落ちで安く入手したSSDは丸ごとsquidのキャッシュ用だな チューニングに脳味噌使う必要がなくなるのは良いのか悪いのか分からんがw >>72-74 Raspberry piを買ったのでsquidを導入して niconicoが早くなり快適になりました。 いろいろ試してみたいとおもいます。 ありがとうございます。 どなたか教えて下さいませ。 任意の文字が入力されたら、一定の文字を挿入したいのです。 たとえば、http://aaa.com へのリクエストがあったら、 http://bbb.jp/count.cgi?http ://aaa.com のように書き換えてしまいたい。 Squidで可能でしょうか? また、可能ならどうやれば良いのでしょうか?? >>76 URL書き換えのスクリプトを用意して、呼び出し。 url_rewrite_programがポイント 家族が楽天とかネットショッピングで購入するポイントを取りこぼしたくないのですが、 squidをgwに設置することでそれを実現することができますか。 L4レベルの操作である squidでは無理 原理としては L7レベルで可能とは思うけど、実装が凄いことになりそう。 とりあえず、squidのログから購入した日時ぐらいは拾えそうだけど、 何を買ったか?何ポイントかは、コンテンツの中まで見ないとイカン。 Ubuntu Server12.10(x64)で最近upgradeしたらcachemgr.cgiがInternal Server Errorになっちゃうんだけど同じ人いない? apacheのログ見るとfree()で開放時に落ちてるみたいだけど COSSで、RAM-DISKにキャッシュ確保しようと思うんだが、 CentOS x64で、20Gbyte超の /dev/RAMDISKって作れるんだろうか? >>81 cache_mem増やせば良いんじゃないの? >>83 cache_mem < cache_dir じゃないと動作しない仕様(2.x) 3.xだと、cache_memのみで動くって話はどうなった? それと、コア余りなんで マルチスレッド化して欲しいね。 >>86 おっ、出来てるんだ! 3.xで運用してる人いる?まとも?? >>86 Rockがまともに動いてRHEL6に移行するタイミングで アップデートしようかな・・・ squid3でYoutubeのキャッシュできますか? Squid 3.1.x 系で、透過Proxyを設定するとできるのに Squid 3.2.x 系、Squid 3.3.x 系で同じ設定しても出来ない 誰か知ってたら教えて下さい。 ちなみに、以下の2つのパラメータを追加して iptablesでポート80を3129にリダイレクトしただけです。 http_port 3129 intercept visible_hostname proxy.localhost squid 3.2/3.3でFreeBSDでRock Store使えている方いますか? livedoorの認証でsquid経由だと 「OpenID認証に失敗しました。」 となるのですが、回避方法はありますでしょうか。 >>92 取り敢えずブラウザ変えても同じ現象が起きるのか試す。 >>92 Squidじゃないプロキシだとうまくいくの? >>94 squid以外のプロキシで、まともな奴って何かある? >>93 ,94 アドバイスありがとうございます。 ブラウザ、クライアントOSともに変更して確認しましたが、同じです。 squidを介さないネットワークからは問題ない(他のプロキシという意味ではなくプロキシ無し)ので squidが原因だと思います。 openidの仕様がよくわからないのですがURL遷移が要っぽいので、 そのあたりのタイミング設定があるのかと思うのですがよくわかりません。 よろしくお願いします。 クライアントから外部のLDAPサーバーへ接続を行いたいのですが、 どのように設定すれば良いのでしょう? Squidを通さずにルーター直結すると接続できたので、 あとはSquidの設定次第で可能になるのでは、と考えています。 ちなみに、Safe_Ports へ 389 を追加したのですが接続できませんでした。 環境は今は Squid 2.7 Stable8 forWin ですが、 Linux版にすることで可能になるのであれば、変更します。 アドバイス、よろしくお願いします。 >>97 squdでLDAPを使って認証なら出来るけど LDAPをproxy出来るのかな? 専用のLDAPサーバとクライアントなら可能だろうけど >>98 LDAPプロキシって、Webプロキシとは全然動きが違うから無理っしょ OpenLDAPとかでLDAPプロキシに出来ルンだっけ? eDirectory8.xだとすんなり動くけど。 OpenLDAPでLDAP Proxyが出来るんだから、そっちでやれば?と思って突っ込まなかったのに・・・ SquidはDelegateと違って、万能じゃ無いんだよ! どこかにはLDAPをhttp/httpsにトンネリングするサーバーとクライアントがあるかもしれない 聞いた事無いけど 1台のLDAPサーバーだけなら、単なるTCPリレーでいいでしょ。 squidとか使うまでもない。 こんにちは。質問です。 スマホから2ちゃん閲覧するための専用にsquidでプロキシサーバを立てています。 外部公開なので、confに「http_access allow all」と書いて全通信を許可してるのですが、 セキュリティ的にどうかなと疑問に思い、destinationが2ch関連のみに制限したいです。 URL制限は、 acl AllowDomain dstdomain .2ch.net みたいに書けばいいと思うのですが、allow allしてるせいで意味ないことに気づきました。 そこで、srcは全部許可、dstdomainは2ch関連のみ許可、にしたいのですが、どう書けばいいでしょうか。 なお、スマホはauなのですが、残念ながらIPアドレス帯域は公表されていません。 ですよねー。 なのでそんなサーバにならないためにもお知恵を拝借したいのです。 >>104 > そこで、srcは全部許可、dstdomainは2ch関連のみ許可、にしたいのですが、どう書けばいいでしょうか。 allow allを消してhttp_access allow AllowDomain > なお、スマホはauなのですが、残念ながらIPアドレス帯域は公表されていません。 これは? ttp://www.au.kddi.com/developer/android/kaihatsu/network/ >>107 認証はやってみてます−。 >>108 おおこれはいいですね。 アドレス帯域もアクセスログと一致します。 これでなんとかやってみます。ありがとうございました。 一人で使っているSquidだと、アクセスのほとんどが キャッシュに残らない。 メモリーも含めHITしているのは 10%ちょっと。 Address: XX.XX.XX.XX Currently established connections: 0 ICP Requests 0 HTTP Requests 11590 TCP_HIT 853 7% TCP_MISS 7396 64% TCP_REFRESH_UNMODIFI 2140 18% TCP_REFRESH_FAIL 1 0% TCP_REFRESH_MODIFIED 223 2% TCP_CLIENT_REFRESH_M 514 4% TCP_IMS_HIT 244 2% TCP_MEM_HIT 219 2% キャッシュヒットなんて設定でどうにでもなるんだから、なんとも? 今まではソースからmakeしてたのを、新鯖に yum installしたら、 squid-3.1.10-19.el6_4.x86_64.rpm なんてのが入っちゃった。これ COSS使えないんだよねぇ。 さてどうすっか orz 3.1のRockはお勧めできない。 3.2に上げてしまえ $ sudo squid -k parse WARNING: use of 'ignore-private' in 'refresh_pattern' violates HTTP WARNING: use of 'override-expire' in 'refresh_pattern' violates HTTP WARNING: use of 'ignore-no-store' in 'refresh_pattern' violates HTTP HTTPに違反してるというがこれってどうしたらいいのでしょうか。 オプションが何をしているか理解すれば、あたりまえの警告 オプションの意味がわからないなら、削除するべき わからなで使うと問題がおきるよ Centos6で、Privoxy + Ziproxy + Squid という記事を見て モバイル用に構築しようと思い挑戦中なのですが、自分は Privoxy は不要なので Ziproxy + Squid のみで構築したいと考えています。 そこで、suiqd側に下記設定を入れ、 cache_peer localhost parent (ziproxyのポート) 7 no-query never_direct allow all ziproxy側にはNextProxyの設定等入れずに両方を起動したところ ziproxy経由でのアクセスは出来るのですが、suiqd経由で アクセス出来ません。 (squidの上位プロキシの設定を外せば正常にアクセス出来ますが 当然ziproxyの圧縮が効きません) ziproxyで圧縮+squidでキャッシュするように構築したいのですが どの辺を見直せば良いでしょうか。 (そもそも思い違いをしている??) クライアントPCのプロキシ設定ににSquidのポートを入れると下記の アクセスログが出ますが、ziproxy側には何も出ません。 squidからziproxyにアクセス出来ていない…??? 1387870662.380 53 クライアントIP TCP_MISS/503 4701 GET http://www.google.co.jp/ - FIRST_UP_PARENT/localhost text/html 1387870662.459 0 クライアントIP TCP_MISS/503 4087 GET http://www.squid-cache.org/Artwork/SN.png - NONE/- text/html アクセスした際には下記のメッセージが表示されます。 ERROR The requested URL could not be retrieved The following error was encountered while trying to retrieve the URL: http://www.google.co.jp/ localhost への接続に失敗しました。 システムが以下のエラーを返しました: (111) Connection refused The remote host or network may be down. Please try the request again. squid側には上位プロキシの設定をせずに、ziproxy側に設定することで なんとか正常に動作するようになりました。お騒がせしました。 >>125 > システムが以下のエラーを返しました: (111) Connection refused なら ziproxy 側の設定の問題じゃね? Address とか。 >>127 その可能性はありますね。帰ったら試してみますが ziproxyのAddressの設定は、アクセスを許可する アドレスになるのでしょうか。 スレチとは思いますが…すいません。 失礼しました。取りあえずziproxy側のアドレス設定を 127.0.0.1 10.8.0.1等設定し、Squid経由になるよう 設定してみましたが、同じ状況でした。 ziproxy側に上位設定すれば正常動作するので問題は無い のですが、何処が問題なのか気になるところです。 >>123 squidのバージョンによるけど ×cache_peer localhost parent (ziproxyのポート) 7 no-query ○cache_peer localhost parent (ziproxyのポート) 0 no-query 何じゃないかな? >>131 試してみましたが変化ありませんでした。 squid→ziproxyという流れにすると、アクセスに失敗した際 cache.logに TCP connection to localhost/8080 failed という メッセージが出ていることを確認したので、ziproxyに上手く 接続できていないようなのですが、クライアントPCにziproxyの ポートを設定してアクセスすると正常にアクセス出来ているので なぜ、ziproxy→squid は出来て、squid→ziproxy が出来ないのか 頭が痛くなってきました…。。 >>133 どうもです。下記の通りです。 今はziproxy→squidとしているのでNextProxyとNextPortが入って いますが、squid→ziproxy の実験中は外しています。 (TransparentProxy の設定有無も関係ありませんでした) Port = 8080 ErrorLog = "/var/log/ziproxy/error.log" AccessLog = "/var/log/ziproxy/access.log" NextProxy="127.0.0.1" NextPort=3128 UseContentLength = false ProcessHTML = true ProcessCSS = true ProcessJS = false ImageQuality = {30,25,25,20} JP2ImageQuality = {20,15,15,15} 公式見る限り、ziproxy→squidが通常のような気がしてきました。 squid→ziproxy→Privoxyとしている人もいますが…。 Privoxy置けば出来るのか試してみるしかないか。。 http://ziproxy.sourceforge.net/faq.html http://ziproxy.sourceforge.net/wanaccel/ >>134 今のコンフィグじゃないくて失敗した時のコンフィグを上げないと意味が無いんじゃないか? 失敗したときは上述の通りNextの2行を削っているだけです。 ただ、よく考えると強制的にziproxy経由させるより、現状の方が PCからはSquidのみ、モバイルからはZiproxy経由Squidと選択出来るので このままで良いかなと思っています。 多分、zipを透過にしてルーティングするしか方法はないんだろう ということでそろそろ終わりにします。 有り難うございました。 Squid-3.4.2 release This release is a bug fix release resolving several major issues found in the prior Squid releases. * Bug #3806: Caching responses with Vary header * Bug #3980: FATAL ERROR due to max_user_ip -s option * Regression \-unescaping in quoted strings from helpers * Regression in URL helper API squid3.1.10で ↓のサイトで検索実行してみると、イミフなエラーがでます。 富士通の図書館システムでの蔵書検索なので、適当な短めキーワードでいいです。 http://ufinity07.jp.fujitsu.com/meijo/ squid2.xでは、エラー無しで正常ですが、皆さんのとこでは如何でしょう? そのエラー自体を書かないのは宗教上の理由か何かですか。 >>140 こういう具合です ↓ ------------------------------------------------------------ 不正なリクエストの可能性があります 登録処理か表示処理か確認してください。 (http://ufinity07.jp.fujitsu.com/meijo/index.php?page_id=15& ;block_id=296&module_id=61&action=v3search_action_main_opac&tab_num=0&search_mode=null&_token=0bed4a35fc9a5c911ce7b7b00cc53d47&_header=0) ページが自動的に更新されない場合はこちらをクリックしてください。 ------------------------------------------------------------ >>141 とりあえず、stable最新版3.4.2を入れ直したら正常となりました。何だったんだろう? http://blog.nezweb.net/archives/118 ここ参考にニコニコのキャッシュをsquidサーバに置こうと思ったんだけど全然動かない NicoProxy2との組み合わせもチャレンジしたけど、そもそもNicoProxyがマトモに動かない ニコニコの仕様が変わりすぎてもう無理なのかなぁ ちょうど新しいサーバにSquid整備していたんだけど、そのまま動いたよ。OSとsquidのバージョンはいくつで試した? >>145 遅くなりましたが、 Squid ver.2.7 STABLE8 環境はwindows server2008です。 追記になりますが、時報ブロックは機能しています。 >>146 >>145 じゃないけど。 NicoProxy2を通して比較的短い(1分未満の)動画を再生できるか試してみて もし再生できるようであればNicoProxy2を使うのは止めた方がいいかもしれん。 squidのrefresh_patternの方は、 nicovideo用のrefresh_patternをrefresh_patternの中で一番上に追加してあって cache_dirのmax-size=オプションか maximum_object_sizeでキャッシュするファイルのサイズの最大値を 設定してあればうまく動くんじゃないかなーと思う。 >>147 キャッシュサイズを引き上げてみたところキャッシュが正常に動きました!ありがとうございます sourceforgeでartica for squidというものを見つけたんですが日本語の情報がほとんどない。 使っている方がいたら感想よろしく >>149 articaを覗いてみた。 今度新規サーバー立ち上げの時には試してみようと思う。 久しぶりにArticaの名前を見かけたな。 一年くらい前にVirtualBoxに入れてみて試しただけだったんで、現行最新版を同じように入れてみた。 元々Debianベースなんで「インストーラ」は日本語表示が可能 インストールしたPCはCUIの画面で簡易メニューから設定/終了するのみ GUIで管理したければ、別PCからWebブラウザでアクセスするしかないんじゃないかな。 Webの管理画面では日本語は無し 初心者向けというよりは、squid.confをある程度分かってる人向けって印象 >>150 >>151 回答どうもです vmもあるんですね。試してみます。 Ubuntu でパッケージで入れた squid 3.3.8、ファイルサイズが4MB以上の オブジェクトをキャッシュしてくれなくて調べてたのだけど、 cache_dir の max-size の値に明示的に maximum_object_size の値と 同じものを指定したらちゃんとキャッシュするようになった。 Ubuntu 特有の問題…? iフィルターは内部実装にsquidを使用しているのでしょうか? >>155 >>156 ありがとうございます。 オープンソースのシステムではなさそうですね。 自社でフィルタリングできるようなproxyサーバ入れる 検討しろ て言われちゃったんですけど ネットワーク含めたproxyサーバの入門書で これ てのありますか? >>160 squidだとsquid+squidGuardが思いつくけど 入門書は思いつかない 最終的にどの程度フィルタリングするかにもよるけど フィルタリングリストの更新が問題になるから商品検討もしてみたらいいと思う >>161 レス有難うございます よくある 業務に関係ないWEBサイトを〜 てやつで>フィルタリング ネットワークまわりや入れたあとのリストの更新やら 業者に頼んだほうが早そうなんですけどね… >>162 おとなしくi-Filterを買ったほうがいいと思うよ 商用の方がいろいろと便利です http://www.amazon.co.jp/dp/4924998656/ Squidの本ってこれくらいしかないと思う。 んでこの本内容しょぼいんでおすすめしない。 アンチウイルス系でもフィルタリングできる商品あるから、それも選択肢としていいと思う >>163 レス有難うございます この価格で製品だけ買ってもどうにもらならないんで ネットワーク含め全部SIしてもらうと結構いきそうですね 書籍はなんか全体的に古いですね 枯れた技術かと思ったんですが、セキュリティなんでそんことないですよね… >>160 Fortigateとか買ったほうがいいんじゃないか? お家サーバーにsquid-3入れてみた 2台のPCから同じサイトをアクセスすると 表示が早くなって気持ちがいい squid3で特定のクライアントだけをsquidの影響を全く受けないような設定は可能ですか? ログをとりたいので経由はさせたい。 よろしくお願いします。 フジテレビオンデマンドっていうサイトで 会員ログインして視聴していると途中でE021っていうエラーが起こって画面が半調になります。 ログインしないで視聴する分には問題ないです。squidを介さない場合も問題ないです。 squidの設定のどこかがダメでそうなっていると思うんですが、そのサイトを見る人は限られてるので その人のipだけキャッシュとかその他諸々squidの影響を受けないようにしたいと思ってます。 そのipを直でインターネットに繋げられないのとsquidでログは取得したいので経由のみさせたいです。 よろしくお願いします。 それじゃ原因がよくわからんな Squid通すのやめてログは別の方法でとったら? インターネットに出て行けるipがプロキシ(squid)のipなので、 別の方法でログを取るとしても結局はsquidを経由させないとダメなので・・・。 >177 squid2なら影響を受けないような設定は可能なのですか? squid3がsquid2より随分と遅いの治ったかな? 3でインタフェースの設定で ipv6を有効化するとsquidclient 使おうとすると エラー吐くんだがどこかの 設定が足りないんだろか? Topで確認する分には動いてる模様 (v6インタフェースの動きは未確認) 構成 PC(v6 ,v4環境)プロバイダー、ルータともに v6環境有り。 proxy無しの場合、v4、v6で接続出来てる。 >>74 maximum_object_size 51200 KB maximum_object_size_in_memory 32 KB cache_dir null /var/tmp max-size=32768 cache_dir aufs /Volumes/Sandisk_SSD/Squid/cache 20480 1 1 min-size=32768 SSDに突っ込んでこんな感じに設定してる 小さすぎるファイルはメモリだけキャッシュ squidを経由させると、ustreamの動画コンテンツが表示されません。 クライアントからはまったくネットにつなげていない環境で 外部へはsquidのみを経由させて出て行く環境です。 この場合、クライアントから直接ネットにつなげる環境に変えないとだめでしょうか? >>185 恐らくUstreamの生放送だよね? 録画番組はうまく再生させると思うのだが UstreamのFlashアプリの実装が悪いので、Proxyを通すのは厳しいと思いますよ。 どうしても通したいのであれば透過型を検討してください。 >>186 やはりそうでしたか。ニコニコ動画の生放送も表示されないそうです。ユーザーから苦情がきています(T_T) 透過型はrtmpのプロトコルも通すのですか? googlemapって、どうなってるの? squidでログとってるけどほとんど記録されないんだけども。 delay設定とかしても他のサイトは遅くなるのにgooglemapは全然動く。 spdy protocolとか関係ある? CONNECT なんだけれども、SSL BUMPでもやっているの? 思い違いだったらすまんのだが、それってただのhttps通信しているだけじゃ? CONNECTを受けとったプロクシは200 Connection Established返した後の 同ホストへのhttps通信を上の通信で利用したソケットがcloseされるまで 中身を見られないはずだが 後出しになってごめん。 ブラウザがchromeのときだけdelay設定がgooglemapに効いていない。 FireFoxなどでは遅くなる。 https通信でも中身はわからないけど、アクセスログは残るよね。 delayもhttps通信も効くよね?実際FireFoxなどは遅くなってる。 cache_dirを置かなくてもDNSキャッシュが効いてると思うんですが、確かめられません。 この設定はネットワーク負荷削減に意味がありますか? >>192 squidclient mgr:info で状態確認 あと、cache_dir の Default Value: No disk cache. Store cache ojects only in memory. >>193 下記アドレスなど参照できました。 私の期待通りの動きでした。ありがとうございました。 ttp://www.squid-cache.org/Doc/config/cache_dir/ しまじろうTVってAndoroidアプリの動画をキャッシュしたいのですが Raspberry Piでsquid3を動かしています。 squid3のアクセスログを見て以下を参考にアドレスを追加しました。 ttp://www.itmedia.co.jp/enterprise/articles/0812/01/news024_2.html refresh_pattern -i [アドレス]/.* 10080 90% 43200 Proxyを通さない時よりは安定して表示されるようになった気がする程度なのですが キャッシュが効いているのか確認する方法または 動画再生中の接続先IPが分かる方法があれば教えて下さい。 しまじろうTVの接続先アドレスはsargをインストールしてわかりました。 aka-uliza2-vod.uliza.jp shimaclub.benesse.ne.jp にアクセスしているようです。 refresh_pattern -i aka-uliza2-vod.uliza.jp/.* 10080 90% 43200 refresh_pattern -i shimaclub.benesse.ne.jp/.* 10080 90% 43200 を追加してキャッシュするようにしたのですがどうもキャッシュできてないようです。 他に確認することがあれば教えて下さい。 キャッシュ付きプロキシ系パッケージだとこれが一番無難で安定だな http://6928.teacup.com/kongonoyotei/bbs ( 閲覧パス 2034 ) 秋にリーマン2で、5年内に世界中の都市部で大陥没現象で行政インフラ 完全停止、3ヶ月くらい。リアル北斗。空気感染型エボラの世界的大流行 バタバタ人が消えてゆく。でも頑張ろうぜ。 ロートルな宣伝方法ですな 我々なら瞬きする間に大流行させることができる マジかよ見つかんないと思ったら ほかにプロキシ動かしてる鯖のhosts適用される方法ある? 個人規模だと2.xでいいねこれ… 3.xだと設定が煩雑になってたりrockに指定するとセグフォって手間かかるし FREE PROXY ってしんだの? WIN8になってから使えないんだが。。 HTTP_VIAに1.1 unknown(squid/3.5.8)と表示されてしまいます request_header_accessとreply_header_accessにVia deny all書いてあるんですが消えてくれません 消す方法教えてください そんなオプション知らなかったわ 試してみるありがとう 特定のURLに対してさらに別のproxyを指定することってできる? *.onionにアクセスした時にローカルで動いてるtorに流したい 👀 Rock54: Caution(BBR-MD5:33957319a8699e549898cdf7a4d5a410) それ以外は直接取りに行くなら cache_peer と never_direct あたりで squidから直接socketへ都バス事ってできたっけ? スレチで申し訳ないです。 Internet - Polipo - privoxy - ziproxy この配置が最適と思われますか? Internet - squid - nghttpx - Chrome Firefoxのブラウザキャッシュだけとsquid3のキャッシュだけとどちらが帯域節約に優位ですかね。 個人でやるだけだけどいまいち検索しても引っかからないので質問しました。 両方やる もっと減らしたいならパケット節約しやきゃいけなかった頃のブログとか見ればプロキシで画像圧縮(非可逆)とかやってるからそれでいいんじゃね ところで特定のサイトの証明書だけオレオレ証明書にすり替えられたりできない? スレチだったらすまん。 Windows版で構築して外部に公開するってできるの? http_access allow all にしてルーターのポートもWindowsのFWも解放してるのに、外部から接続できん。 回線はフレッツ光、OSは7。 あとhastebinにでもコンフィグまるごと上げてURL貼ってくれ 192.168.1.1:8080じゃ無理に決まってんじゃん。(イマジナリ回答) レス貰ってたのに亀でごめんなさい。 ローカルネットからはアクセス可能。 squid.conf貼り付けたんで見てくれると嬉しい。 http://pastebin.com/KxRByjmC あとはWindowsファイアーウォールで受信の規則に以下を追加した。 squid.exe → TCP port 3182 ローカル/リモート 両方許可 squid.exe → UDP port 53 ローカル/リモート 両方許可 UDP 53はどっかの解説ブログでDNS用に明けなきゃダメよって書いてあったから追加してみた。 あとはNECのルーターWR9500Nのポートマッピング設定で、 squid入れたPCは固定でローカルアドレス振ってる。 squid導入したPCのアドレス指定で TCP 3128 と UDP 53 を開放。 可変グローバルIPだけど、滅多に変わらないし接続テストする時は 必ずアドレス確認してからやってる。 んで、ローカルからでも禁止してるIPからアクセスするとこの画面でるでしょ? http://i.imgur.com/dARHjvr.jpg 外部からアクセスしようとするとこれすら出ないんだ。 ping も通らないし、squid設定以前の問題だよね? 特定サイトへのアクセス禁止の方法はわかるんですが、 特定サイトへのアクセスのスピードを調整する事はできますか? これってsquidの内側にいるクライアントの設定ですよね。 例えばyahoo.co.jpには1Mでyahoo.comには3Mのスピードでアクセスするみたいな設定って可能でづか? CentOS7(1511)で新規にsquidを構築してます。 yamで3.3.8をインストールして、configはvisible_host_nameだけ設定しテストをしてみたところ、一応繋がるのですが、1台からしか繋いでないのに応答が異常に遅い。 squidclientで、ボトルネックを探したところ、dns.median_svc_timeが、9秒という異常な数値を記録してました。 名前解決回りを疑ったものの、digでは全く問題なく応答が戻ってきます。 色々調べ、enable_intermal_dnsオプションつけてリコンパイル後、dns_v4_first onを試したものの効き目がなし。 disable_intermal_dnsを試すと解決したように見えるという感じでした。 しかし、今後の管理も考えると標準パッケージのままで利用したく、何かを確認すべき項目が無いかなど、お教えいただけないでしょうか。 スマホから接続しててGETしてる途中で接続切れると次同じリソース取得しても前回接続切れたところまでしか返してくれないんだけど何か解決策ある? なんでもかんでもssl化になっていくけど、 そうするとproxyソフトは用済みですかねえ? 特にコンテンツフィルタリング系は。 SSL pinningされたらMITM proxyも出来ないよね。 squid3.5でリバプロ立ててDMZに置いて、LAN内のバックエンドwebサーバにurl_regexでアクセスを振り分けたいです squid使ってることを隠蔽したいんですが、バックエンドが落ちてるときにsquidが返す503ページをsquid.conf内で独自のものに変更できる方法ってないですか? http_accessでdenyされた403ページはdeny_infoで変更できますが、バックエンドが原因の503は/usr/share/squid/errors/Japanese以下のファイルを書き換えるしかないんですかね >>246 やっぱりそうですか、リファレンスあさっても見つからなかったもので ありがとうございます こんにちは ショッピングサイトアクセス用のproxyサーバー立てようと思っています。 (自分専用) linux経験なしです。 webで検索しながら試し始めてるんですが squid.confをvimで表示すると75行くらいしかありません。 「squid.confは5000行くらいあって面倒、実際にいじるのは数十行だけど・・・」 みたいな記事を複数のサイトで見ていたので、 設定ファイルがすべて表示されてないのかな?とか思っています。 yumでsquidいれたらバージョンはsquid-3.1.23-24でした。 バージョン○○からは設定ファイルが短いとかそういうことがあるんですかね? よろしくおねがいいたします。 VPSをお試しで借りて試しています。 CentOS6.5です。 それとは別のコンフィグも読み込んでるだけだろ なんでそんな事したいのか知らんがpcとかブラウザ分けてアクセスすりゃ終わる話だろ >>250 回答ありがとうございます。 実際は75行くらいしかないという認識でよいということでしょうか。 SSH通信とかもやったことなかったので、大きめの設定ファイルが開ききれてないのかな〜とか思ってました。 botで即売り切れになるので、私もbotを導入したのですが、 生IPだとサイトからBANくらい、買い物できなくなるので、proxyサーバーが必要です。 フリーのサーバーはすでにほぼBANらしく自分でたてることになりました。 誰でも簡単にパソコン1台で稼げる方法など 参考までに、 ⇒ 『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。 グーグル検索⇒『宮本のゴウリエセレレ』 7Y7ZC55UJ5 ☆ 日本の、改憲をしましょう。現在、衆議員と参議院の両院で、 改憲議員が3分の2を超えております。『憲法改正国民投票法』、 でググってみてください。国会の発議はすでに可能です。 平和は勝ち取るものです。お願い致します。☆☆ 認証プロキシで AはA_blacklistでアクセス制御、 BはB_blacklistでアクセス制御みたいなことってできますか。 どうすればいいんでしょう。 レスありがとうございます。 具体的に書いてもらうことは可能でしょうか。 よろしくお願いします。 知り合いから教えてもらったパソコン一台でお金持ちになれるやり方 時間がある方はみてもいいかもしれません グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』 90V1J IP-hole使ったらSquid+Privoxyより 各所「確認くん」で上位Proxy判定されてワロタw まったくの素人なので質問 Dedicated Proxy (Squid) ↑これ使えば偽装できるんですか? ブラックリスト回避してサイト使いたいんです。 Squidをキャッシュ目的ではなく単純に特定のサイトを表示できないようにする(ACLでブロックする)ために使いたいです。 このような場合でもSSL bumpの設定は必要でしょうか。 https://webnetforce.net/squid-ssl-bump/ >squid3で透過型プロキシをたてるとき、標準ではSSL/HTTPSの通信の中身を確認することは出来ない。しかし、いわゆる「SSL Bump」という、Squidの中で一度SSLをほどき、そしてsquidで処理をし終わった後に再度SSLをかけるような処理を採用することで、SSL/HTTPSのアクセスでもsquidでキャッシュをすることが出来る。 と書いてあるので、キャッシュしない場合は不要だと思ったのですが、どうなんでしょうか。 >>262 オレオレ証明書のためにbumpが必要なのでletsencryptなどの公的証明書にすればbump用の設定は必要ない プロキシのログ分析をしていて、アクセスしたファイル数でなく、ページ数をカウントしようと試行錯誤しているときに 気になったのですが、1つのページで、複数の画像ファイルを読み込んでいるような場合、 画像ファイルに対するアクセスログのリファラーに読み込み元のURLが記録されるとおもいますが、 このリファラーの読み込み元URLにアクセスしたログが出ていないことが多いです。 リファラー自体はブラウザが送信するものなのでいくらでも変更できるのはわかりますが、何か要因って考えられますかね? スレチかも知れませんが、教えてください。 Privoxyの圧縮って、どういうメカニズムで、 圧縮率はどれくらいなのでしょうか? 詳しく書いてあるサイトがなくて… >>266 マニュアルぐらい読みましょう zlib ziproxyからnextproxyのsquidに転送がうまくいかない! ソースから最新版入れてもだめだった。 ziproxy.confでNextProxyとNextPort指定すれば良いのですよね? ziproxyかprivoxyにトラフィックを流してくれません… Ssl bumpしたSquidにziproxyかませることは可能ですか? 5-6年前はSquid現役でめっちゃ役立ってたけど今はもう用済みなの? SSL対応とかめんどいな むしろクソ高い青箱のほうがすっかり影が薄くなった感がある DNS デフォルトのままか、dns_nameserversでlocalhostとか指定するのとどちらがよいと思いますか? Squisは自前でリゾルバ持っているそうなのですが、情報少なくて… dns_nameserversはresolv.confの指定と違うフルリゾルバを参照したいときに使う設定 最近はBIG-IPにiRulesゴリゴリ書いてForward Proxyをやらせる所が出てきているらしいな >>275 じゃあ、systemd-resolved利用している場合は特に記述する必要はないということですかね? 今日昼間biglobe mobileのapnのプロキシ接続がすごい不調でせいぜい500kbitしかでなかったので悩んでたら今時間は直ってる 自宅回線やauの電波は問題なかったからbiglobeの変調だったんだな read.cgi ver 08.0u [upliftProject] - 2023/07/09 Walang Kapalit ★ | uplift ★ 5ちゃんねる